R-facebook-bart-base-full-ft-without-tum-nlp-german-gpt2_easy-prior-pp-no_ls-f135 Test scores and corresponding predictions Source: ['Sport baut durch die intensive körperliche Betätigung Aggressionen ab und trägt so zum spielerischen Umgang von deutschen und ausländischen Sportlern aller Altersstufen bei.'] Prediction: ['Bei deutschen und ausländischen Sportlern trägt ein Umgang von Aggressionen bei.\nDiese sollen durch die körperliche Betätigung Aggressionen abgestiegen werden.\nDie körperlichen Betätigung Aggressionen baut durch die intensive körperliche Betätigung Aggressionen ab.'] Label: [['Sport baut als intensive körperliche Betätigung Aggressionen ab und trägt so zum spielerischen Umgang von deutschen und ausländischen Sportlern bei.']] Sacrebleu: {'score': 20.035654638135508, 'counts': [15, 9, 5, 3], 'totals': [35, 34, 33, 32], 'precisions': [42.857142857142854, 26.470588235294116, 15.151515151515152, 9.375], 'bp': 1.0, 'sys_len': 35, 'ref_len': 21} Bleu: {'bleu': 0.20035654638135514, 'precisions': [0.42857142857142855, 0.2647058823529412, 0.15151515151515152, 0.09375], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 35, 'reference_length': 21} Rouge: {'rouge1': 0.5625000000000001, 'rouge2': 0.3870967741935484, 'rougeL': 0.25, 'rougeLsum': 0.4375} Sari: {'sari': 28.75627619275532} Flesh Reading Ease: 23.05 ---------------------------------------- Source: ['Der Generator kann rund sieben Watt erzeugen – um Mobiltelefone, Taschenlampen oder GPS-Geräte mit Energie zu speisen.'] Prediction: ['Der Generator des Wertgenerators in der Schweiz ist rund sieben Watt aufgetaucht.\nDie Wert wird um Mobiltelefone, Taschenlampen oder GPS-Geräte mit Energie zu speisen.'] Label: [['Der Generator kann rund sieben Watt erzeugen – um Mobiltelefone, Taschenlampen oder GPS-Geräte mit Energie zu versorgen.']] Sacrebleu: {'score': 37.030468338190616, 'counts': [15, 11, 8, 6], 'totals': [27, 26, 25, 24], 'precisions': [55.55555555555556, 42.30769230769231, 32.0, 25.0], 'bp': 1.0, 'sys_len': 27, 'ref_len': 19} Bleu: {'bleu': 0.3703046833819061, 'precisions': [0.5555555555555556, 0.4230769230769231, 0.32, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.4210526315789473, 'translation_length': 27, 'reference_length': 19} Rouge: {'rouge1': 0.6818181818181818, 'rouge2': 0.5714285714285713, 'rougeL': 0.6818181818181818, 'rougeLsum': 0.6818181818181818} Sari: {'sari': 23.553568135718237} Flesh Reading Ease: 51.0 ---------------------------------------- Source: ['Sie sollen die Natur dabei nah, intensiv und ursprünglich erleben.'] Prediction: ['Die Natur von Corona-Pandemie sollen sich nicht mehr nach der Natur nah, sondern auch nur eine Natur erleben.\nDie Natur sollen sie nur noch nicht nur nur nach der Natur nah, sondern auch nur eine Natur nach der Natur nachzuhalten.'] Label: [['Die Natur sollen sie dabei nah, intensiv und ursprünglich erleben.']] Sacrebleu: {'score': 7.039372171487218, 'counts': [8, 5, 2, 1], 'totals': [44, 43, 42, 41], 'precisions': [18.181818181818183, 11.627906976744185, 4.761904761904762, 2.4390243902439024], 'bp': 1.0, 'sys_len': 44, 'ref_len': 12} Bleu: {'bleu': 0.07039372171487215, 'precisions': [0.18181818181818182, 0.11627906976744186, 0.047619047619047616, 0.024390243902439025], 'brevity_penalty': 1.0, 'length_ratio': 3.6666666666666665, 'translation_length': 44, 'reference_length': 12} Rouge: {'rouge1': 0.23076923076923073, 'rouge2': 0.12, 'rougeL': 0.19230769230769232, 'rougeLsum': 0.23076923076923073} Sari: {'sari': 23.78892445849152} Flesh Reading Ease: 66.4 ---------------------------------------- Source: ['Das Lebendige Museum Online (LeMO) ist ein Gang durch die deutsche Geschichte von der Mitte des 19. Jahrhunderts bis zur Gegenwart.'] Prediction: ['Das Lebendige Museum Online (LeMO) ist ein Gang durch die deutsche Geschichte von der Mitte des 19.\nJahrhunderts bis zur Gegenwart.\nDie Geschichte wurde von der Mitte des 19.\nJahrhunderts bis zur Gegenwart gezeigt.'] Label: [['Bekannt ist das Lebendige Museum Online (LeMO).\nEs zeigt online die deutsche Geschichte von der Mitte des 19.\nJahrhunderts bis zur Gegenwart.']] Sacrebleu: {'score': 44.844410697608545, 'counts': [22, 18, 16, 14], 'totals': [40, 39, 38, 37], 'precisions': [55.0, 46.15384615384615, 42.10526315789474, 37.83783783783784], 'bp': 1.0, 'sys_len': 40, 'ref_len': 27} Bleu: {'bleu': 0.4484441069760856, 'precisions': [0.55, 0.46153846153846156, 0.42105263157894735, 0.3783783783783784], 'brevity_penalty': 1.0, 'length_ratio': 1.4814814814814814, 'translation_length': 40, 'reference_length': 27} Rouge: {'rouge1': 0.6428571428571428, 'rouge2': 0.5555555555555556, 'rougeL': 0.6071428571428571, 'rougeLsum': 0.6071428571428571} Sari: {'sari': 62.31554228647253} Flesh Reading Ease: 72.05 ---------------------------------------- Source: ['So schnell kann man zu Fuß oder mit der Bahn keinen Rundgang machen.'] Prediction: ['Die Bahn ist ein grosser Rundgang.\nSo schnell kann man zu Fuß oder mit der Bahn keinen Rundgang machen.\nSo schnell kann man zu Fuß oder mit der Bahn keinen Rundgang machen.'] Label: [['Ein großer Vorteil des virtuellen Museums: So schnell kann man zu Fuß oder mit der Bahn keinen Rundgang machen!']] Sacrebleu: {'score': 34.18429290049756, 'counts': [13, 12, 11, 10], 'totals': [35, 34, 33, 32], 'precisions': [37.142857142857146, 35.294117647058826, 33.333333333333336, 31.25], 'bp': 1.0, 'sys_len': 35, 'ref_len': 21} Bleu: {'bleu': 0.3418429290049754, 'precisions': [0.37142857142857144, 0.35294117647058826, 0.3333333333333333, 0.3125], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 35, 'reference_length': 21} Rouge: {'rouge1': 0.5384615384615384, 'rouge2': 0.48000000000000004, 'rougeL': 0.5384615384615384, 'rougeLsum': 0.5384615384615384} Sari: {'sari': 66.65443600950847} Flesh Reading Ease: 93.25 ---------------------------------------- Source: ['Google hat vor über einem Jahr 17 bedeutende Museen und Galerien im Internet unter "Art Project" für alle zugänglich gemacht.'] Prediction: ['Google hat vor über einem Jahr 17 bedeutende Galerien im Internet unter "Art Project" gemacht.\nDiese haben sich für alle zugänglich gemacht.'] Label: [['Google hat vor über einem Jahr 17 Museen und Galerien im Internet unter "Art Project" eröffnet.']] Sacrebleu: {'score': 48.9453596218689, 'counts': [16, 13, 11, 9], 'totals': [26, 25, 24, 23], 'precisions': [61.53846153846154, 52.0, 45.833333333333336, 39.130434782608695], 'bp': 1.0, 'sys_len': 26, 'ref_len': 19} Bleu: {'bleu': 0.4894535962186887, 'precisions': [0.6153846153846154, 0.52, 0.4583333333333333, 0.391304347826087], 'brevity_penalty': 1.0, 'length_ratio': 1.368421052631579, 'translation_length': 26, 'reference_length': 19} Rouge: {'rouge1': 0.6341463414634146, 'rouge2': 0.5641025641025642, 'rougeL': 0.6341463414634146, 'rougeLsum': 0.6341463414634146} Sari: {'sari': 42.38689798288176} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Er besteht aus beschilderten Stationen an historischen Orten in Bonn.'] Prediction: ['Ein 18-Jähriger ist aus beschilderten Stationen in Bonn aufgefunden.\nEr besteht aus beschilderten Stationen an historischen Orten in Bonn.\nEr besteht aus beschilderten Stationen an historischen Orten in Bonn.'] Label: [['Er besteht aus Stationen an historischen Orten in Bonn.']] Sacrebleu: {'score': 20.379765144415735, 'counts': [10, 8, 6, 4], 'totals': [34, 33, 32, 31], 'precisions': [29.41176470588235, 24.242424242424242, 18.75, 12.903225806451612], 'bp': 1.0, 'sys_len': 34, 'ref_len': 10} Bleu: {'bleu': 0.20379765144415737, 'precisions': [0.29411764705882354, 0.24242424242424243, 0.1875, 0.12903225806451613], 'brevity_penalty': 1.0, 'length_ratio': 3.4, 'translation_length': 34, 'reference_length': 10} Rouge: {'rouge1': 0.45000000000000007, 'rouge2': 0.3684210526315789, 'rougeL': 0.45000000000000007, 'rougeLsum': 0.45000000000000007} Sari: {'sari': 60.899470899470906} Flesh Reading Ease: 41.6 ---------------------------------------- Source: ['Der Rundgang beginnt am Haus der Geschichte der Bundesrepublik Deutschland und führt in etwa 90 bis 120 Minuten an zwölf der 18 Stationen vorbei.'] Prediction: ['Der Rundgang der Bundesrepublik Deutschland ist am Mittwochabend in der Schweiz gestartet.\nEs ist der erste Rundgang der Geschichte der Bundesrepublik Deutschland.\nDie 18 Stationen wurden am Mittwochabend vorbei.'] Label: [['Der Rundgang beginnt am Haus der Geschichte der Bundesrepublik Deutschland und führt an zwölf der 18 Stationen vorbei.']] Sacrebleu: {'score': 15.859534261828522, 'counts': [13, 7, 3, 2], 'totals': [32, 31, 30, 29], 'precisions': [40.625, 22.580645161290324, 10.0, 6.896551724137931], 'bp': 1.0, 'sys_len': 32, 'ref_len': 19} Bleu: {'bleu': 0.1585953426182852, 'precisions': [0.40625, 0.22580645161290322, 0.1, 0.06896551724137931], 'brevity_penalty': 1.0, 'length_ratio': 1.6842105263157894, 'translation_length': 32, 'reference_length': 19} Rouge: {'rouge1': 0.4897959183673469, 'rouge2': 0.2553191489361702, 'rougeL': 0.4489795918367347, 'rougeLsum': 0.4489795918367347} Sari: {'sari': 30.670202287849342} Flesh Reading Ease: 47.45 ---------------------------------------- Source: ['So kann man mit Bildern, Videos und Texten bequem vom Computer aus Geschichte und Kultur erleben und sich so viel Zeit wie nötig lassen.'] Prediction: ['Die Welt ist ein Computer, das sich mit Bildern und Videos aus Geschichte und Kultur erleben kann.\nSo kann man mit Bildern, Videos und Texten mit dem Computer aus Geschichte und Kultur erleben und sich so viel Zeit wie nötig lassen.'] Label: [['Mit Bildern, Videos und Texten kann man bequem vom Computer aus Geschichte und Kultur erleben.']] Sacrebleu: {'score': 19.239921065345857, 'counts': [14, 10, 7, 5], 'totals': [45, 44, 43, 42], 'precisions': [31.11111111111111, 22.727272727272727, 16.27906976744186, 11.904761904761905], 'bp': 1.0, 'sys_len': 45, 'ref_len': 17} Bleu: {'bleu': 0.19239921065345855, 'precisions': [0.3111111111111111, 0.22727272727272727, 0.16279069767441862, 0.11904761904761904], 'brevity_penalty': 1.0, 'length_ratio': 2.6470588235294117, 'translation_length': 45, 'reference_length': 17} Rouge: {'rouge1': 0.45614035087719296, 'rouge2': 0.36363636363636365, 'rougeL': 0.4210526315789473, 'rougeLsum': 0.38596491228070173} Sari: {'sari': 31.715525305659288} Flesh Reading Ease: 65.9 ---------------------------------------- Source: ['So kann man die Innenräume der Alten Nationalgalerie und die Gemäldegalerie in Berlin oder das New Yorker Museum of Modern Art besuchen.'] Prediction: ['Die Innenräume der Alten Nationalgalerie und die Gemäldegalerie in Berlin oder das New Yorker Museum of Modern Art sind so viel geschlossen.\nDie Innenräume der Alten Nationalgalerie und die Gemäldegalerie in Berlin oder das New Yorker Museum of Modern Art sind so viel geschlossen.'] Label: [['So kann man das Innere der Alten Nationalgalerie und die Gemäldegalerie in Berlin oder das New Yorker Museum of Modern Art besuchen.']] Sacrebleu: {'score': 33.46847458314313, 'counts': [18, 15, 14, 13], 'totals': [46, 45, 44, 43], 'precisions': [39.130434782608695, 33.333333333333336, 31.818181818181817, 30.232558139534884], 'bp': 1.0, 'sys_len': 46, 'ref_len': 23} Bleu: {'bleu': 0.33468474583143115, 'precisions': [0.391304347826087, 0.3333333333333333, 0.3181818181818182, 0.3023255813953488], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 46, 'reference_length': 23} Rouge: {'rouge1': 0.5352112676056338, 'rouge2': 0.46376811594202894, 'rougeL': 0.5070422535211269, 'rougeLsum': 0.4788732394366197} Sari: {'sari': 38.63695090439276} Flesh Reading Ease: 41.0 ---------------------------------------- Source: ['In den 34 Industriestaaten, die zur OECD gehören, liegt die Differenz im Schnitt bei 16 Prozent.'] Prediction: ['Die deutsche Grossbritannien hat sich in den 34 Industriestaaten eine Differenz im Schnitt bei 16 Prozent gegeben.\nDie deutsche Bundesbritannien hatte sich in den 34 Industriestaaten einen grossen Schritt gekommen.\nDie deutsche Bundesbritannien hatte sich in den 34 Staaten gehört.'] Label: [['In den 34 Industriestaaten, die zur OECD gehören, liegt die Differenz bei 16 Prozent.']] Sacrebleu: {'score': 5.733200051153363, 'counts': [8, 4, 2, 0], 'totals': [43, 42, 41, 40], 'precisions': [18.6046511627907, 9.523809523809524, 4.878048780487805, 1.25], 'bp': 1.0, 'sys_len': 43, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.18604651162790697, 0.09523809523809523, 0.04878048780487805, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5294117647058822, 'translation_length': 43, 'reference_length': 17} Rouge: {'rouge1': 0.3928571428571429, 'rouge2': 0.18518518518518517, 'rougeL': 0.2857142857142857, 'rougeLsum': 0.32142857142857145} Sari: {'sari': 15.58298328734172} Flesh Reading Ease: 49.7 ---------------------------------------- Source: ['An der Spitze, in den Führungspositionen, ist für Frauen "die Luft dünn". In Deutschlands großen Banken, Energie- und Automobilfirmen, in den Telefon- und Kommunikationsunternehmen, die an der Börse gelistet sind, arbeiten nur sehr wenige Frauen:'] Prediction: ['Deutschland hat in den Führungspositionen für Frauen "die Luft dünn".\nIn den Führungspositionen, in den Führungspositionen, ist für Frauen "die Luft dünn".\nIn den Telefon und Kommunikationsunternehmen, die an der Börse gelistet sind, arbeiten nur sehr wenige Frauen.'] Label: [['Hier ist "die Luft dünn" in Deutschlands großen Banken, Energie- und Automobilfirmen, in den Telefon- und Kommunikationsunternehmen, die an der Börse gelistet sind.']] Sacrebleu: {'score': 26.707562223205727, 'counts': [21, 14, 11, 8], 'totals': [49, 48, 47, 46], 'precisions': [42.857142857142854, 29.166666666666668, 23.404255319148938, 17.391304347826086], 'bp': 1.0, 'sys_len': 49, 'ref_len': 29} Bleu: {'bleu': 0.2670756222320572, 'precisions': [0.42857142857142855, 0.2916666666666667, 0.23404255319148937, 0.17391304347826086], 'brevity_penalty': 1.0, 'length_ratio': 1.6896551724137931, 'translation_length': 49, 'reference_length': 29} Rouge: {'rouge1': 0.5, 'rouge2': 0.42857142857142855, 'rougeL': 0.4722222222222222, 'rougeLsum': 0.4722222222222222} Sari: {'sari': 25.33013466537212} Flesh Reading Ease: 44.45 ---------------------------------------- Source: ['Die Gründe: Um Beruf und Familie zu vereinbaren verzichten auch heute noch immer viele Frauen auf eine Karriere.'] Prediction: ['Um Beruf und Familie zu vereinbaren verzichten auch heute noch immer viele Frauen auf eine Karriere.\nUm Beruf und Familie zu vereinbaren verzichten auch heute noch immer viele Frauen auf eine Karriere.'] Label: [['Warum ist das so?\nUm Beruf und Familie zu vereinbaren, verzichten auch heute noch immer viele Frauen auf eine Karriere.']] Sacrebleu: {'score': 42.54445084116239, 'counts': [17, 15, 13, 11], 'totals': [34, 33, 32, 31], 'precisions': [50.0, 45.45454545454545, 40.625, 35.483870967741936], 'bp': 1.0, 'sys_len': 34, 'ref_len': 23} Bleu: {'bleu': 0.425444508411624, 'precisions': [0.5, 0.45454545454545453, 0.40625, 0.3548387096774194], 'brevity_penalty': 1.0, 'length_ratio': 1.4782608695652173, 'translation_length': 34, 'reference_length': 23} Rouge: {'rouge1': 0.6153846153846154, 'rouge2': 0.6, 'rougeL': 0.6153846153846154, 'rougeLsum': 0.6153846153846154} Sari: {'sari': 64.8026113671275} Flesh Reading Ease: 52.85 ---------------------------------------- Source: ['In Norwegen etwa bekommen Frauen lediglich 8,4 Prozent und in Belgien 8,9 Prozent weniger.'] Prediction: ['Frauen in Norwegen und Belgien sind weniger als in der Schweiz.\nIn Norwegen etwa bekommen Frauen lediglich 8,4 Prozent und in Belgien 8,9 Prozent weniger als in der Schweiz.'] Label: [['In Norwegen etwa bekommen Frauen nur 8,4 Prozent und in Belgien 8,9 Prozent weniger.']] Sacrebleu: {'score': 33.66708947010078, 'counts': [14, 11, 9, 7], 'totals': [31, 30, 29, 28], 'precisions': [45.16129032258065, 36.666666666666664, 31.03448275862069, 25.0], 'bp': 1.0, 'sys_len': 31, 'ref_len': 15} Bleu: {'bleu': 0.3366708947010077, 'precisions': [0.45161290322580644, 0.36666666666666664, 0.3103448275862069, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 2.066666666666667, 'translation_length': 31, 'reference_length': 15} Rouge: {'rouge1': 0.6382978723404255, 'rouge2': 0.5777777777777778, 'rougeL': 0.6382978723404255, 'rougeLsum': 0.6382978723404255} Sari: {'sari': 36.625199362041464} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['Auch in der Schule wird das Reden in der Mundart gefördert, denn vielerorts wird es in den Unterricht integriert.'] Prediction: ['In der Mundart wird das Reden in der Mundart gefördert.\nAuch in der Schule wird das Reden in der Mundart gefördert.'] Label: [['Heute lernen in einigen Regionen sogar die Schüler im Unterreicht wieder " ihren" Dialekt.']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4375, 'translation_length': 23, 'reference_length': 16} Rouge: {'rouge1': 0.05405405405405405, 'rouge2': 0.0, 'rougeL': 0.05405405405405405, 'rougeLsum': 0.05405405405405405} Sari: {'sari': 35.294117647058826} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['Auch Teilzeitarbeit oder Telearbeit, die Arbeit von zu Hause, machen das Arbeitsleben flexibler.'] Prediction: ['Die Arbeit von zu Hause ist flexibler.\nAuch Teilzeitarbeit oder Telearbeit, die Arbeit von zu Hause, machen das Arbeitsleben flexibler.'] Label: [['Auch Teilzeitarbeit oder Homeoffice machen das Arbeitsleben flexibler.']] Sacrebleu: {'score': 19.698698937777433, 'counts': [8, 6, 4, 2], 'totals': [24, 23, 22, 21], 'precisions': [33.333333333333336, 26.08695652173913, 18.181818181818183, 9.523809523809524], 'bp': 1.0, 'sys_len': 24, 'ref_len': 9} Bleu: {'bleu': 0.19698698937777442, 'precisions': [0.3333333333333333, 0.2608695652173913, 0.18181818181818182, 0.09523809523809523], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 24, 'reference_length': 9} Rouge: {'rouge1': 0.4999999999999999, 'rouge2': 0.3846153846153846, 'rougeL': 0.4999999999999999, 'rougeLsum': 0.4999999999999999} Sari: {'sari': 49.818265470439385} Flesh Reading Ease: 53.0 ---------------------------------------- Source: ['Kartons bestehen zu mehr als 90 Prozent aus Recyclingfasern.'] Prediction: ['Kartons bestehen zu mehr als 90 Prozent aus Recyclingfasern.\nDerzeit bestehen zu mehr als 90 Prozent aus der Schweiz.'] Label: [['Kartons bestehen zu über 90 Prozent aus Recyclingfasern.']] Sacrebleu: {'score': 22.73861230490963, 'counts': [8, 6, 4, 2], 'totals': [21, 20, 19, 18], 'precisions': [38.095238095238095, 30.0, 21.05263157894737, 11.11111111111111], 'bp': 1.0, 'sys_len': 21, 'ref_len': 9} Bleu: {'bleu': 0.22738612304909625, 'precisions': [0.38095238095238093, 0.3, 0.21052631578947367, 0.1111111111111111], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 21, 'reference_length': 9} Rouge: {'rouge1': 0.5185185185185185, 'rouge2': 0.4, 'rougeL': 0.5185185185185185, 'rougeLsum': 0.5185185185185185} Sari: {'sari': 56.66666666666668} Flesh Reading Ease: 76.9 ---------------------------------------- Source: ['Die Bräuche sind häufig ähnlich, diese Jahreszeit hat nur – abhängig von der Region in Deutschland – verschiedene Namen.'] Prediction: ['Die Bräuche in Deutschland sind häufig ähnlich, diese Jahreszeit hat nur verschiedene Namen.\nDie Bräuche sind häufig ähnlich, diese Jahreszeit hat nur verschiedene Namen.'] Label: [['Die Bräuche sind häufig ähnlich, diese Zeit hat nur – je nach Region in Deutschland – verschiedene Namen.']] Sacrebleu: {'score': 28.755838200176385, 'counts': [14, 10, 6, 4], 'totals': [28, 27, 26, 25], 'precisions': [50.0, 37.03703703703704, 23.076923076923077, 16.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 20} Bleu: {'bleu': 0.28755838200176376, 'precisions': [0.5, 0.37037037037037035, 0.23076923076923078, 0.16], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 28, 'reference_length': 20} Rouge: {'rouge1': 0.6086956521739131, 'rouge2': 0.45454545454545453, 'rougeL': 0.5217391304347826, 'rougeLsum': 0.5217391304347826} Sari: {'sari': 41.78273115773116} Flesh Reading Ease: 56.85 ---------------------------------------- Source: ['Sie beginnt mit Weiberfastnacht, auch Weiberfasching (oder auf Kölsch: „Wieverfastelovend") oder „schmotziger Donnerstag" genannt.'] Prediction: ['Die Schweizer Weiberfastnacht wird am Donnerstag auf Weiberfastnacht genannt.\nSie beginnt mit Weiberfasching und Weiberfasching.\nDie Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schwe'] Label: [['Sie beginnt mit Weiberfastnacht, auch Weiberfasching oder „schmotziger Donnerstag" genannt.']] Sacrebleu: {'score': 0.8440968907953091, 'counts': [8, 3, 1, 0], 'totals': [222, 221, 220, 219], 'precisions': [3.6036036036036037, 1.3574660633484164, 0.45454545454545453, 0.228310502283105], 'bp': 1.0, 'sys_len': 222, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.036036036036036036, 0.013574660633484163, 0.004545454545454545, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 17.076923076923077, 'translation_length': 222, 'reference_length': 13} Rouge: {'rouge1': 0.0608695652173913, 'rouge2': 0.017543859649122806, 'rougeL': 0.034782608695652174, 'rougeLsum': 0.0608695652173913} Sari: {'sari': 30.432688226805872} Flesh Reading Ease: -10.31 ---------------------------------------- Source: ['Am Rosenmontag gibt es in vielen Städten Umzüge mit Mottowagen, die häufig lokale, nationale und auch internationale Politik kommentieren und von vielen Tausend kostümierten Zuschauern besucht werden.'] Prediction: ['Am Rosenmontag werden in vielen Städten Umzüge mit Mottowagen, die häufig lokale, nationale und auch internationale Politik kommentieren und von vielen Tausend kostümierten Zuschauern besucht werden.\nDie Rosenmontag werden in vielen Städten Umzüge mit Mottowagen besucht.'] Label: [['Am Rosenmontag gibt es in vielen Städten Umzüge mit Mottowagen.']] Sacrebleu: {'score': 13.110409944926495, 'counts': [9, 6, 4, 3], 'totals': [40, 39, 38, 37], 'precisions': [22.5, 15.384615384615385, 10.526315789473685, 8.108108108108109], 'bp': 1.0, 'sys_len': 40, 'ref_len': 11} Bleu: {'bleu': 0.13110409944926496, 'precisions': [0.225, 0.15384615384615385, 0.10526315789473684, 0.08108108108108109], 'brevity_penalty': 1.0, 'length_ratio': 3.6363636363636362, 'translation_length': 40, 'reference_length': 11} Rouge: {'rouge1': 0.37037037037037035, 'rouge2': 0.3076923076923077, 'rougeL': 0.37037037037037035, 'rougeLsum': 0.37037037037037035} Sari: {'sari': 18.943615907901624} Flesh Reading Ease: 21.6 ---------------------------------------- Source: ['Vielerorts beginnt die „fünfte Jahreszeit" aber schon am 11.11 (November) um 11:11 Uhr.'] Prediction: ['Am 11.11.2020 findet die "fünfte Jahreszeit" statt.\nDie "fünfte Jahreszeit" beginnt am 11.11 (November) um 11:11 Uhr.\nDie "fünfte Jahreszeit" beginnt am 11.11 (November) um 11:11 Uhr.'] Label: [['An vielen Orten beginnt die „fünfte Jahreszeit" aber schon am 11.11 (November) um 11:11 Uhr.']] Sacrebleu: {'score': 24.573416426575264, 'counts': [15, 11, 9, 8], 'totals': [44, 43, 42, 41], 'precisions': [34.09090909090909, 25.58139534883721, 21.428571428571427, 19.51219512195122], 'bp': 1.0, 'sys_len': 44, 'ref_len': 21} Bleu: {'bleu': 0.2457341642657527, 'precisions': [0.3409090909090909, 0.2558139534883721, 0.21428571428571427, 0.1951219512195122], 'brevity_penalty': 1.0, 'length_ratio': 2.0952380952380953, 'translation_length': 44, 'reference_length': 21} Rouge: {'rouge1': 0.4814814814814815, 'rouge2': 0.3846153846153846, 'rougeL': 0.4814814814814815, 'rougeLsum': 0.4444444444444444} Sari: {'sari': 31.277620929794843} Flesh Reading Ease: 81.0 ---------------------------------------- Source: ['Von „Fasching" spricht man in Teilen Bayerns und auch in Norddeutschland, von „Fastnacht" unter anderem in Hessen, Baden und Württemberg. Der „Karneval" hat seine Hochburgen am Rhein wie in Köln oder Düsseldorf.'] Prediction: ['Die "Fastnacht"-Saison ist in der Schweiz nicht mehr.\nIn der Nacht auf Sonntag wurde der "Karneval" auf der Rhein von "Fasching" ausgeschlossen.\nDie Hochburgen sind am Rhein wie in Köln oder Düsseldorf.'] Label: [['Von „Fasching" spricht man in Teilen Bayerns und auch in Norddeutschland, von „Fastnacht" unter anderem in Hessen, Baden und Württemberg, der „Karneval" ist besonders populär am Rhein in Städten wie Köln oder Düsseldorf.']] Sacrebleu: {'score': 8.175340974854192, 'counts': [15, 4, 2, 1], 'totals': [42, 41, 40, 39], 'precisions': [35.714285714285715, 9.75609756097561, 5.0, 2.5641025641025643], 'bp': 1.0, 'sys_len': 42, 'ref_len': 40} Bleu: {'bleu': 0.08175340974854195, 'precisions': [0.35714285714285715, 0.0975609756097561, 0.05, 0.02564102564102564], 'brevity_penalty': 1.0, 'length_ratio': 1.05, 'translation_length': 42, 'reference_length': 40} Rouge: {'rouge1': 0.4657534246575342, 'rouge2': 0.19718309859154928, 'rougeL': 0.3287671232876712, 'rougeLsum': 0.35616438356164387} Sari: {'sari': 16.501064386633924} Flesh Reading Ease: 81.55 ---------------------------------------- Source: ['Auf Burn-out war in Deutschland im Jahr 2010 fast jeder zehnte Fehltag zurückzuführen, ein Anstieg von rund 80 Prozent gegenüber 1999.Die Krankheitstage kosten viel Geld:'] Prediction: ['Die Krankheitstage in Deutschland kosten viel Geld: Die Krankheitstage kosten viel Geld:'] Label: [['Auf Burn-out war in Deutschland im Jahr 2010 fast jeder zehnte Fehltag zurückzuführen.\nDie Krankheitstage kosten viel Geld:']] Sacrebleu: {'score': 25.634100610243543, 'counts': [8, 6, 4, 3], 'totals': [14, 13, 12, 11], 'precisions': [57.142857142857146, 46.15384615384615, 33.333333333333336, 27.272727272727273], 'bp': 0.6514390575310556, 'sys_len': 14, 'ref_len': 20} Bleu: {'bleu': 0.25634100610243543, 'precisions': [0.5714285714285714, 0.46153846153846156, 0.3333333333333333, 0.2727272727272727], 'brevity_penalty': 0.6514390575310556, 'length_ratio': 0.7, 'translation_length': 14, 'reference_length': 20} Rouge: {'rouge1': 0.4242424242424242, 'rouge2': 0.3225806451612903, 'rougeL': 0.4242424242424242, 'rougeLsum': 0.4242424242424242} Sari: {'sari': 39.22905525846702} Flesh Reading Ease: 62.7 ---------------------------------------- Source: ['So zahlt sich jeder einzelne Euro, der in Prävention investiert wird, für die deutsche Volkswirtschaft mit mindestens fünf und bis zu 16 Euro aus.'] Prediction: ['Die deutsche Volkswirtschaft hat einen einzelnen Euro für eine einzelne Euro investiert.\nSo zahlt sich jeder einzelne Euro, der in Prävention investiert wird, für die deutsche Volkswirtschaft mit mindestens fünf und bis zu 16 Euro aus.'] Label: [['So zahlt sich jeder einzelne Euro, der in Prävention investiert wird, für die deutsche Volkswirtschaft mit bis zu 16 Euro aus.']] Sacrebleu: {'score': 54.257106087131646, 'counts': [24, 22, 20, 18], 'totals': [40, 39, 38, 37], 'precisions': [60.0, 56.41025641025641, 52.63157894736842, 48.648648648648646], 'bp': 1.0, 'sys_len': 40, 'ref_len': 24} Bleu: {'bleu': 0.5425710608713167, 'precisions': [0.6, 0.5641025641025641, 0.5263157894736842, 0.4864864864864865], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 40, 'reference_length': 24} Rouge: {'rouge1': 0.7301587301587301, 'rouge2': 0.6885245901639344, 'rougeL': 0.7301587301587301, 'rougeLsum': 0.7301587301587301} Sari: {'sari': 63.32390521220308} Flesh Reading Ease: 56.7 ---------------------------------------- Source: ['In diesem Jahr gibt es laut Michelin-Restaurantführer in Deutschland 249 Sterne-Restaurants, neun davon haben drei Sterne. Die Speisen der rund sieben Millionen Einwanderer prägen und ergänzen die deutsche Küche.'] Prediction: ['Drei Sterne-Restaurants sind in Deutschland in diesem Jahr in diesem Jahr in den vergangenen Jahren in die Küche gekommen.\nDie Speisen der rund sieben Millionen Einwanderer prägen und ergänzen die deutsche Küche.'] Label: [['Aktuell gibt es laut Michelin-Restaurantführer in Deutschland 308 Sterne-Restaurants.\nRund sieben Millionen Einwanderer prägen und ergänzen die deutsche Küche.']] Sacrebleu: {'score': 28.97029272018376, 'counts': [14, 10, 8, 7], 'totals': [34, 33, 32, 31], 'precisions': [41.1764705882353, 30.303030303030305, 25.0, 22.580645161290324], 'bp': 1.0, 'sys_len': 34, 'ref_len': 21} Bleu: {'bleu': 0.2897029272018376, 'precisions': [0.4117647058823529, 0.30303030303030304, 0.25, 0.22580645161290322], 'brevity_penalty': 1.0, 'length_ratio': 1.619047619047619, 'translation_length': 34, 'reference_length': 21} Rouge: {'rouge1': 0.5483870967741935, 'rouge2': 0.4666666666666666, 'rougeL': 0.48387096774193555, 'rougeLsum': 0.48387096774193555} Sari: {'sari': 47.255972278308725} Flesh Reading Ease: 52.85 ---------------------------------------- Source: ['Nicht mehr wegzudenken ist die italienische Küche:'] Prediction: ['Die italienische Küche ist nicht mehr wegzudenken.\nDie italienische Küche ist nicht mehr wegzudenken.'] Label: [['Dazu gehört vor allem die italienische Küche:']] Sacrebleu: {'score': 4.891187874480726, 'counts': [2, 1, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [12.5, 6.666666666666667, 3.5714285714285716, 1.9230769230769231], 'bp': 1.0, 'sys_len': 16, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 16, 'reference_length': 8} Rouge: {'rouge1': 0.32, 'rouge2': 0.26086956521739135, 'rougeL': 0.32, 'rougeLsum': 0.32} Sari: {'sari': 31.9462481962482} Flesh Reading Ease: 56.0 ---------------------------------------- Source: ['Jede Person braucht am Tag etwa 42 Liter für die Toilettenspülung, 39 Liter fürs Baden oder Duschen, 18 Liter fürs Wäschewaschen, vier Liter für das Kochen und Trinken und zwei Liter für die Autowäsche.'] Prediction: ['Am Tag fanden am Samstag die ersten Tage in der Schweiz statt.\nDie Toilettenspülung ist durchgeführt, dass es durch die Toilettenspülung ist.\nDie Toilettenspülung ist durchgeführt, das Kochen und Trinken und zwei Liter für die Autowäsche.'] Label: [['Jede Person braucht am Tag etwa 42 Liter für die Toilettenspülung, 39 Liter fürs Baden oder Duschen, 18 Liter für das Waschen von Wäsche, vier Liter für das Kochen und Trinken und zwei Liter für die Autowäsche.']] Sacrebleu: {'score': 27.281642450350844, 'counts': [17, 11, 9, 8], 'totals': [41, 40, 39, 38], 'precisions': [41.46341463414634, 27.5, 23.076923076923077, 21.05263157894737], 'bp': 1.0, 'sys_len': 41, 'ref_len': 41} Bleu: {'bleu': 0.27281642450350846, 'precisions': [0.4146341463414634, 0.275, 0.23076923076923078, 0.21052631578947367], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 41, 'reference_length': 41} Rouge: {'rouge1': 0.38636363636363635, 'rouge2': 0.3255813953488372, 'rougeL': 0.38636363636363635, 'rougeLsum': 0.38636363636363635} Sari: {'sari': 21.32587143105952} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Die Ressource Wasser ist in Deutschland ausreichend vorhanden, auch wenn es so wenig regnet wie im Herbst 2011.'] Prediction: ['Die Ressource Wasser ist in Deutschland ausreichend vorhanden.\nEs ist wenig wenig regnet wie im Herbst 2011.'] Label: [['Die Ressource Wasser ist in Deutschland ausreichend vorhanden, auch wenn es in manchen Jahres sehr wenig regnet.']] Sacrebleu: {'score': 41.04424101861003, 'counts': [11, 8, 6, 5], 'totals': [19, 18, 17, 16], 'precisions': [57.89473684210526, 44.44444444444444, 35.294117647058826, 31.25], 'bp': 1.0, 'sys_len': 19, 'ref_len': 19} Bleu: {'bleu': 0.4104424101861004, 'precisions': [0.5789473684210527, 0.4444444444444444, 0.35294117647058826, 0.3125], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 19, 'reference_length': 19} Rouge: {'rouge1': 0.6470588235294118, 'rouge2': 0.5, 'rougeL': 0.6470588235294118, 'rougeLsum': 0.5882352941176471} Sari: {'sari': 33.775686977299884} Flesh Reading Ease: 72.05 ---------------------------------------- Source: ['Wissenschaftler haben in deutschen Flüssen 257 schädliche Chemikalien nachgewiesen.'] Prediction: ['In Deutschland haben in deutschen Flüssen 257 schädliche Chemikalien nachgewiesen.\nDie Chemikalien sind in deutschen Flüssen zu schädlichen Chemikalien gefallen.'] Label: [['Wissenschaftler*inenn haben in deutschen Flüssen 257 schädliche Chemikalien nachgewiesen.']] Sacrebleu: {'score': 36.227557436010244, 'counts': [9, 8, 7, 6], 'totals': [22, 21, 20, 19], 'precisions': [40.90909090909091, 38.095238095238095, 35.0, 31.57894736842105], 'bp': 1.0, 'sys_len': 22, 'ref_len': 12} Bleu: {'bleu': 0.36227557436010244, 'precisions': [0.4090909090909091, 0.38095238095238093, 0.35, 0.3157894736842105], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 22, 'reference_length': 12} Rouge: {'rouge1': 0.5555555555555556, 'rouge2': 0.5294117647058824, 'rougeL': 0.5555555555555556, 'rougeLsum': 0.5555555555555556} Sari: {'sari': 57.89473684210527} Flesh Reading Ease: 29.6 ---------------------------------------- Source: ['Die Vereinten Nationen haben daher die Jahre 2005 bis 2015 zur Dekade des Wassers, „International Decade for Action – Water for Life“, erklärt.'] Prediction: ['Die Vereinten Nationen haben zur internationalen Dekade des Wassers, "International Decade for Action – Water for Life“, erklärt.\nDie Vereinten Nationen haben daher die Jahre 2005 bis 2015 zur Dekade des Wassers, "International Decade for Action – Water for Life“, erklärt.'] Label: [['Die Jahre 2005 bis 2015 wurden zur Dekade des Wassers, „International Decade for Action – Water for Life“ von den Vereinten Nationen erklärt.']] Sacrebleu: {'score': 25.661314344375352, 'counts': [21, 15, 10, 7], 'totals': [49, 48, 47, 46], 'precisions': [42.857142857142854, 31.25, 21.27659574468085, 15.217391304347826], 'bp': 1.0, 'sys_len': 49, 'ref_len': 25} Bleu: {'bleu': 0.2566131434437535, 'precisions': [0.42857142857142855, 0.3125, 0.2127659574468085, 0.15217391304347827], 'brevity_penalty': 1.0, 'length_ratio': 1.96, 'translation_length': 49, 'reference_length': 25} Rouge: {'rouge1': 0.625, 'rouge2': 0.5161290322580645, 'rougeL': 0.5625, 'rougeLsum': 0.5625} Sari: {'sari': 23.60005372938103} Flesh Reading Ease: 31.8 ---------------------------------------- Source: ['Studien beweisen: Unternehmen, die gesellschaftliche Verantwortung übernehmen, stärken ihr positives Image.'] Prediction: ['Unternehmen, die gesellschaftliche Verantwortung übernehmen, stärken ihr positives Image.\nUnternehmen, die gesellschaftliche Verantwortung übernehmen, stärken ihr positives Image.'] Label: [['Studien beweisen: Unternehmen, die gesellschaftliche Verantwortung übernehmen, haben ein positives Image.']] Sacrebleu: {'score': 29.45642544824926, 'counts': [10, 8, 6, 4], 'totals': [24, 23, 22, 21], 'precisions': [41.666666666666664, 34.78260869565217, 27.272727272727273, 19.047619047619047], 'bp': 1.0, 'sys_len': 24, 'ref_len': 15} Bleu: {'bleu': 0.29456425448249246, 'precisions': [0.4166666666666667, 0.34782608695652173, 0.2727272727272727, 0.19047619047619047], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 24, 'reference_length': 15} Rouge: {'rouge1': 0.45161290322580644, 'rouge2': 0.3448275862068966, 'rougeL': 0.45161290322580644, 'rougeLsum': 0.45161290322580644} Sari: {'sari': 22.098360137428074} Flesh Reading Ease: 7.2 ---------------------------------------- Source: ['Sie sind wettbewerbsfähiger, steigern ihre Produktivität und damit ihren wirtschaftlichen Erfolg.'] Prediction: ['Die Schweizer Produktionen sind wettbewerbsfähiger.\nSie steigen ihre Produktivität und damit ihren wirtschaftlichen Erfolg.\nDie Schweizer Produktionen sind wettbewerbsfähiger.'] Label: [['Sie sind wettbewerbsfähiger, steigern ihre Produktivität und sind so wirtschaftlich erfolgreich.']] Sacrebleu: {'score': 9.092617426809149, 'counts': [8, 3, 1, 0], 'totals': [22, 21, 20, 19], 'precisions': [36.36363636363637, 14.285714285714286, 5.0, 2.6315789473684212], 'bp': 1.0, 'sys_len': 22, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.36363636363636365, 0.14285714285714285, 0.05, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6923076923076923, 'translation_length': 22, 'reference_length': 13} Rouge: {'rouge1': 0.5142857142857142, 'rouge2': 0.30303030303030304, 'rougeL': 0.4571428571428572, 'rougeLsum': 0.4571428571428572} Sari: {'sari': 10.555555555555557} Flesh Reading Ease: 15.75 ---------------------------------------- Source: ['Die Bereiche, die besonders beachtet werden, sind Menschenrechte, Arbeitsnormen, Bildung und Umweltschutz.'] Prediction: ['Die Corona-Pandemie hat die Corona-Pandemie besonders beachtet.\nDie Bereiche, die besonders beachtet werden, sind Menschenrechte, Arbeitsnormen, Bildung und Umweltschutz.'] Label: [['Besonders beachtet werden Menschenrechte, Arbeitsnormen, Bildung und Umweltschutz.']] Sacrebleu: {'score': 29.81792160679168, 'counts': [10, 8, 6, 5], 'totals': [25, 24, 23, 22], 'precisions': [40.0, 33.333333333333336, 26.08695652173913, 22.727272727272727], 'bp': 1.0, 'sys_len': 25, 'ref_len': 11} Bleu: {'bleu': 0.2981792160679168, 'precisions': [0.4, 0.3333333333333333, 0.2608695652173913, 0.22727272727272727], 'brevity_penalty': 1.0, 'length_ratio': 2.272727272727273, 'translation_length': 25, 'reference_length': 11} Rouge: {'rouge1': 0.5517241379310345, 'rouge2': 0.4444444444444444, 'rougeL': 0.5517241379310345, 'rougeLsum': 0.5517241379310345} Sari: {'sari': 56.05936558568138} Flesh Reading Ease: 18.4 ---------------------------------------- Source: ['Tokio ist aktuell die größte Stadt der Welt:'] Prediction: ['Tokio ist aktuell die größte Stadt der Welt.\nDie grösste Stadt der Welt ist aktuell die grösste Stadt der Welt.'] Label: [['Tokio ist die größte Stadt der Welt:']] Sacrebleu: {'score': 18.597237212366725, 'counts': [7, 5, 3, 2], 'totals': [22, 21, 20, 19], 'precisions': [31.818181818181817, 23.80952380952381, 15.0, 10.526315789473685], 'bp': 1.0, 'sys_len': 22, 'ref_len': 8} Bleu: {'bleu': 0.18597237212366716, 'precisions': [0.3181818181818182, 0.23809523809523808, 0.15, 0.10526315789473684], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 22, 'reference_length': 8} Rouge: {'rouge1': 0.5161290322580645, 'rouge2': 0.41379310344827586, 'rougeL': 0.5161290322580645, 'rougeLsum': 0.5161290322580645} Sari: {'sari': 22.868589743589745} Flesh Reading Ease: 88.1 ---------------------------------------- Source: ['Besonders profitiert hat der Buchhandel im Internet:'] Prediction: ['Die Buchhandel in der Schweiz hat einen Buchhandel im Internet gehandelt.\nDer Buchhandel war von einem Buchhandel im Internet.\nDie Buchhandel wurde von der Buchhandel profitiert.'] Label: [['Besonders hat der Buchhandel im Internet profitiert:']] Sacrebleu: {'score': 6.3035810609221015, 'counts': [6, 3, 1, 0], 'totals': [29, 28, 27, 26], 'precisions': [20.689655172413794, 10.714285714285714, 3.7037037037037037, 1.9230769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.20689655172413793, 0.10714285714285714, 0.037037037037037035, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.625, 'translation_length': 29, 'reference_length': 8} Rouge: {'rouge1': 0.36363636363636365, 'rouge2': 0.1935483870967742, 'rougeL': 0.36363636363636365, 'rougeLsum': 0.36363636363636365} Sari: {'sari': 34.702380952380956} Flesh Reading Ease: 66.0 ---------------------------------------- Source: ['Inzwischen fallen 18 Prozent des Buchumsatzes auf den Online-Handel.'] Prediction: ['Die Schweiz hat einen Buchumsatz auf den Online-Handel veröffentlicht.\nDie Schweiz hat 18 Prozent des Buchumsatzes auf den Online-Handel veröffentlicht.'] Label: [['18 Prozent des Buchumsatzes entstehen im Online-Handel.']] Sacrebleu: {'score': 11.96655750514248, 'counts': [6, 3, 2, 1], 'totals': [22, 21, 20, 19], 'precisions': [27.272727272727273, 14.285714285714286, 10.0, 5.2631578947368425], 'bp': 1.0, 'sys_len': 22, 'ref_len': 8} Bleu: {'bleu': 0.1196655750514248, 'precisions': [0.2727272727272727, 0.14285714285714285, 0.1, 0.05263157894736842], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 22, 'reference_length': 8} Rouge: {'rouge1': 0.375, 'rouge2': 0.26666666666666666, 'rougeL': 0.375, 'rougeLsum': 0.375} Sari: {'sari': 50.79365079365079} Flesh Reading Ease: 53.0 ---------------------------------------- Source: ['Viele Kunden kaufen nicht mehr in den Buchläden ein, sondern lassen sich die Ware nach Hause liefern.'] Prediction: ['Die Ware in den Buchläden in der Schweiz sind nicht mehr gefunden.\nDie Kunden kaufen nicht mehr in den Buchläden ein, sondern lassen sich die Ware nach Hause liefern.'] Label: [['Viele Kunden kaufen nicht mehr in Buchläden ein.\nSie lassen sich die Ware nach Hause liefern.']] Sacrebleu: {'score': 34.40746789740437, 'counts': [16, 12, 9, 7], 'totals': [32, 31, 30, 29], 'precisions': [50.0, 38.70967741935484, 30.0, 24.137931034482758], 'bp': 1.0, 'sys_len': 32, 'ref_len': 18} Bleu: {'bleu': 0.34407467897404376, 'precisions': [0.5, 0.3870967741935484, 0.3, 0.2413793103448276], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 32, 'reference_length': 18} Rouge: {'rouge1': 0.625, 'rouge2': 0.5217391304347827, 'rougeL': 0.625, 'rougeLsum': 0.625} Sari: {'sari': 24.86130238048397} Flesh Reading Ease: 77.75 ---------------------------------------- Source: ['Die Staatsministerin für Kultur und Medien, Monika Grütters, bezeichnet die Buchhändler als „Überzeugungstäter aus Liebe zum Buch“. Sie gelten „als Fürsprecher auch unbekannter Autorinnen und Autoren und als Botschafter unabhängiger Verlage.'] Prediction: ['Monika Grütters, Staatsministerin für Kultur und Medien, bezeichnet die Buchhändler als "Überzeugungstäter aus Liebe zum Buch".\nSie gelten "als Fürsprecher auch unbekannter Autorinnen und Autoren und als Botschafter unabhängiger Verlage".'] Label: [['Die Staatsministerin für Kultur und Medien, Monika Grütters, bezeichnet die Buchhändler „als Fürsprecher auch unbekannter Autorinnen und Autoren und als Botschafter unabhängiger Verlage.']] Sacrebleu: {'score': 47.7580570579909, 'counts': [24, 20, 16, 12], 'totals': [38, 37, 36, 35], 'precisions': [63.1578947368421, 54.054054054054056, 44.44444444444444, 34.285714285714285], 'bp': 1.0, 'sys_len': 38, 'ref_len': 26} Bleu: {'bleu': 0.4775805705799088, 'precisions': [0.631578947368421, 0.5405405405405406, 0.4444444444444444, 0.34285714285714286], 'brevity_penalty': 1.0, 'length_ratio': 1.4615384615384615, 'translation_length': 38, 'reference_length': 26} Rouge: {'rouge1': 0.8437499999999999, 'rouge2': 0.7741935483870968, 'rougeL': 0.75, 'rougeLsum': 0.75} Sari: {'sari': 44.743161644408666} Flesh Reading Ease: 30.45 ---------------------------------------- Source: ['“ Sie wecken oft erst die Lesebegeisterung und zeigen was es neben den Bestsellerlisten noch gibt.'] Prediction: ['Die besten neuen Bestsellerlisten der Welt sind die besten Neustarts.\nDie Welt ist die erste Weltnummer 1.\nDie Weltnummer 1 ist die erste Weltnummer 1.'] Label: [['“ Sie wecken oft erst die Begeisterung für das Lesen.']] Sacrebleu: {'score': 1.5880117714047368, 'counts': [2, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [7.142857142857143, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5454545454545454, 'translation_length': 28, 'reference_length': 11} Rouge: {'rouge1': 0.05714285714285714, 'rouge2': 0.0, 'rougeL': 0.05714285714285714, 'rougeLsum': 0.05714285714285714} Sari: {'sari': 27.078373015873012} Flesh Reading Ease: 78.1 ---------------------------------------- Source: ['Die bekannteste deutsche Rockband sind die Scorpions, die vor allem im Ausland große Erfolge feierten.'] Prediction: ['Die bekannteste deutsche Rockband Scorpions sind die bekannteste deutsche Rockband.\nDie bekannteste deutsche Rockband sind die Scorpions, die vor allem im Ausland große Erfolge feierten.\nDie bekannteste Rockband sind die Scorpions, die vor allem im Ausland große Erfolge feierten.'] Label: [['Die bekannteste deutsche Rockband sind die Scorpions, die vor allem im Ausland Erfolg hatten.']] Sacrebleu: {'score': 27.44333720270393, 'counts': [14, 12, 11, 10], 'totals': [44, 43, 42, 41], 'precisions': [31.818181818181817, 27.906976744186046, 26.19047619047619, 24.390243902439025], 'bp': 1.0, 'sys_len': 44, 'ref_len': 16} Bleu: {'bleu': 0.2744333720270393, 'precisions': [0.3181818181818182, 0.27906976744186046, 0.2619047619047619, 0.24390243902439024], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 44, 'reference_length': 16} Rouge: {'rouge1': 0.4363636363636364, 'rouge2': 0.41509433962264153, 'rougeL': 0.4363636363636364, 'rougeLsum': 0.4363636363636364} Sari: {'sari': 61.87932437932437} Flesh Reading Ease: 50.0 ---------------------------------------- Source: ['Rockmusik, zu der auch Metal und Punk gezählt werden, lag im Umsatz bei knapp 22 Prozent.'] Prediction: ['Die Schweiz vermeldet mit einem starken Punk-Szentrum im Umsatz mit 22 Prozent.\nDie Schweiz verzeichnete die Runde der Punk-Szentrum mit dem Rücktritt der auch Metal und Punk-Szentrum.\nDie Schweizer Rockmusik-Szentrum hat einen starken Punk-Szentrum im Umsatz bei 22 Prozent.'] Label: [['Rockmusik, zu der auch Metal und Punk gezählt werden, lag beim Umsatz bei knapp 22 Prozent.']] Sacrebleu: {'score': 8.812300886896203, 'counts': [9, 6, 3, 1], 'totals': [42, 41, 40, 39], 'precisions': [21.428571428571427, 14.634146341463415, 7.5, 2.5641025641025643], 'bp': 1.0, 'sys_len': 42, 'ref_len': 19} Bleu: {'bleu': 0.08812300886896199, 'precisions': [0.21428571428571427, 0.14634146341463414, 0.075, 0.02564102564102564], 'brevity_penalty': 1.0, 'length_ratio': 2.210526315789474, 'translation_length': 42, 'reference_length': 19} Rouge: {'rouge1': 0.3225806451612903, 'rouge2': 0.19999999999999998, 'rougeL': 0.2903225806451613, 'rougeLsum': 0.3225806451612903} Sari: {'sari': 18.026647265777704} Flesh Reading Ease: 67.55 ---------------------------------------- Source: ['Rockmusik klingt wesentlich härter im Vergleich zu Schlager oder auch Pop.'] Prediction: ['Die besten neuen Songs sind die besten neuen Songs.\nDie besten Songs sind die besten Songs, die sich auf dem Cover der Bildstrecke zu sehen.\nDie besten Songs sind die besten Songs, die sich auf dem Cover handeln.'] Label: [['Rockmusik klingt härter als Popmusik.']] Sacrebleu: {'score': 0.8522452865706931, 'counts': [1, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [2.3255813953488373, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.023255813953488372, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.166666666666667, 'translation_length': 43, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 49.520202020202014} Flesh Reading Ease: 85.4 ---------------------------------------- Source: ['Deshalb wurde sie als „Rock“ bezeichnet, das englische Wort für „Felsen“.'] Prediction: ['Deshalb wurde als "Rock“ bezeichnet, das englische Wort für "Felsen" ist.\nDie Zürcher Band "Felsen" wurde als "Rock" bezeichnet.\nDie Zürcher Band "Felsen" wurde als "Rock" bezeichnet.'] Label: [['Die Bezeichnung „Rock“ kommt aus dem Englischen und heißt „Felsen“.']] Sacrebleu: {'score': 1.038539619163422, 'counts': [2, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [4.761904761904762, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.047619047619047616, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.8181818181818183, 'translation_length': 42, 'reference_length': 11} Rouge: {'rouge1': 0.14634146341463417, 'rouge2': 0.0, 'rougeL': 0.14634146341463417, 'rougeLsum': 0.14634146341463417} Sari: {'sari': 28.71260683760684} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Hip-Hop entstand in den 70er Jahren und hat seine Wurzeln in der schwarzen Funk- und Soul-Musik.'] Prediction: ['Hip-Hop entstand in den 70er Jahren und hat seine Wurzeln in der schwarzen Funk und Soul-Musik.\nDie Wurzeln in der schwarzen Funk und Soul-Musik sind in den 70er Jahren gestiegen.'] Label: [['Hip-Hop entstand in den 70er Jahren.']] Sacrebleu: {'score': 14.85267203492409, 'counts': [7, 5, 4, 3], 'totals': [32, 31, 30, 29], 'precisions': [21.875, 16.129032258064516, 13.333333333333334, 10.344827586206897], 'bp': 1.0, 'sys_len': 32, 'ref_len': 7} Bleu: {'bleu': 0.14852672034924091, 'precisions': [0.21875, 0.16129032258064516, 0.13333333333333333, 0.10344827586206896], 'brevity_penalty': 1.0, 'length_ratio': 4.571428571428571, 'translation_length': 32, 'reference_length': 7} Rouge: {'rouge1': 0.35, 'rouge2': 0.3157894736842105, 'rougeL': 0.35, 'rougeLsum': 0.35} Sari: {'sari': 51.016671603963005} Flesh Reading Ease: 71.4 ---------------------------------------- Source: ['Über 1.000 Betriebe ernten in der Region etwa 250.000 Tonnen pro Jahr.'] Prediction: ['In der Schweiz sind über 1.000 Betriebe pro Jahr über 1.000 Betriebe betroffen.\nDie Betriebe ernten 250.000 Tonnen pro Jahr.'] Label: [['Es gibt über 1.000 Apfelbauern in der Region.\nSie ernten jedes Jahr im Herbst ungefähr 250.000 Tonnen Äpfel.']] Sacrebleu: {'score': 5.983278752571241, 'counts': [9, 2, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [40.90909090909091, 9.523809523809524, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.4090909090909091, 0.09523809523809523, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1, 'translation_length': 22, 'reference_length': 20} Rouge: {'rouge1': 0.4545454545454545, 'rouge2': 0.23809523809523808, 'rougeL': 0.31818181818181823, 'rougeLsum': 0.3636363636363636} Sari: {'sari': 37.202380952380956} Flesh Reading Ease: 88.25 ---------------------------------------- Source: ['Im Jahr 2017 war es im Frühling zur Zeit der Apfelblüte sehr kalt und feucht, weshalb in jenem Jahr deutlich weniger Äpfel an den Bäumen wuchsen.'] Prediction: ['2017 wurde der erste Jahr der Apfelblüte sehr kalt und feucht.\nIm Frühling 2017 war es im Frühling zur Zeit der Apfelblüte sehr kalt und feucht.\n2018 wurde es deutlich weniger Äpfel an den Bäumen wuchsen.'] Label: [['Im Jahr 2017 gab es leider eine schlechte Ernte.\nIm Frühling zur Zeit der Apfelblüte war es sehr kalt.\nAußerdem hat es viel geregnet.\nDeshalb gab es in jenem Jahr deutlich weniger Äpfel.']] Sacrebleu: {'score': 17.61368775330164, 'counts': [19, 10, 5, 2], 'totals': [39, 38, 37, 36], 'precisions': [48.717948717948715, 26.31578947368421, 13.513513513513514, 5.555555555555555], 'bp': 1.0, 'sys_len': 39, 'ref_len': 37} Bleu: {'bleu': 0.1761368775330164, 'precisions': [0.48717948717948717, 0.2631578947368421, 0.13513513513513514, 0.05555555555555555], 'brevity_penalty': 1.0, 'length_ratio': 1.054054054054054, 'translation_length': 39, 'reference_length': 37} Rouge: {'rouge1': 0.4935064935064935, 'rouge2': 0.29333333333333333, 'rougeL': 0.4415584415584415, 'rougeLsum': 0.4675324675324676} Sari: {'sari': 34.49656659350376} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['Das milde Klima sorgt normalerweise für eine reiche Ernte im Herbst.'] Prediction: ['Das milde Klima sorgt normalerweise für eine reiche Ernte im Herbst.\nEs ist das milde Klima, das aber nicht mehr einmal einmal einmal einmal einmal zu sehen.'] Label: [['Das milde Klima sorgt normalerweise für eine reiche Ernte.']] Sacrebleu: {'score': 26.73465335275292, 'counts': [10, 8, 7, 6], 'totals': [30, 29, 28, 27], 'precisions': [33.333333333333336, 27.586206896551722, 25.0, 22.22222222222222], 'bp': 1.0, 'sys_len': 30, 'ref_len': 10} Bleu: {'bleu': 0.26734653352752924, 'precisions': [0.3333333333333333, 0.27586206896551724, 0.25, 0.2222222222222222], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 30, 'reference_length': 10} Rouge: {'rouge1': 0.5263157894736842, 'rouge2': 0.5, 'rougeL': 0.5263157894736842, 'rougeLsum': 0.5263157894736842} Sari: {'sari': 61.45604653344591} Flesh Reading Ease: 67.05 ---------------------------------------- Source: ['Die Erdbeerzeit beginnt je nach Witterung normalerweise im Mai und endet im Juni. Eltern gehen gern mit ihren Kindern auf die Erdbeerfelder.'] Prediction: ['Die Erdbeerzeit beginnt im Mai und endet im Juni.\nEltern gehen gern mit ihren Kindern auf die Erdbeerfelder.\nEs gehen zu den ersten Täter auf die Erdbeerfelder.'] Label: [['Während der Erdbeerzeit im Frühjahr gehen Eltern gern mit ihren Kindern auf die Erdbeerfelder.']] Sacrebleu: {'score': 24.879398316482103, 'counts': [12, 7, 6, 5], 'totals': [30, 29, 28, 27], 'precisions': [40.0, 24.137931034482758, 21.428571428571427, 18.51851851851852], 'bp': 1.0, 'sys_len': 30, 'ref_len': 15} Bleu: {'bleu': 0.2487939831648211, 'precisions': [0.4, 0.2413793103448276, 0.21428571428571427, 0.18518518518518517], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 30, 'reference_length': 15} Rouge: {'rouge1': 0.5, 'rouge2': 0.2857142857142857, 'rougeL': 0.45454545454545453, 'rougeLsum': 0.45454545454545453} Sari: {'sari': 53.295055821371605} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Zu den beliebtesten heimischen Früchten gehören Erdbeeren, die allerdings nur relativ kurze Zeit geerntet werden.'] Prediction: ['Erdbeeren gehören nur relativ kurze Zeit, die nur relativ kurze Zeit geerntet werden.\nZu den beliebtesten heimischen Früchten gehören Erdbeeren, die allerdings nur relativ kurze Zeit geerntet werden.'] Label: [['Zu den beliebtesten heimischen Früchten gehören Erdbeeren.\nMan kann sie leider nur für kurze Zeit ernten.']] Sacrebleu: {'score': 21.004850229269245, 'counts': [12, 7, 5, 4], 'totals': [32, 31, 30, 29], 'precisions': [37.5, 22.580645161290324, 16.666666666666668, 13.793103448275861], 'bp': 1.0, 'sys_len': 32, 'ref_len': 18} Bleu: {'bleu': 0.21004850229269248, 'precisions': [0.375, 0.22580645161290322, 0.16666666666666666, 0.13793103448275862], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 32, 'reference_length': 18} Rouge: {'rouge1': 0.48000000000000004, 'rouge2': 0.37499999999999994, 'rougeL': 0.48000000000000004, 'rougeLsum': 0.48000000000000004} Sari: {'sari': 52.8237865194387} Flesh Reading Ease: 43.15 ---------------------------------------- Source: ['2014 war Frau Merkel an Rosenmontag als „intergalaktische Kanzlerin“ auf einem Mottowagen in Köln unterwegs, in Mainz tippte sie eine Textnachricht in ihr Mobiltelefon - Uncle Sam schaute ihr dabei über die Schulter.'] Prediction: ['Die Frau Merkel hat sich 2014 als "intergalaktische Kanzlerin" auf einem Mottowagen in Köln unterwegs.\nUnter anderem war sie eine Textnachricht in ihr Mobiltelefon.\nUnter anderem war sie auf einem Mottowagen in Köln unterwegs.'] Label: [['2014 war Frau Merkel an Rosenmontag als „intergalaktische Kanzlerin“ auf einem Mottowagen in Köln unterwegs, in Mainz tippte sie eine Textnachricht in ihr Mobiltelefon - Uncle Sam stand natürlich dabei.']] Sacrebleu: {'score': 26.69984706446593, 'counts': [19, 11, 8, 6], 'totals': [39, 38, 37, 36], 'precisions': [48.717948717948715, 28.94736842105263, 21.62162162162162, 16.666666666666668], 'bp': 1.0, 'sys_len': 39, 'ref_len': 32} Bleu: {'bleu': 0.2669984706446594, 'precisions': [0.48717948717948717, 0.2894736842105263, 0.21621621621621623, 0.16666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 1.21875, 'translation_length': 39, 'reference_length': 32} Rouge: {'rouge1': 0.626865671641791, 'rouge2': 0.4615384615384615, 'rougeL': 0.537313432835821, 'rougeLsum': 0.5671641791044777} Sari: {'sari': 27.07022446389799} Flesh Reading Ease: 51.7 ---------------------------------------- Source: ['40 Tage vor Ostern geht es in vielen Städten von Weiberfastnacht bis Aschermittwoch vor allem am Rosenmontag bunt und laut zu.'] Prediction: ['Wegen der Corona-Pandemie geht es in vielen Städten von Weiberfastnacht bis Aschermittwoch zu.\nDie Temperaturen geht bis Aschermittwoch bunt und laut zu.'] Label: [['40 Tage vor Ostern geht es in vielen Städten vor allem am Rosenmontag bunt und laut zu.']] Sacrebleu: {'score': 29.45642544824926, 'counts': [10, 8, 6, 4], 'totals': [24, 23, 22, 21], 'precisions': [41.666666666666664, 34.78260869565217, 27.272727272727273, 19.047619047619047], 'bp': 1.0, 'sys_len': 24, 'ref_len': 18} Bleu: {'bleu': 0.29456425448249246, 'precisions': [0.4166666666666667, 0.34782608695652173, 0.2727272727272727, 0.19047619047619047], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 24, 'reference_length': 18} Rouge: {'rouge1': 0.4761904761904762, 'rouge2': 0.39999999999999997, 'rougeL': 0.4761904761904762, 'rougeLsum': 0.4761904761904762} Sari: {'sari': 22.33555796055796} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Aber auch in vielen anderen Städten gibt es Veranstaltungen mit „Büttenreden“, bei denen die Obrigkeit bissige Seitenhiebe abbekommt.'] Prediction: ['In vielen anderen Städten gibt es Veranstaltungen mit "Büttenreden" bei denen die Obrigkeit bissige Seitenhiebe abbekommt.\nDie Obrigkeit wird bissige Seitenhiebe abbekommt.'] Label: [['In vielen Städten gibt es „Büttenreden“ mit Seitenhieben auf die Obrigkeit.']] Sacrebleu: {'score': 8.415986258156725, 'counts': [9, 4, 1, 0], 'totals': [26, 25, 24, 23], 'precisions': [34.61538461538461, 16.0, 4.166666666666667, 2.1739130434782608], 'bp': 1.0, 'sys_len': 26, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.34615384615384615, 0.16, 0.041666666666666664, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1666666666666665, 'translation_length': 26, 'reference_length': 12} Rouge: {'rouge1': 0.5945945945945945, 'rouge2': 0.3428571428571428, 'rougeL': 0.5405405405405406, 'rougeLsum': 0.5405405405405406} Sari: {'sari': 42.00498575498575} Flesh Reading Ease: 28.6 ---------------------------------------- Source: ['Doch die Preußen waren den Kölnern nicht sehr sympathisch und daher schnell ein Ziel von Spott und Spaß.'] Prediction: ['Die Preußen sind ein Ziel von Spott und Spaß.\nDie Preußen waren nicht sehr sympathisch.\nDie Preußen sind ein Ziel von Spott und Spaß.'] Label: [['Doch die Preußen waren den Kölnern nicht sehr sympathisch und daher schnell ein Ziel von Spott.']] Sacrebleu: {'score': 14.724623770949025, 'counts': [11, 6, 3, 1], 'totals': [27, 26, 25, 24], 'precisions': [40.74074074074074, 23.076923076923077, 12.0, 4.166666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 17} Bleu: {'bleu': 0.1472462377094902, 'precisions': [0.4074074074074074, 0.23076923076923078, 0.12, 0.041666666666666664], 'brevity_penalty': 1.0, 'length_ratio': 1.588235294117647, 'translation_length': 27, 'reference_length': 17} Rouge: {'rouge1': 0.5333333333333333, 'rouge2': 0.372093023255814, 'rougeL': 0.4888888888888889, 'rougeLsum': 0.4888888888888889} Sari: {'sari': 15.3650474888865} Flesh Reading Ease: 95.95 ---------------------------------------- Source: ['Viele Karnevalsgruppen tragen in den Straßenumzügen Fantasieuniformen, die an die preußischen Uniformen erinnern, dazu Holzgewehre, in deren Lauf Blumen stecken.'] Prediction: ['Viele Karnevalsgruppen tragen in den Straßenumzügen Fantasieuniformen.\nSie tragen dazu Holzgewehre, in deren Lauf Blumen stecken.'] Label: [['Viele Karnevalsgruppen tragen in den Straßenumzügen Fantasieuniformen, die an die preußischen Uniformen erinnern.\nDazu tragen sie Holzgewehre, die mit Blumen geschmückt sind.']] Sacrebleu: {'score': 25.874136460841367, 'counts': [13, 7, 5, 4], 'totals': [19, 18, 17, 16], 'precisions': [68.42105263157895, 38.888888888888886, 29.41176470588235, 25.0], 'bp': 0.6918258252705171, 'sys_len': 19, 'ref_len': 26} Bleu: {'bleu': 0.2587413646084136, 'precisions': [0.6842105263157895, 0.3888888888888889, 0.29411764705882354, 0.25], 'brevity_penalty': 0.6918258252705171, 'length_ratio': 0.7307692307692307, 'translation_length': 19, 'reference_length': 26} Rouge: {'rouge1': 0.6363636363636364, 'rouge2': 0.38095238095238104, 'rougeL': 0.5454545454545455, 'rougeLsum': 0.5909090909090908} Sari: {'sari': 27.300623942719298} Flesh Reading Ease: 25.75 ---------------------------------------- Source: ['Berlin, Hamburg, München und Köln sind Millionenstädte, d. h. hier wohnen mehr als eine Million Einwohner.'] Prediction: ['Die Millionenstädte in der Schweiz sind in der Schweiz mehr als eine Million Einwohner.\nIn der Schweiz wohnen mehr als eine Million Einwohner.\nIn der Schweiz wohnen mehr als eine Million Einwohner.'] Label: [['Berlin, Hamburg, München und Köln sind Millionenstädte.\nHier wohnen mehr als eine Million Einwohner.']] Sacrebleu: {'score': 17.578936267827487, 'counts': [10, 6, 5, 4], 'totals': [35, 34, 33, 32], 'precisions': [28.571428571428573, 17.647058823529413, 15.151515151515152, 12.5], 'bp': 1.0, 'sys_len': 35, 'ref_len': 18} Bleu: {'bleu': 0.1757893626782748, 'precisions': [0.2857142857142857, 0.17647058823529413, 0.15151515151515152, 0.125], 'brevity_penalty': 1.0, 'length_ratio': 1.9444444444444444, 'translation_length': 35, 'reference_length': 18} Rouge: {'rouge1': 0.36, 'rouge2': 0.25, 'rougeL': 0.32, 'rougeLsum': 0.32} Sari: {'sari': 31.13030533548291} Flesh Reading Ease: 69.85 ---------------------------------------- Source: ['Sie entstanden aus alten römischen Siedlungen wie Köln, wurden um eine Burg oder ein Kloster gebaut wie etwa München oder sie entstanden als größere Siedlungen von Kaufleuten wie Hamburg.'] Prediction: ['In der Schweiz wurden am Sonntagabend mehrere Römische Siedlungen entdeckt.\nSie entstanden aus alten römischen Siedlungen wie Köln, wurden um eine Burg oder ein Kloster gebaut wie etwa München oder sie entstanden als größere Siedlungen von Kaufleuten wie Hamburg.'] Label: [['Sie entstanden aus alten römischen Siedlungen wie Köln.\nAndere wurden um eine Burg oder ein Kloster gebaut wie München oder sie entstanden als größere Siedlungen von Kaufleuten wie Hamburg.']] Sacrebleu: {'score': 60.45380937140254, 'counts': [30, 26, 23, 20], 'totals': [42, 41, 40, 39], 'precisions': [71.42857142857143, 63.41463414634146, 57.5, 51.282051282051285], 'bp': 1.0, 'sys_len': 42, 'ref_len': 31} Bleu: {'bleu': 0.6045380937140253, 'precisions': [0.7142857142857143, 0.6341463414634146, 0.575, 0.5128205128205128], 'brevity_penalty': 1.0, 'length_ratio': 1.3548387096774193, 'translation_length': 42, 'reference_length': 31} Rouge: {'rouge1': 0.8311688311688312, 'rouge2': 0.7733333333333334, 'rougeL': 0.8311688311688312, 'rougeLsum': 0.8311688311688312} Sari: {'sari': 63.351733143399805} Flesh Reading Ease: 55.2 ---------------------------------------- Source: ['Hier siedelten sich auch viele Handwerker an, es kamen immer mehr Kaufleute hinzu, und so wuchsen die Städte, große wie kleine.'] Prediction: ['Einige Handwerker siedeln sich an, es kamen immer mehr Kaufleute hinzu, und so wuchsen die Städte, große wie kleine.\nDie Städte wurden dabei aufgefordert, wie sie sie sind.'] Label: [['Hier siedelten sich auch viele Handwerker an.\nEs kamen immer mehr Kaufleute hinzu, und so wuchsen die Städte.']] Sacrebleu: {'score': 31.896056173040126, 'counts': [16, 10, 9, 8], 'totals': [34, 33, 32, 31], 'precisions': [47.05882352941177, 30.303030303030305, 28.125, 25.806451612903224], 'bp': 1.0, 'sys_len': 34, 'ref_len': 21} Bleu: {'bleu': 0.31896056173040127, 'precisions': [0.47058823529411764, 0.30303030303030304, 0.28125, 0.25806451612903225], 'brevity_penalty': 1.0, 'length_ratio': 1.619047619047619, 'translation_length': 34, 'reference_length': 21} Rouge: {'rouge1': 0.6, 'rouge2': 0.5, 'rougeL': 0.56, 'rougeLsum': 0.56} Sari: {'sari': 26.48128777937918} Flesh Reading Ease: 66.55 ---------------------------------------- Source: ['Und gerade die Kleinstädte – sie haben zwischen 5.000 und 20.000 Einwohner – sind oft die schönsten mit viel mittelalterlichem Flair und tollen historischen Gebäuden.'] Prediction: ['Die Kleinstädte der Schweiz sind oft die schönsten mit viel mittelalterlichem Flair und tollen historischen Gebäuden.\nDie Kleinstädte sind oft die schönsten mit viel mittelalterlichem Flair und tollen historischen Gebäuden.'] Label: [['Und gerade die Kleinstädte – sie haben zwischen 5.000 und 20.000 Einwohner – sind oft die schönsten.']] Sacrebleu: {'score': 8.635800047213174, 'counts': [8, 3, 2, 1], 'totals': [32, 31, 30, 29], 'precisions': [25.0, 9.67741935483871, 6.666666666666667, 3.4482758620689653], 'bp': 1.0, 'sys_len': 32, 'ref_len': 18} Bleu: {'bleu': 0.08635800047213174, 'precisions': [0.25, 0.0967741935483871, 0.06666666666666667, 0.034482758620689655], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 32, 'reference_length': 18} Rouge: {'rouge1': 0.36363636363636365, 'rouge2': 0.22641509433962265, 'rougeL': 0.32727272727272727, 'rougeLsum': 0.2909090909090909} Sari: {'sari': 8.442012967875035} Flesh Reading Ease: 53.85 ---------------------------------------- Source: ['Mit dem Osterfest feiern Christen die Auferstehung Jesu.'] Prediction: ['Im Osterfest feiern Christen die Auferstehung Jesu.\nDie Auferstehung Jesu wurde mit dem Osterfest aufgefunden.\nDie Frau war mit dem Osterfest aufgefunden.'] Label: [['Mit dem Osterfest feiern Christen die Auferstehung von Jesus.']] Sacrebleu: {'score': 16.217331037826323, 'counts': [7, 5, 3, 2], 'totals': [25, 24, 23, 22], 'precisions': [28.0, 20.833333333333332, 13.043478260869565, 9.090909090909092], 'bp': 1.0, 'sys_len': 25, 'ref_len': 10} Bleu: {'bleu': 0.16217331037826324, 'precisions': [0.28, 0.20833333333333334, 0.13043478260869565, 0.09090909090909091], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 25, 'reference_length': 10} Rouge: {'rouge1': 0.45161290322580644, 'rouge2': 0.4137931034482759, 'rougeL': 0.3225806451612903, 'rougeLsum': 0.45161290322580644} Sari: {'sari': 41.8799337916985} Flesh Reading Ease: 55.7 ---------------------------------------- Source: ['In Deutschland und vielen anderen Ländern ist das Osterfest von vielen Bräuchen und Traditionen geprägt.'] Prediction: ['Das Osterfest in Deutschland ist in vielen anderen Ländern von vielen Bräuchen und Traditionen geprägt.\nIn den letzten Tagen ist das Osterfest von vielen Bräuchen und Traditionen geprägt.\nIn den letzten Tagen ist das Osterfest von vielen Bräuchen und Traditionen geprägt.'] Label: [['In Deutschland und vielen anderen Ländern hat das Osterfest viele Bräuche und Traditionen.']] Sacrebleu: {'score': 5.097615802300062, 'counts': [11, 4, 1, 0], 'totals': [44, 43, 42, 41], 'precisions': [25.0, 9.30232558139535, 2.380952380952381, 1.2195121951219512], 'bp': 1.0, 'sys_len': 44, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.09302325581395349, 0.023809523809523808, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.142857142857143, 'translation_length': 44, 'reference_length': 14} Rouge: {'rouge1': 0.38095238095238093, 'rouge2': 0.1967213114754098, 'rougeL': 0.3492063492063492, 'rougeLsum': 0.3492063492063492} Sari: {'sari': 31.01671595792536} Flesh Reading Ease: 55.15 ---------------------------------------- Source: ['Der OsterhaseIn den deutschsprachigen Ländern suchen Kinder am Ostersonntag bunt bemalte Eier, Süßigkeiten und auch kleine Geschenke, die vom Osterhasen versteckt werden.'] Prediction: ['In den deutschsprachigen Ländern suchen Kinder am Ostersonntag bemalte Eier, Süßigkeiten und auch kleine Geschenke.\nDie Kinder suchen sich am Osterhase.\nDie Kinder suchen sich bemalte Eier, Süßigkeiten und auch kleine Geschenke.'] Label: [['In den deutschsprachigen Ländern suchen Kinder am Ostersonntag bunt bemalte Eier, Süßigkeiten und auch kleine Geschenke, die der Osterhase versteckt.']] Sacrebleu: {'score': 37.67063353462587, 'counts': [19, 14, 12, 10], 'totals': [37, 36, 35, 34], 'precisions': [51.351351351351354, 38.888888888888886, 34.285714285714285, 29.41176470588235], 'bp': 1.0, 'sys_len': 37, 'ref_len': 23} Bleu: {'bleu': 0.3767063353462587, 'precisions': [0.5135135135135135, 0.3888888888888889, 0.34285714285714286, 0.29411764705882354], 'brevity_penalty': 1.0, 'length_ratio': 1.608695652173913, 'translation_length': 37, 'reference_length': 23} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.5818181818181817, 'rougeL': 0.6666666666666666, 'rougeLsum': 0.6315789473684209} Sari: {'sari': 56.71098110791093} Flesh Reading Ease: 46.45 ---------------------------------------- Source: ['In Westfalen oder Hannover war es lange Zeit der Fuchs, in der Schweiz der Kuckuck, in Schleswig-Holstein, Oberbayern und Österreich der Hahn, in Thüringen der Storch.'] Prediction: ['In der Schweiz der Kuckuck war es lange Zeit der Fuchs.\nIn der Schweiz der Kuckuck war es in Schleswig-Holstein, Oberbayern und Österreich der Hahn, in Thüringen der Storch.'] Label: [['In Westfalen oder Hannover war es lange Zeit der Fuchs, in der Schweiz der Kuckuck, in Schleswig-Holstein, Oberbayern und Österreich der Hahn.']] Sacrebleu: {'score': 44.356256687775854, 'counts': [22, 16, 12, 9], 'totals': [33, 32, 31, 30], 'precisions': [66.66666666666667, 50.0, 38.70967741935484, 30.0], 'bp': 1.0, 'sys_len': 33, 'ref_len': 26} Bleu: {'bleu': 0.4435625668777584, 'precisions': [0.6666666666666666, 0.5, 0.3870967741935484, 0.3], 'brevity_penalty': 1.0, 'length_ratio': 1.2692307692307692, 'translation_length': 33, 'reference_length': 26} Rouge: {'rouge1': 0.7407407407407407, 'rouge2': 0.6538461538461539, 'rougeL': 0.7407407407407407, 'rougeLsum': 0.7407407407407407} Sari: {'sari': 31.16186037315299} Flesh Reading Ease: 83.6 ---------------------------------------- Source: ['Für Kinder verstecken die Eltern diese Eier und natürlich auch Schokoladeneier im Haus und im Garten. Das Ostereiersuchen ist ein großer Spaß für Alt und Jung.'] Prediction: ['Für Kinder verstecken die Eltern diese Eier und natürlich auch Schokoladeneier im Haus und im Garten.\nDas Ostereiersuchen ist ein großer Spaß für Alt und Jung.\nDas ist ein großer Spaß für Alt und Jung.'] Label: [['Für Kinder verstecken die Eltern diese Eier und natürlich auch Schokoladeneier im Haus und im Garten, das Ostereiersuchen ist ein großer Spaß für alle.']] Sacrebleu: {'score': 52.293608767953, 'counts': [23, 20, 18, 16], 'totals': [38, 37, 36, 35], 'precisions': [60.526315789473685, 54.054054054054056, 50.0, 45.714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 26} Bleu: {'bleu': 0.5229360876795301, 'precisions': [0.6052631578947368, 0.5405405405405406, 0.5, 0.45714285714285713], 'brevity_penalty': 1.0, 'length_ratio': 1.4615384615384615, 'translation_length': 38, 'reference_length': 26} Rouge: {'rouge1': 0.782608695652174, 'rouge2': 0.7761194029850746, 'rougeL': 0.782608695652174, 'rougeLsum': 0.782608695652174} Sari: {'sari': 62.19442656942656} Flesh Reading Ease: 74.7 ---------------------------------------- Source: ['Klassische Unternehmen streben danach, ihren Gewinn zu vergrößern und zu expandieren.'] Prediction: ['Klassische Unternehmen streben, ihren Gewinn zu vergrößern und zu expandieren.\nDie Unternehmen streben danach, ihren Gewinn zu vergrößern und zu expandieren.'] Label: [['Klassische Unternehmen wollen ihren Gewinn vergrößern und expandieren.']] Sacrebleu: {'score': 6.024757292375468, 'counts': [8, 4, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [32.0, 16.666666666666668, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.32, 0.16666666666666666, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7777777777777777, 'translation_length': 25, 'reference_length': 9} Rouge: {'rouge1': 0.5, 'rouge2': 0.26666666666666666, 'rougeL': 0.5, 'rougeLsum': 0.5} Sari: {'sari': 44.166666666666664} Flesh Reading Ease: 40.8 ---------------------------------------- Source: ['Geschäftsmodell mit sozialem Bezug ist die Ausstellung „Dialog im Dunkeln“.'] Prediction: ['Die Ausstellung des sozialen Bezugs von Dialog im Dunkeln ist eine Ausstellung der Geschäftsmodell "Dialog im Dunkeln".\nDie Ausstellung ist die Ausstellung "Dialog im Dunkeln" von 20 Minuten.'] Label: [['Ein Geschäftsmodell mit sozialem Bezug ist die Ausstellung „Dialog im Dunkeln“.']] Sacrebleu: {'score': 4.8184979696966455, 'counts': [6, 2, 1, 0], 'totals': [34, 33, 32, 31], 'precisions': [17.647058823529413, 6.0606060606060606, 3.125, 1.6129032258064515], 'bp': 1.0, 'sys_len': 34, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.06060606060606061, 0.03125, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8333333333333335, 'translation_length': 34, 'reference_length': 12} Rouge: {'rouge1': 0.3902439024390244, 'rouge2': 0.30769230769230765, 'rougeL': 0.3902439024390244, 'rougeLsum': 0.3902439024390244} Sari: {'sari': 10.326797385620914} Flesh Reading Ease: 60.7 ---------------------------------------- Source: ['In komplett abgedunkelten Räumen führen blinde Menschen das Publikum zum Beispiel durch einen Park oder eine Stadt.'] Prediction: ['In komplett abgedunkelten Räumen führen blinde Menschen das Publikum zum Beispiel durch einen Park oder eine Stadt.\nIn komplett abgedunkelten Räumen führen blinde Menschen das Publikum zum Beispiel durch einen Park oder eine Stadt.'] Label: [['In komplett dunklen Räumen führen blinde Menschen das Publikum zum Beispiel durch einen Park oder eine Stadt.']] Sacrebleu: {'score': 40.956736513065295, 'counts': [17, 15, 13, 12], 'totals': [36, 35, 34, 33], 'precisions': [47.22222222222222, 42.857142857142854, 38.23529411764706, 36.36363636363637], 'bp': 1.0, 'sys_len': 36, 'ref_len': 18} Bleu: {'bleu': 0.4095673651306528, 'precisions': [0.4722222222222222, 0.42857142857142855, 0.38235294117647056, 0.36363636363636365], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 36, 'reference_length': 18} Rouge: {'rouge1': 0.631578947368421, 'rouge2': 0.5818181818181818, 'rougeL': 0.631578947368421, 'rougeLsum': 0.631578947368421} Sari: {'sari': 64.11974320379493} Flesh Reading Ease: 57.7 ---------------------------------------- Source: ['Blind erleben die Besucher die Alltagssituationen von Blinden, die geprägt ist von Geräuschen, Gerüchen und Tasten.'] Prediction: ['Die Alltagssituationen von Blinden sind geprägt von Geräuschen, Gerüchen und Tasten.\nDie Besucher erleben die Alltagssituationen von Blinden, die geprägt ist von Geräuschen, Gerüchen und Tasten.'] Label: [['Blind erleben die Besucher die Alltagssituationen von Blinden.']] Sacrebleu: {'score': 9.594785034023696, 'counts': [8, 4, 2, 1], 'totals': [31, 30, 29, 28], 'precisions': [25.806451612903224, 13.333333333333334, 6.896551724137931, 3.5714285714285716], 'bp': 1.0, 'sys_len': 31, 'ref_len': 9} Bleu: {'bleu': 0.09594785034023696, 'precisions': [0.25806451612903225, 0.13333333333333333, 0.06896551724137931, 0.03571428571428571], 'brevity_penalty': 1.0, 'length_ratio': 3.4444444444444446, 'translation_length': 31, 'reference_length': 9} Rouge: {'rouge1': 0.35, 'rouge2': 0.2631578947368421, 'rougeL': 0.3, 'rougeLsum': 0.3} Sari: {'sari': 11.266755913973453} Flesh Reading Ease: 38.3 ---------------------------------------- Source: ['Das soziale Geschäftsmodell veranstaltet jetzt zahlreiche Ausstellungen in 32 Ländern.'] Prediction: ['Das soziale Geschäftsmodell veranstaltet zahlreiche Ausstellungen in 32 Ländern.\nDie soziale Geschäftsmodell veranstaltet zahlreiche Ausstellungen in 32 Ländern.'] Label: [['Das Geschäftsmodell hat jetzt zahlreiche Ausstellungen in 32 Ländern.']] Sacrebleu: {'score': 25.34743707366162, 'counts': [8, 5, 4, 3], 'totals': [20, 19, 18, 17], 'precisions': [40.0, 26.31578947368421, 22.22222222222222, 17.647058823529413], 'bp': 1.0, 'sys_len': 20, 'ref_len': 10} Bleu: {'bleu': 0.2534743707366162, 'precisions': [0.4, 0.2631578947368421, 0.2222222222222222, 0.17647058823529413], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 20, 'reference_length': 10} Rouge: {'rouge1': 0.5454545454545455, 'rouge2': 0.3870967741935483, 'rougeL': 0.5454545454545455, 'rougeLsum': 0.5454545454545455} Sari: {'sari': 41.252753094858356} Flesh Reading Ease: 18.9 ---------------------------------------- Source: ['Viele Sozialunternehmen finden sich im Bereich der Bildung (Wikipedia) oder der Kultur, einige in der Pflege oder in der Jugendhilfe, aber auch im Bankenwesen (Grameen Bank in Bangladesh).Inzwischen ist jedes vierte in der Europäischen Union neu gegründete Unternehmen ein Sozialunternehmen.'] Prediction: ['Inzwischen ist jedes vierte in der Europäischen Union neu gegründete Unternehmen ein Sozialunternehmen.\nInzwischen ist jedes vierte in der Europäischen Union neu gegründete Unternehmen ein Sozialunternehmen.'] Label: [['Inzwischen ist jedes vierte in der Europäischen Union neu gegründete Unternehmen ein soziales Unternehmen.']] Sacrebleu: {'score': 40.980949787910745, 'counts': [14, 11, 10, 9], 'totals': [28, 27, 26, 25], 'precisions': [50.0, 40.74074074074074, 38.46153846153846, 36.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 15} Bleu: {'bleu': 0.40980949787910764, 'precisions': [0.5, 0.4074074074074074, 0.38461538461538464, 0.36], 'brevity_penalty': 1.0, 'length_ratio': 1.8666666666666667, 'translation_length': 28, 'reference_length': 15} Rouge: {'rouge1': 0.6521739130434783, 'rouge2': 0.5909090909090909, 'rougeL': 0.6521739130434783, 'rougeLsum': 0.608695652173913} Sari: {'sari': 61.827306680247865} Flesh Reading Ease: 20.75 ---------------------------------------- Source: ['Kinder, das wissen mehrsprachige Eltern und das ist wissenschaftlich erwiesen, können mehrere Sprachen gleichzeitig erwerben.'] Prediction: ['Kinder, das wissen mehrsprachige Eltern und das ist wissenschaftlich erwiesen, können mehrere Sprachen gleichzeitig erwerben.\nDas ist wissenschaftlich, das ist wissenschaftlich erwiesen.'] Label: [['Kinder, können mehrere Sprachen gleichzeitig erwerben, das können mehrsprachige Eltern bestätigen.']] Sacrebleu: {'score': 22.86867640176166, 'counts': [12, 8, 4, 3], 'totals': [27, 26, 25, 24], 'precisions': [44.44444444444444, 30.76923076923077, 16.0, 12.5], 'bp': 1.0, 'sys_len': 27, 'ref_len': 14} Bleu: {'bleu': 0.22868676401761662, 'precisions': [0.4444444444444444, 0.3076923076923077, 0.16, 0.125], 'brevity_penalty': 1.0, 'length_ratio': 1.9285714285714286, 'translation_length': 27, 'reference_length': 14} Rouge: {'rouge1': 0.5405405405405405, 'rouge2': 0.39999999999999997, 'rougeL': 0.4324324324324324, 'rougeLsum': 0.4324324324324324} Sari: {'sari': 51.38155136268344} Flesh Reading Ease: 40.3 ---------------------------------------- Source: ['Auch wenn Bildung Sache der Bundesländer ist, gibt es doch seit einigen Jahren das deutschlandweite Programm „Schwerpunkt Kitas Sprache & Integration“.'] Prediction: ['Das deutschlandweite Programm "Schwerpunkt Kitas Sprache & Integration" ist ein Teil der deutlandweite Bundesländer.\nEs gibt es doch seit einigen Jahren das deutschlandweite Programm "Schwerpunkt Kitas Sprache & Integration"'] Label: [['Seit einigen Jahren gibt es das Programm „Schwerpunkt Kitas Sprache & Integration “.']] Sacrebleu: {'score': 9.970617113450038, 'counts': [11, 5, 2, 1], 'totals': [34, 33, 32, 31], 'precisions': [32.35294117647059, 15.151515151515152, 6.25, 3.225806451612903], 'bp': 1.0, 'sys_len': 34, 'ref_len': 14} Bleu: {'bleu': 0.09970617113450042, 'precisions': [0.3235294117647059, 0.15151515151515152, 0.0625, 0.03225806451612903], 'brevity_penalty': 1.0, 'length_ratio': 2.4285714285714284, 'translation_length': 34, 'reference_length': 14} Rouge: {'rouge1': 0.5641025641025641, 'rouge2': 0.37837837837837834, 'rougeL': 0.46153846153846156, 'rougeLsum': 0.46153846153846156} Sari: {'sari': 46.73719345287972} Flesh Reading Ease: 37.8 ---------------------------------------- Source: ['Damit werden Programme gefördert wie das Kooperationsprojekt „Sprachförderung in Kindertagesstätten unter der Mitwirkung von Grundschullehrkräften“ der Hamburger Schulbehörde.'] Prediction: ['Das Kooperationsprojekt "Sprachförderung in Kindertagesstätten unter der Mitwirkung von Grundschullehrkräften" der Hamburger Schulbehörde wird damit gefördert.\nDamit werden Programme gefördert wie das Kooperationsprojekt "Sprachförderung in Kindertagesstätten unter der Mitwirkung von Grundschullehrkräften".'] Label: [['Damit werden Projekte wie das Kooperationsprojekt „Sprachförderung in Kindertagesstätten unter der Mitwirkung von Grundschullehrkräften“ gefördert, zum Beispiel in Hamburg.']] Sacrebleu: {'score': 18.043239916836058, 'counts': [14, 8, 5, 3], 'totals': [37, 36, 35, 34], 'precisions': [37.83783783783784, 22.22222222222222, 14.285714285714286, 8.823529411764707], 'bp': 1.0, 'sys_len': 37, 'ref_len': 21} Bleu: {'bleu': 0.18043239916836057, 'precisions': [0.3783783783783784, 0.2222222222222222, 0.14285714285714285, 0.08823529411764706], 'brevity_penalty': 1.0, 'length_ratio': 1.7619047619047619, 'translation_length': 37, 'reference_length': 21} Rouge: {'rouge1': 0.6031746031746033, 'rouge2': 0.4918032786885246, 'rougeL': 0.507936507936508, 'rougeLsum': 0.5714285714285714} Sari: {'sari': 30.73119130175488} Flesh Reading Ease: 0.7 ---------------------------------------- Source: ['Neben dem Spitzenreiter Kaffee sind dies vor allem Reis, Bananen, Zucker und Blumen.'] Prediction: ['Neben dem Spitzenreiter Kaffee sind vor allem Reis, Bananen, Zucker und Blumen.\nDie Reise, Bananen, Zucker und Blumen sind vor allem Reis, Bananen, Zucker und Blumen.'] Label: [['Neben Kaffee sind dies vor allem Reis, Bananen, Zucker und Blumen.']] Sacrebleu: {'score': 28.43850176363723, 'counts': [13, 10, 8, 7], 'totals': [34, 33, 32, 31], 'precisions': [38.23529411764706, 30.303030303030305, 25.0, 22.580645161290324], 'bp': 1.0, 'sys_len': 34, 'ref_len': 14} Bleu: {'bleu': 0.28438501763637236, 'precisions': [0.38235294117647056, 0.30303030303030304, 0.25, 0.22580645161290322], 'brevity_penalty': 1.0, 'length_ratio': 2.4285714285714284, 'translation_length': 34, 'reference_length': 14} Rouge: {'rouge1': 0.5405405405405405, 'rouge2': 0.4, 'rougeL': 0.5405405405405405, 'rougeLsum': 0.5405405405405405} Sari: {'sari': 28.379528366370472} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Das jedenfalls belegt eine Studie, die „Fairtrade“-Deutschland zusammen mit „Fairtrade“-Schweiz in Auftrag gegeben hat.'] Prediction: ['Eine Studie belegt eine Studie, die "Fairtrade“-Deutschland zusammen mit "Fairtrade“-Schweiz in Auftrag gegeben hat.\nSie hatte das jedenfalls belegt, dass das jedenfalls eine Studie belegt.'] Label: [['Das belegt eine Studie, die „Fairtrade“-Deutschland zusammen mit „Fairtrade“-Schweiz in Auftrag gegeben hat.']] Sacrebleu: {'score': 24.20466102072154, 'counts': [12, 9, 6, 4], 'totals': [31, 30, 29, 28], 'precisions': [38.70967741935484, 30.0, 20.689655172413794, 14.285714285714286], 'bp': 1.0, 'sys_len': 31, 'ref_len': 15} Bleu: {'bleu': 0.24204661020721543, 'precisions': [0.3870967741935484, 0.3, 0.20689655172413793, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 2.066666666666667, 'translation_length': 31, 'reference_length': 15} Rouge: {'rouge1': 0.7142857142857143, 'rouge2': 0.65, 'rougeL': 0.6666666666666667, 'rougeLsum': 0.7142857142857143} Sari: {'sari': 26.471194749325416} Flesh Reading Ease: 44.65 ---------------------------------------- Source: ['Sie verlangt, dass die Produkte auch zu 100 Prozent fair verarbeitet werden.'] Prediction: ['Die Produkte der Schweizer Food-Produkte werden zu 100 Prozent fair verarbeitet.\nSie verlangt, dass die Produkte auch zu 100 Prozent fair verarbeitet werden.'] Label: [['Sie will, dass die Produkte auch zu 100 Prozent fair verarbeitet werden.']] Sacrebleu: {'score': 43.519262616259944, 'counts': [13, 11, 10, 9], 'totals': [26, 25, 24, 23], 'precisions': [50.0, 44.0, 41.666666666666664, 39.130434782608695], 'bp': 1.0, 'sys_len': 26, 'ref_len': 14} Bleu: {'bleu': 0.43519262616259946, 'precisions': [0.5, 0.44, 0.4166666666666667, 0.391304347826087], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 26, 'reference_length': 14} Rouge: {'rouge1': 0.611111111111111, 'rouge2': 0.5294117647058824, 'rougeL': 0.611111111111111, 'rougeLsum': 0.611111111111111} Sari: {'sari': 64.07267115600449} Flesh Reading Ease: 57.35 ---------------------------------------- Source: ['Ökologischer Tourismus, kurz Ökotourismus ist umweltfreundlicher oder umweltverträglicher Tourismus.'] Prediction: ['Ökologischer Tourismus ist umweltfreundlicher oder umweltverträglicher Tourismus.\nDie Ökologische Tourismus ist umweltfreundlicher oder umweltverträglicher Tourismus.'] Label: [['Ökologischer Tourismus, kurz Ökotourismus, ist ein umweltfreundlicher Tourismus.']] Sacrebleu: {'score': 7.158561577277536, 'counts': [6, 2, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [35.294117647058826, 12.5, 3.3333333333333335, 1.7857142857142858], 'bp': 1.0, 'sys_len': 17, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.35294117647058826, 0.125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5454545454545454, 'translation_length': 17, 'reference_length': 11} Rouge: {'rouge1': 0.4, 'rouge2': 0.08695652173913043, 'rougeL': 0.4, 'rougeLsum': 0.4} Sari: {'sari': 19.194096133751305} Flesh Reading Ease: -8.86 ---------------------------------------- Source: ['Der Massentourismus, so heißt es im Lexikon der Nachhaltigkeit, wird seit Ende der 1980er Jahre von den Umwelt- und Naturschutzverbänden kritisiert, denn er verursacht Umweltbelastungen.'] Prediction: ['Der Massentourismus wird seit 1980er Jahre von den Umwelt und Naturschutzverbänden kritisiert, denn er verursacht Umweltbelastungen.\nDer Massentourismus wird seit Ende der 1980er Jahre von den Umwelt und Naturschutzverbänden kritisiert, denn er verursacht Umweltbelastungen.'] Label: [['Der Massentourismus, so heißt es im Lexikon der Nachhaltigkeit, wird seit Anfang der 1980er Jahre von den Umwelt- und Naturschutzverbänden kritisiert, denn er verursacht Umweltbelastungen.']] Sacrebleu: {'score': 33.105788749135414, 'counts': [19, 14, 10, 8], 'totals': [38, 37, 36, 35], 'precisions': [50.0, 37.83783783783784, 27.77777777777778, 22.857142857142858], 'bp': 1.0, 'sys_len': 38, 'ref_len': 29} Bleu: {'bleu': 0.3310578874913543, 'precisions': [0.5, 0.3783783783783784, 0.2777777777777778, 0.22857142857142856], 'brevity_penalty': 1.0, 'length_ratio': 1.3103448275862069, 'translation_length': 38, 'reference_length': 29} Rouge: {'rouge1': 0.6031746031746033, 'rouge2': 0.4918032786885245, 'rougeL': 0.6031746031746033, 'rougeLsum': 0.5714285714285715} Sari: {'sari': 21.434329065908017} Flesh Reading Ease: 34.3 ---------------------------------------- Source: ['Der „sanfte“ Tourismus plant beispielsweise schon die umweltfreundliche Anreise mit der Bahn ein. Beim ersten Bundeswettbewerb Nachhaltige Tourismusregionen 2012/13 war die Uckermark, im Nordosten Brandenburgs gelegen, die Siegerregion.'] Prediction: ['Der Tourismus-Bundeswettbewerb hat eine umweltfreundliche Anreise mit der Bahn eingereicht.\nDie Uckermark, im Nordosten Brandenburgs gelegen, war die Siegerregion.\nDer Tourismus-Bundeswettbewerb hatte beispielsweise schon die umweltfreundliche Anreise mit der Bahn eingereicht.'] Label: [['Beim ersten Bundeswettbewerb Nachhaltige Tourismusregionen 2012/13 war die Uckermark im Nordosten Brandenburgs die Siegerregion.']] Sacrebleu: {'score': 7.511251053510193, 'counts': [9, 5, 2, 0], 'totals': [36, 35, 34, 33], 'precisions': [25.0, 14.285714285714286, 5.882352941176471, 1.5151515151515151], 'bp': 1.0, 'sys_len': 36, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.14285714285714285, 0.058823529411764705, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1176470588235294, 'translation_length': 36, 'reference_length': 17} Rouge: {'rouge1': 0.37499999999999994, 'rouge2': 0.26086956521739124, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 25.015296347770317} Flesh Reading Ease: 23.45 ---------------------------------------- Source: ['Im Ökotourismus kooperieren Tourismus und Naturschutz.'] Prediction: ['Im Ökotourismus kooperieren Tourismus und Naturschutz.\nDie Ökotourismus-Organisation hatte sich mit dem Tourismus einigeschafft.\nDie Ökotourismus-Organisation hatte sich mit dem Tourismus einigeschafft.'] Label: [['Im Ökotourismus arbeiten Tourismus und Naturschutz zusammen.']] Sacrebleu: {'score': 7.378790595215932, 'counts': [6, 3, 1, 0], 'totals': [25, 24, 23, 22], 'precisions': [24.0, 12.5, 4.3478260869565215, 2.272727272727273], 'bp': 1.0, 'sys_len': 25, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.24, 0.125, 0.043478260869565216, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.125, 'translation_length': 25, 'reference_length': 8} Rouge: {'rouge1': 0.3225806451612903, 'rouge2': 0.20689655172413793, 'rougeL': 0.3225806451612903, 'rougeLsum': 0.3225806451612903} Sari: {'sari': 49.358974358974365} Flesh Reading Ease: 8.9 ---------------------------------------- Source: ['Der Alpenraum ist eine der größten Tourismusregionen der Welt. Vor allem die Skiregionen mit ihren riesigen Liftanlagen und den Autokolonnen sind schlimme Nebenerscheinungen des Massentourismus.'] Prediction: ['Der Alpenraum ist eine der größten Tourismusregionen der Welt.\nVor allem die Skiregionen mit ihren riesigen Liftanlagen und den Autokolonnen sind schlimme Nebenerscheinungen des Massentourismus.'] Label: [['Im Alpenraum als eine der größten Tourismusregionen der Welt sind vor allem die Skiregionen mit ihren riesigen Liftanlagen typisch für den Massentourismus.']] Sacrebleu: {'score': 42.396156294478345, 'counts': [18, 12, 9, 7], 'totals': [27, 26, 25, 24], 'precisions': [66.66666666666667, 46.15384615384615, 36.0, 29.166666666666668], 'bp': 1.0, 'sys_len': 27, 'ref_len': 23} Bleu: {'bleu': 0.42396156294478327, 'precisions': [0.6666666666666666, 0.46153846153846156, 0.36, 0.2916666666666667], 'brevity_penalty': 1.0, 'length_ratio': 1.173913043478261, 'translation_length': 27, 'reference_length': 23} Rouge: {'rouge1': 0.76, 'rouge2': 0.5416666666666667, 'rougeL': 0.7199999999999999, 'rougeLsum': 0.7199999999999999} Sari: {'sari': 54.767527793843584} Flesh Reading Ease: 27.1 ---------------------------------------- Source: ['Doch die Einnahmen garantieren den Alpenbewohnern ein wichtiges Einkommen, ohne das zum Beispiel viele Bauern gar nicht überleben würden.'] Prediction: ['Die Einnahmen garantieren den Alpenbewohnern ein wichtiges Einkommen.\nDoch die Einnahmen garantieren den Alpenbewohnern ein wichtiges Einkommen.'] Label: [['Doch die Einnahmen garantieren den Alpenbewohnern ein wichtiges Einkommen.']] Sacrebleu: {'score': 48.2457299495954, 'counts': [10, 9, 8, 7], 'totals': [19, 18, 17, 16], 'precisions': [52.63157894736842, 50.0, 47.05882352941177, 43.75], 'bp': 1.0, 'sys_len': 19, 'ref_len': 10} Bleu: {'bleu': 0.4824572994959539, 'precisions': [0.5263157894736842, 0.5, 0.47058823529411764, 0.4375], 'brevity_penalty': 1.0, 'length_ratio': 1.9, 'translation_length': 19, 'reference_length': 10} Rouge: {'rouge1': 0.6923076923076924, 'rouge2': 0.6666666666666666, 'rougeL': 0.6923076923076924, 'rougeLsum': 0.6923076923076924} Sari: {'sari': 88.05555555555556} Flesh Reading Ease: 25.25 ---------------------------------------- Source: ['Hier sind sinnvolle Konzepte gefragt. So gibt es viele Angebote wie Shuttle-Services, damit man aufs Auto verzichten kann.'] Prediction: ['Einige Shuttle-Services sind sinnvolle Konzepte gefragt.\nSo gibt es viele Angebote wie Shuttle-Services, damit man aufs Auto verzichten kann.'] Label: [['Hier sind sinnvolle Konzepte gefragt, etwa wie Shuttle-Services, damit man auf das Auto verzichten kann.']] Sacrebleu: {'score': 37.946257796638555, 'counts': [13, 10, 7, 4], 'totals': [22, 21, 20, 19], 'precisions': [59.09090909090909, 47.61904761904762, 35.0, 21.05263157894737], 'bp': 1.0, 'sys_len': 22, 'ref_len': 18} Bleu: {'bleu': 0.37946257796638555, 'precisions': [0.5909090909090909, 0.47619047619047616, 0.35, 0.21052631578947367], 'brevity_penalty': 1.0, 'length_ratio': 1.2222222222222223, 'translation_length': 22, 'reference_length': 18} Rouge: {'rouge1': 0.6486486486486486, 'rouge2': 0.5142857142857143, 'rougeL': 0.6486486486486486, 'rougeLsum': 0.6486486486486486} Sari: {'sari': 19.490889573827964} Flesh Reading Ease: 47.65 ---------------------------------------- Source: ['Die Einsätze und Initiativen sind soziale Hilfsprojekte, Aktionen im Umweltschutz, Ehrenämter in Sportvereinen, Schulen, Kirchen oder ein Engagement in der Politik.'] Prediction: ['Die Einsätze und Initiativen sind soziale Hilfsprojekte, Aktionen im Umweltschutz, Ehrenämter in Sportvereinen, Schulen, Kirchen oder ein Engagement in der Politik.\nDie Einsätze und Initiativen sind soziale Hilfsprojekte, Aktionen im Umweltschutz, Ehrenämter in Sportvereinen, Schulen, Kirchen oder ein Engagement in der Politik.'] Label: [['Die Einsätze und Initiativen sind soziale Hilfsprojekte, Aktionen im Umweltschutz, Ehrenämter in Sportvereinen oder ein Engagement in der Politik.']] Sacrebleu: {'score': 37.37028328591446, 'counts': [22, 20, 18, 16], 'totals': [52, 51, 50, 49], 'precisions': [42.30769230769231, 39.21568627450981, 36.0, 32.6530612244898], 'bp': 1.0, 'sys_len': 52, 'ref_len': 22} Bleu: {'bleu': 0.37370283285914463, 'precisions': [0.4230769230769231, 0.39215686274509803, 0.36, 0.32653061224489793], 'brevity_penalty': 1.0, 'length_ratio': 2.3636363636363638, 'translation_length': 52, 'reference_length': 22} Rouge: {'rouge1': 0.626865671641791, 'rouge2': 0.5846153846153845, 'rougeL': 0.626865671641791, 'rougeLsum': 0.626865671641791} Sari: {'sari': 70.88586335574286} Flesh Reading Ease: 18.6 ---------------------------------------- Source: ['Motive, sich zu engagieren, sind nicht immer altruistisch.'] Prediction: ['Motive, sich zu engagieren, sind nicht immer altruistisch.\nDas ist nicht immer altruistisch.'] Label: [['Motive, sich zu engagieren, gibt es viele.']] Sacrebleu: {'score': 29.28298013714698, 'counts': [7, 5, 4, 3], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 31.25, 26.666666666666668, 21.428571428571427], 'bp': 1.0, 'sys_len': 17, 'ref_len': 10} Bleu: {'bleu': 0.2928298013714697, 'precisions': [0.4117647058823529, 0.3125, 0.26666666666666666, 0.21428571428571427], 'brevity_penalty': 1.0, 'length_ratio': 1.7, 'translation_length': 17, 'reference_length': 10} Rouge: {'rouge1': 0.4, 'rouge2': 0.3333333333333333, 'rougeL': 0.4, 'rougeLsum': 0.4} Sari: {'sari': 54.81254856254857} Flesh Reading Ease: 56.5 ---------------------------------------- Source: ['Manche wollen auf diesem Weg auch Berufserfahrungen sammeln, sozial eingebunden werden, oder ihr Selbstwertgefühl steigern, andere danken so für selbst erfahrene Hilfe, bauen Schuldgefühle ab oder lenken von eigenen Problemen ab.'] Prediction: ['Manche wollen auf diesem Weg auch Berufserfahrungen sammeln, sozial eingebunden werden, oder ihr Selbstwertgefühl steigern.\nDiese wollen auch Berufserfahrungen sammeln, sozial eingebunden werden, oder ihr Selbstwertgefühl steigern.'] Label: [['Manche wollen auf diesem Weg Berufserfahrungen sammeln, sozial eingebunden werden, andere danken so für selbst erfahrene Hilfe oder lenken von eigenen Problemen ab.']] Sacrebleu: {'score': 28.761107249998986, 'counts': [14, 10, 8, 6], 'totals': [33, 32, 31, 30], 'precisions': [42.42424242424242, 31.25, 25.806451612903224, 20.0], 'bp': 1.0, 'sys_len': 33, 'ref_len': 26} Bleu: {'bleu': 0.28761107249998985, 'precisions': [0.42424242424242425, 0.3125, 0.25806451612903225, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 1.2692307692307692, 'translation_length': 33, 'reference_length': 26} Rouge: {'rouge1': 0.4150943396226415, 'rouge2': 0.3137254901960784, 'rougeL': 0.4150943396226415, 'rougeLsum': 0.4150943396226415} Sari: {'sari': 28.748668881502233} Flesh Reading Ease: 26.1 ---------------------------------------- Source: ['Äpfel und Kartoffeln sind im Herbst baum- oder feldfrisch, Erdbeeren und Spargel gibt es im Frühjahr oder Frühsommer.'] Prediction: ['Im Herbst gibt es immer mehr Öpfel und Kartoffeln.\nEs gibt es im Frühjahr oder Frühsommer.'] Label: [['Äpfel und Kartoffeln sind im Herbst ganz frisch, Erdbeeren und Spargel gibt es im Frühjahr oder Frühsommer.']] Sacrebleu: {'score': 35.14967960053196, 'counts': [10, 7, 5, 4], 'totals': [18, 17, 16, 15], 'precisions': [55.55555555555556, 41.1764705882353, 31.25, 26.666666666666668], 'bp': 0.9459594689067654, 'sys_len': 18, 'ref_len': 19} Bleu: {'bleu': 0.35149679600531947, 'precisions': [0.5555555555555556, 0.4117647058823529, 0.3125, 0.26666666666666666], 'brevity_penalty': 0.9459594689067654, 'length_ratio': 0.9473684210526315, 'translation_length': 18, 'reference_length': 19} Rouge: {'rouge1': 0.7027027027027027, 'rouge2': 0.5714285714285715, 'rougeL': 0.5945945945945946, 'rougeLsum': 0.5405405405405405} Sari: {'sari': 33.35223150440541} Flesh Reading Ease: 90.1 ---------------------------------------- Source: ['Umweltbewusste Verbraucher achten inzwischen sehr genau darauf, wo ihre Nahrungsmittel herkommen, am liebsten nämlich aus ihrer Region.'] Prediction: ['Umweltbewusste Verbraucher achten inzwischen sehr genau darauf, wo ihre Nahrungsmittel herkommen, am liebsten nämlich aus ihrer Region.\nDie Umweltbewusste verbrauchen sich auf eine Umweltbewusste, wo ihre Nahrungsmittel herkommen, am liebsten nämlich aus ihrer Region.'] Label: [['Umweltbewusste Verbraucher achten inzwischen sehr genau darauf, wo ihre Nahrungsmittel herkommen, am liebsten aus ihrer Region.']] Sacrebleu: {'score': 41.165349184859494, 'counts': [19, 17, 15, 13], 'totals': [40, 39, 38, 37], 'precisions': [47.5, 43.58974358974359, 39.473684210526315, 35.13513513513514], 'bp': 1.0, 'sys_len': 40, 'ref_len': 19} Bleu: {'bleu': 0.411653491848595, 'precisions': [0.475, 0.4358974358974359, 0.39473684210526316, 0.35135135135135137], 'brevity_penalty': 1.0, 'length_ratio': 2.1052631578947367, 'translation_length': 40, 'reference_length': 19} Rouge: {'rouge1': 0.6153846153846153, 'rouge2': 0.5599999999999999, 'rougeL': 0.6153846153846153, 'rougeLsum': 0.6153846153846153} Sari: {'sari': 64.10979160979161} Flesh Reading Ease: 28.45 ---------------------------------------- Source: ['Doch nicht alles wächst in Deutschland:'] Prediction: ['Die Schweiz ist nicht mehr in Deutschland.\nDas ist nicht mehr nur nur nur nur nur nur nur nur, sondern nur nur nur nur nur nur, sondern nur nur nur nur nur, sondern nur nur nur nur nur, sondern nur nur nur nur, sondern nur nur nur nur nur, sondern nur nur nur nur, sondern nur nur nur, sondern nur nur nur, sondern nur nur, sondern nur: "Wir sind eigentlich nicht mehr, sondern nur nur nur, sondern nur, sondern nur, nach wie vor dem nächsten Jahr?"'] Label: [['Denn nicht alles wächst in Deutschland:']] Sacrebleu: {'score': 0.812507713036668, 'counts': [4, 1, 0, 0], 'totals': [105, 104, 103, 102], 'precisions': [3.8095238095238093, 0.9615384615384616, 0.4854368932038835, 0.24509803921568626], 'bp': 1.0, 'sys_len': 105, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.0380952380952381, 0.009615384615384616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 15.0, 'translation_length': 105, 'reference_length': 7} Rouge: {'rouge1': 0.06382978723404255, 'rouge2': 0.02173913043478261, 'rougeL': 0.06382978723404255, 'rougeLsum': 0.06382978723404255} Sari: {'sari': 17.63888888888889} Flesh Reading Ease: 66.8 ---------------------------------------- Source: ['Aufgrund der Globalisierung landet auch der beliebte Spargel schon ab Februar aus Südeuropa in den deutschen Märkten.'] Prediction: ['Der beliebte Spargel aus Südeuropa landet aufgrund der Globalisierung auch aufgrund der Corona-Pandemie.\nDer beliebte Spargel landet aufgrund der Globalisierung aus Südeuropa in den deutschen Märkten.'] Label: [['Mit vielen Flugzeugen landet auch der beliebte Spargel schon ab Februar aus Südeuropa in den deutschen Märkten.']] Sacrebleu: {'score': 24.180681260144148, 'counts': [12, 7, 5, 4], 'totals': [28, 27, 26, 25], 'precisions': [42.857142857142854, 25.925925925925927, 19.23076923076923, 16.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 18} Bleu: {'bleu': 0.2418068126014414, 'precisions': [0.42857142857142855, 0.25925925925925924, 0.19230769230769232, 0.16], 'brevity_penalty': 1.0, 'length_ratio': 1.5555555555555556, 'translation_length': 28, 'reference_length': 18} Rouge: {'rouge1': 0.5306122448979592, 'rouge2': 0.3829787234042554, 'rougeL': 0.5306122448979592, 'rougeLsum': 0.44897959183673464} Sari: {'sari': 26.792049930816454} Flesh Reading Ease: 32.45 ---------------------------------------- Source: ['Weniger als 20 Prozent des Obstes, das die Deutschen verzehren, stammt aus Deutschland, der Rest wird aufwändig importiert, weil er hier nicht wächst.'] Prediction: ['Die Rest des Obstes, das die Deutschen verzehren, stammt aus Deutschland, der Rest wird aufwändig importiert, weil er hier nicht wächst.\nWeniger als 20 Prozent des Obstes, das die Deutschen verzehren, stammt aus Deutschland, der Rest wird aufwändig importiert, weil er hier nicht wächst.'] Label: [['Weniger als 20 Prozent des Obstes, das die Deutschen konsumieren, stammt aus Deutschland.\nDer Rest muss importiert werden.']] Sacrebleu: {'score': 21.843646882190257, 'counts': [18, 12, 10, 8], 'totals': [54, 53, 52, 51], 'precisions': [33.333333333333336, 22.641509433962263, 19.23076923076923, 15.686274509803921], 'bp': 1.0, 'sys_len': 54, 'ref_len': 22} Bleu: {'bleu': 0.21843646882190246, 'precisions': [0.3333333333333333, 0.22641509433962265, 0.19230769230769232, 0.1568627450980392], 'brevity_penalty': 1.0, 'length_ratio': 2.4545454545454546, 'translation_length': 54, 'reference_length': 22} Rouge: {'rouge1': 0.45454545454545453, 'rouge2': 0.37499999999999994, 'rougeL': 0.45454545454545453, 'rougeLsum': 0.45454545454545453} Sari: {'sari': 54.04653969413006} Flesh Reading Ease: 70.25 ---------------------------------------- Source: ['Auch beim Gemüse müssen immerhin noch rund zwei Drittel importiert werden.'] Prediction: ['Auch beim Gemüse müssen immerhin noch rund zwei Drittel importiert werden.\nDie Gemüse müssen noch rund zwei Drittel importiert werden.'] Label: [['Beim Gemüse sieht es etwas besser aus, aber auch hier werden etwa zwei Drittel importiert.']] Sacrebleu: {'score': 7.645949399477267, 'counts': [6, 2, 1, 0], 'totals': [22, 21, 20, 19], 'precisions': [27.272727272727273, 9.523809523809524, 5.0, 2.6315789473684212], 'bp': 1.0, 'sys_len': 22, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.2727272727272727, 0.09523809523809523, 0.05, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2941176470588236, 'translation_length': 22, 'reference_length': 17} Rouge: {'rouge1': 0.4, 'rouge2': 0.2105263157894737, 'rougeL': 0.35000000000000003, 'rougeLsum': 0.3} Sari: {'sari': 45.086580086580085} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Ein Grund für die vielen Streiks ist ein Prestigewandel, denn Erzieher und Lehrer kämpfen um ein besseres Ansehen.'] Prediction: ['Ein Prestigewandel für die vielen Streiks ist ein Prestigewandel.\nErzieher und Lehrer kämpfen um ein besseres Ansehen.'] Label: [['Ein Grund für die vielen Streiks ist ein Wandel des Ansehens, für das Erzieher und Lehrer kämpfen.']] Sacrebleu: {'score': 39.67088290836578, 'counts': [12, 8, 6, 4], 'totals': [19, 18, 17, 16], 'precisions': [63.1578947368421, 44.44444444444444, 35.294117647058826, 25.0], 'bp': 1.0, 'sys_len': 19, 'ref_len': 19} Bleu: {'bleu': 0.39670882908365773, 'precisions': [0.631578947368421, 0.4444444444444444, 0.35294117647058826, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 19, 'reference_length': 19} Rouge: {'rouge1': 0.6666666666666667, 'rouge2': 0.5405405405405405, 'rougeL': 0.6666666666666667, 'rougeLsum': 0.6666666666666667} Sari: {'sari': 40.48566930145878} Flesh Reading Ease: 54.5 ---------------------------------------- Source: ['So werden beispielsweise für den sehr verantwortungsvollen Beruf des Erziehers sogar Hochschulabschlüsse von den Gewerkschaften gefordert.'] Prediction: ['Der Erzieher des Erziehers wurde von den Gewerkschaften in der Nacht auf Sonntag verantwortungsvoll gefordert.\nNun wurde er von den Gewerkschaften gefordert.\nDie Gewerkschaften wollen sich dabei nicht mehr von den Erziehern gefordert werden.'] Label: [['So werden beispielsweise für den Beruf des Erziehers sogar Hochschulabschlüsse gefordert von den Gewerkschaften, da Pädagogen grundsätzlich sehr viel Verantwortung tragen.']] Sacrebleu: {'score': 5.402199838138951, 'counts': [9, 3, 1, 0], 'totals': [37, 36, 35, 34], 'precisions': [24.324324324324323, 8.333333333333334, 2.857142857142857, 1.4705882352941178], 'bp': 1.0, 'sys_len': 37, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.24324324324324326, 0.08333333333333333, 0.02857142857142857, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.608695652173913, 'translation_length': 37, 'reference_length': 23} Rouge: {'rouge1': 0.2711864406779661, 'rouge2': 0.10526315789473685, 'rougeL': 0.20338983050847456, 'rougeLsum': 0.23728813559322035} Sari: {'sari': 24.79419191919192} Flesh Reading Ease: 57.55 ---------------------------------------- Source: ['Ein Mittel zur Durchsetzung von Forderungen der Beschäftigten, nachdem alle anderen Strategien zur Konfliktbewältigung gescheitert sind.'] Prediction: ['Die Konfliktbewältigung von Konfliktbewältigung ist ein Mittel zur Durchsetzung von Forderungen der Beschäftigten.\nDie Strategien sind zur Konfliktbewältigung gescheitert.'] Label: [['Damit werden Forderungen der Beschäftigten durchgesetzt, nachdem alle anderen Strategien zur Konfliktbewältigung gescheitert sind.']] Sacrebleu: {'score': 12.58220555845937, 'counts': [9, 4, 2, 0], 'totals': [21, 20, 19, 18], 'precisions': [42.857142857142854, 20.0, 10.526315789473685, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.42857142857142855, 0.2, 0.10526315789473684, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3125, 'translation_length': 21, 'reference_length': 16} Rouge: {'rouge1': 0.5128205128205128, 'rouge2': 0.3243243243243243, 'rougeL': 0.46153846153846156, 'rougeLsum': 0.46153846153846156} Sari: {'sari': 16.41458078958079} Flesh Reading Ease: 24.25 ---------------------------------------- Source: ['“ Das Streikrecht ist ein im Grundgesetz verankertes Recht (GG Art. 9) der abhängig Beschäftigten.'] Prediction: ['Ein Grundgesetz verankertes Recht ist ein im Grundgesetz verankertes Recht.\nEs ist ein im Grundgesetz verankertes Recht.\nEs ist ein im Grundgesetz verankertes Recht.'] Label: [['Das Streikrecht ist ein im Grundgesetz verankertes Recht (GG Art 9) der abhängig Beschäftigten.']] Sacrebleu: {'score': 17.770114738246555, 'counts': [7, 5, 4, 3], 'totals': [27, 26, 25, 24], 'precisions': [25.925925925925927, 19.23076923076923, 16.0, 12.5], 'bp': 1.0, 'sys_len': 27, 'ref_len': 17} Bleu: {'bleu': 0.17770114738246548, 'precisions': [0.25925925925925924, 0.19230769230769232, 0.16, 0.125], 'brevity_penalty': 1.0, 'length_ratio': 1.588235294117647, 'translation_length': 27, 'reference_length': 17} Rouge: {'rouge1': 0.3, 'rouge2': 0.26315789473684204, 'rougeL': 0.3, 'rougeLsum': 0.3} Sari: {'sari': 24.86398827676718} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Rein statistisch gesehen sind vier Stunden pro Tag viel Zeit, um sich sportlich zu betätigen.'] Prediction: ['Vier Stunden pro Tag sind vier Stunden pro Tag viel Zeit, um sich sportlich zu betätigen.\nDie Schweizer Stadt hatte sich vor dem 1:2-Sieg auf dem Platz gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer Stadt gegen die Schweizer St'] Label: [['Vier Stunden pro Tag sind viel Zeit, um sich sportlich zu betätigen.']] Sacrebleu: {'score': 5.189051971683481, 'counts': [14, 12, 10, 8], 'totals': [209, 208, 207, 206], 'precisions': [6.698564593301436, 5.769230769230769, 4.830917874396135, 3.883495145631068], 'bp': 1.0, 'sys_len': 209, 'ref_len': 14} Bleu: {'bleu': 0.05189051971683482, 'precisions': [0.06698564593301436, 0.057692307692307696, 0.04830917874396135, 0.038834951456310676], 'brevity_penalty': 1.0, 'length_ratio': 14.928571428571429, 'translation_length': 209, 'reference_length': 14} Rouge: {'rouge1': 0.11872146118721462, 'rouge2': 0.10138248847926268, 'rougeL': 0.11872146118721462, 'rougeLsum': 0.11872146118721462} Sari: {'sari': 64.88405113405113} Flesh Reading Ease: -9.26 ---------------------------------------- Source: ['Dank immer neuer Trendsportarten und der entsprechenden Angebote können sich die Deutschen sportlich in jeder Hinsicht betätigen.'] Prediction: ['Die Deutschen sind sportlich in jeder Hinsicht betätigen.\nDank neuer Trendsportarten und der entsprechenden Angebote können sich die Deutschen sportlich in jeder Hinsicht betätigen.'] Label: [['Dank immer neuer Trendsportarten können sich die Deutschen sportlich vielseitig betätigen.']] Sacrebleu: {'score': 17.797644045771207, 'counts': [10, 6, 3, 2], 'totals': [26, 25, 24, 23], 'precisions': [38.46153846153846, 24.0, 12.5, 8.695652173913043], 'bp': 1.0, 'sys_len': 26, 'ref_len': 12} Bleu: {'bleu': 0.17797644045771208, 'precisions': [0.38461538461538464, 0.24, 0.125, 0.08695652173913043], 'brevity_penalty': 1.0, 'length_ratio': 2.1666666666666665, 'translation_length': 26, 'reference_length': 12} Rouge: {'rouge1': 0.5499999999999999, 'rouge2': 0.3684210526315789, 'rougeL': 0.5499999999999999, 'rougeLsum': 0.5499999999999999} Sari: {'sari': 19.181785986705897} Flesh Reading Ease: 51.0 ---------------------------------------- Source: ['Der Fachverband für künstliche Kletteranlagen und Indoor-Klettern (Klever) informiert, dass in Deutschland jährlich rund zehn neue Kletterhallen eröffnen.'] Prediction: ['Deutschland hat jährlich rund zehn neue Kletterhallen eröffnet.\nDie neuen Kletterhallen eröffnen jährlich rund zehn neue Kletterhallen.'] Label: [['Der Fachverband für künstliche Kletteranlagen und Indoor-Klettern (Klever) informiert, dass in Deutschland jährlich rund zehn neue Kletterhallen eröffnen –']] Sacrebleu: {'score': 18.613723495219446, 'counts': [7, 5, 3, 2], 'totals': [19, 18, 17, 16], 'precisions': [36.8421052631579, 27.77777777777778, 17.647058823529413, 12.5], 'bp': 0.8539396656235351, 'sys_len': 19, 'ref_len': 22} Bleu: {'bleu': 0.18613723495219445, 'precisions': [0.3684210526315789, 0.2777777777777778, 0.17647058823529413, 0.125], 'brevity_penalty': 0.8539396656235351, 'length_ratio': 0.8636363636363636, 'translation_length': 19, 'reference_length': 22} Rouge: {'rouge1': 0.4090909090909091, 'rouge2': 0.3333333333333333, 'rougeL': 0.4090909090909091, 'rougeLsum': 0.3636363636363636} Sari: {'sari': 12.796941268670478} Flesh Reading Ease: 48.65 ---------------------------------------- Source: ['Bis zum Ende des Jahres 2014 gab es deutschlandweit circa 24.900 Windenergieanlagen, die zusammen auf eine Leistung von rund 38.000 MW kommen.'] Prediction: ['Deutschland hat seit 2014 24.900 Windenergieanlagen geschlossen.\nBis zum Ende des Jahres 2014 gab es deutschlandweit circa 24.900 Windenergieanlagen.'] Label: [['Bis zum Ende des Jahres 2014 gab es in ganz Deutschland rund 24.900 Windenergieanlagen, die zusammen rund 38.000 MW leisten.']] Sacrebleu: {'score': 35.87968183105947, 'counts': [12, 8, 6, 5], 'totals': [21, 20, 19, 18], 'precisions': [57.142857142857146, 40.0, 31.57894736842105, 27.77777777777778], 'bp': 0.9534969548334766, 'sys_len': 21, 'ref_len': 22} Bleu: {'bleu': 0.35879681831059484, 'precisions': [0.5714285714285714, 0.4, 0.3157894736842105, 0.2777777777777778], 'brevity_penalty': 0.9534969548334766, 'length_ratio': 0.9545454545454546, 'translation_length': 21, 'reference_length': 22} Rouge: {'rouge1': 0.5581395348837208, 'rouge2': 0.4390243902439024, 'rougeL': 0.5116279069767442, 'rougeLsum': 0.5116279069767442} Sari: {'sari': 45.10732323232323} Flesh Reading Ease: 45.0 ---------------------------------------- Source: ['Ein großer Teil der Windkraftanlagen befindet sich dort, wo am meisten Wind weht – auf dem flachen Land und auf dem offenen Meer der Nord- und Ostsee - in sogenannten Offshore-Windenergieanlagen.'] Prediction: ['Ein großer Teil der Windkraftanlagen befindet sich dort, wo am meisten Wind weht.\nEs ist ein großer Teil der Windkraftanlagen.'] Label: [['Ein großer Teil der Anlagen befindet sich dort, wo am meisten Wind weht – auf dem flachen Land.\nImmer mehr Anlagen entstehen auf dem Meer in der Nord- und Ostsee - sogenannte Offshore-Windenergieanlagen.']] Sacrebleu: {'score': 27.15767322668064, 'counts': [16, 11, 9, 7], 'totals': [23, 22, 21, 20], 'precisions': [69.56521739130434, 50.0, 42.857142857142854, 35.0], 'bp': 0.5682366036329846, 'sys_len': 23, 'ref_len': 36} Bleu: {'bleu': 0.2715767322668065, 'precisions': [0.6956521739130435, 0.5, 0.42857142857142855, 0.35], 'brevity_penalty': 0.5682366036329846, 'length_ratio': 0.6388888888888888, 'translation_length': 23, 'reference_length': 36} Rouge: {'rouge1': 0.5090909090909091, 'rouge2': 0.4150943396226415, 'rougeL': 0.5090909090909091, 'rougeLsum': 0.5090909090909091} Sari: {'sari': 35.90344512649945} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Das gilt auch für die zahlreichen Spiele-Apps. Sie sind nach Informationen der „gamescom“ der wichtigste Treiber des App- und Smartphone-Marktes.'] Prediction: ['Die zahlreichen Spiele-Apps sind nach Informationen der "gamescom" der wichtigste Treiber des App und Smartphone-Marktes.\nSie sind nach Informationen der "gamescom" der wichtigste Treiber des App und Smartphone-Marktes.'] Label: [['Besonders die Spiele-Apps sind nach Informationen der „gamescom“ der wichtigste Treiber des App- und Smartphone-Marktes.']] Sacrebleu: {'score': 20.44315553703666, 'counts': [12, 9, 6, 3], 'totals': [34, 33, 32, 31], 'precisions': [35.294117647058826, 27.272727272727273, 18.75, 9.67741935483871], 'bp': 1.0, 'sys_len': 34, 'ref_len': 16} Bleu: {'bleu': 0.20443155537036659, 'precisions': [0.35294117647058826, 0.2727272727272727, 0.1875, 0.0967741935483871], 'brevity_penalty': 1.0, 'length_ratio': 2.125, 'translation_length': 34, 'reference_length': 16} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.608695652173913, 'rougeL': 0.6666666666666666, 'rougeLsum': 0.6666666666666666} Sari: {'sari': 41.3749612630542} Flesh Reading Ease: 43.15 ---------------------------------------- Source: ['Laut dem Verein für Spieleverlage erreichten die klassischen Familienspiele im Jahr 2014 eine Steigerung von 8,6 Prozent gegenüber dem Vorjahr.'] Prediction: ['Die klassische Familienspiele erreichten im Jahr 2014 eine Steigerung von 8,6 Prozent gegenüber dem Vorjahr.\nLaut dem Verein für Spieleverlage erreichten die klassischen Familienspiele im Jahr 2014 eine Steigerung von 8,6 Prozent.'] Label: [['Laut dem Verein für Spieleverlage erreichten die klassischen Familienspiele im Jahr 2015 eine Steigerung von 12,6 Prozent gegenüber dem Vorjahr.']] Sacrebleu: {'score': 43.40883212610016, 'counts': [19, 16, 13, 10], 'totals': [34, 33, 32, 31], 'precisions': [55.88235294117647, 48.484848484848484, 40.625, 32.25806451612903], 'bp': 1.0, 'sys_len': 34, 'ref_len': 21} Bleu: {'bleu': 0.4340883212610015, 'precisions': [0.5588235294117647, 0.48484848484848486, 0.40625, 0.3225806451612903], 'brevity_penalty': 1.0, 'length_ratio': 1.619047619047619, 'translation_length': 34, 'reference_length': 21} Rouge: {'rouge1': 0.7118644067796611, 'rouge2': 0.6315789473684209, 'rougeL': 0.5762711864406781, 'rougeLsum': 0.7118644067796611} Sari: {'sari': 61.358691868560285} Flesh Reading Ease: 41.15 ---------------------------------------- Source: ['Das bekannteste und vielleicht deutscheste aller Gesellschaftsspiele namens „Mensch ärgere Dich nicht“ fehlt in wohl keinem deutschen Haushalt.'] Prediction: ['Das deutsche Haushalt fehlt in wohl keinem deutschen Haushalt.\nEs fehlt in wohl keinem deutschen Haushalt.'] Label: [['Das bekannteste und vielleicht deutscheste aller Gesellschaftsspiele namens „Mensch ärgere Dich nicht“ fehlt in keinem deutschen Haushalt.']] Sacrebleu: {'score': 16.61742929957894, 'counts': [7, 4, 2, 1], 'totals': [18, 17, 16, 15], 'precisions': [38.888888888888886, 23.529411764705884, 12.5, 6.666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 18} Bleu: {'bleu': 0.1661742929957894, 'precisions': [0.3888888888888889, 0.23529411764705882, 0.125, 0.06666666666666667], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 18, 'reference_length': 18} Rouge: {'rouge1': 0.3636363636363636, 'rouge2': 0.19354838709677422, 'rougeL': 0.3636363636363636, 'rougeLsum': 0.3636363636363636} Sari: {'sari': 11.007979593505908} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Yoga, Rhetorik, Acrylmalerei, Computerprogramme, Spanisch, Kochen, Naturheilkunde, Existenzgründung, Goldschmieden … die Liste der Kurse lässt sich fast endlos lange fortsetzen – beinahe alles, was sich zur Weiterbildung eignet, bieten die Volkshochschulen – kurz VHS – an.'] Prediction: ['Die Kurse der Kurse lässt sich fast endlos lange fortsetzen.\nDie Volkshochschulen bieten die Volkshochschulen an.'] Label: [['Yoga, Rhetorik, Acrylmalerei, Computerprogramme, Spanisch, Kochen, Naturheilkunde, Existenzgründung, Goldschmieden … die Liste der Kurse ist lang, denn fast alles, was sich zur Weiterbildung eignet, bieten die Volkshochschulen – kurz VHS – an.']] Sacrebleu: {'score': 2.951349946589648, 'counts': [9, 4, 1, 0], 'totals': [18, 17, 16, 15], 'precisions': [50.0, 23.529411764705884, 6.25, 3.3333333333333335], 'bp': 0.23587708298569995, 'sys_len': 18, 'ref_len': 44} Bleu: {'bleu': 0.0, 'precisions': [0.5, 0.23529411764705882, 0.0625, 0.0], 'brevity_penalty': 0.23587708298570007, 'length_ratio': 0.4090909090909091, 'translation_length': 18, 'reference_length': 44} Rouge: {'rouge1': 0.3829787234042553, 'rouge2': 0.13333333333333333, 'rougeL': 0.3404255319148936, 'rougeLsum': 0.3404255319148936} Sari: {'sari': 8.235228816935743} Flesh Reading Ease: 60.85 ---------------------------------------- Source: ['Hinzu kommen spezielle Integrationskurse, zum Beispiel für Frauen, Jugendliche, Migrantinnen und Migranten mit „Alphabetisierungsbedarf“, wie es offiziell heißt.'] Prediction: ['Die Kurse von Google-Giganten kommt zum Beispiel für Frauen, Jugendliche, Migrantinnen und Migranten mit "Alphabetisierungsbedarf".\nDie Kurse kommt zum Beispiel für Frauen, Jugendliche, Migrantinnen und Migranten mit "Alphabetisierungsbedarf".'] Label: [['Es gibt spezielle Integrationskurse, zum Beispiel für Frauen, Jugendliche, Migrantinnen und Migranten mit „Alphabetisierungsbedarf“, wie es offiziell heißt.']] Sacrebleu: {'score': 27.46478265715412, 'counts': [14, 10, 9, 8], 'totals': [38, 37, 36, 35], 'precisions': [36.8421052631579, 27.027027027027028, 25.0, 22.857142857142858], 'bp': 1.0, 'sys_len': 38, 'ref_len': 23} Bleu: {'bleu': 0.2746478265715413, 'precisions': [0.3684210526315789, 0.2702702702702703, 0.25, 0.22857142857142856], 'brevity_penalty': 1.0, 'length_ratio': 1.6521739130434783, 'translation_length': 38, 'reference_length': 23} Rouge: {'rouge1': 0.43137254901960786, 'rouge2': 0.4081632653061224, 'rougeL': 0.43137254901960786, 'rougeLsum': 0.43137254901960786} Sari: {'sari': 28.726088726088726} Flesh Reading Ease: 19.75 ---------------------------------------- Source: ['So absolvierte im Juni 2015 eine Gruppe bei der Volkshochschule Osnabrücker Land erfolgreich eine zusätzliche „Qualifikation zur Betreuungskraft für Demenzerkrankte in Pflegeheimen“.'] Prediction: ['Eine Gruppe bei der Volkshochschule Osnabrücker Land hat eine zusätzliche Qualifikation zur Betreuungskraft für Demenzerkrankte in Pflegeheimen.\nDie Gruppe soll im Juni 2015 eine zusätzliche "Qualifikation zur Betreuungskraft für Demenzerkrankte in Pflegeheimen" absolvierte.'] Label: [['So absolvierte im Juni 2015 eine Gruppe bei der Volkshochschule Osnabrücker Land erfolgreich eine zusätzliche Qualifikation, um Demenzerkrankte in Pflegeheimen zu betreuen.']] Sacrebleu: {'score': 25.697337936725553, 'counts': [18, 12, 8, 4], 'totals': [37, 36, 35, 34], 'precisions': [48.648648648648646, 33.333333333333336, 22.857142857142858, 11.764705882352942], 'bp': 1.0, 'sys_len': 37, 'ref_len': 24} Bleu: {'bleu': 0.2569733793672555, 'precisions': [0.4864864864864865, 0.3333333333333333, 0.22857142857142856, 0.11764705882352941], 'brevity_penalty': 1.0, 'length_ratio': 1.5416666666666667, 'translation_length': 37, 'reference_length': 24} Rouge: {'rouge1': 0.6129032258064516, 'rouge2': 0.5, 'rougeL': 0.48387096774193544, 'rougeLsum': 0.5806451612903226} Sari: {'sari': 44.292570937037326} Flesh Reading Ease: 11.4 ---------------------------------------- Source: ['So bieten sie auch denen eine zweite Chance, die sozial benachteiligt sind.'] Prediction: ['Eine zweite Chance, die sozial benachteiligt sind, wurde von der Stadt Zürich aufgefunden.\nDie sozialen Menschen bieten sie auch denen eine zweite Chance, die sozial benachteiligt sind.'] Label: [['So bieten die VHS auch denen eine zweite Chance, die sozial benachteiligt sind.']] Sacrebleu: {'score': 32.270911400241104, 'counts': [13, 10, 9, 8], 'totals': [32, 31, 30, 29], 'precisions': [40.625, 32.25806451612903, 30.0, 27.586206896551722], 'bp': 1.0, 'sys_len': 32, 'ref_len': 15} Bleu: {'bleu': 0.3227091140024109, 'precisions': [0.40625, 0.3225806451612903, 0.3, 0.27586206896551724], 'brevity_penalty': 1.0, 'length_ratio': 2.1333333333333333, 'translation_length': 32, 'reference_length': 15} Rouge: {'rouge1': 0.5365853658536585, 'rouge2': 0.41025641025641024, 'rougeL': 0.48780487804878053, 'rougeLsum': 0.48780487804878053} Sari: {'sari': 46.512758577975966} Flesh Reading Ease: 49.5 ---------------------------------------- Source: ['Streetfood geht weit über das hinaus, was die Deutschen seit Jahrzehnten als „Pommesbude“ kennen. Der mobile Imbisswagen heißt inzwischen Food Truck und das Konzept heißt: Kochen, wozu man Lust hat, etwas Neues auf den Markt bringen und Menschen begeistern.'] Prediction: ['Die Deutschen kennen seit Jahrzehnten als "Pommesbude“ kennen.\nFood Truck heißt inzwischen Food Truck und das Konzept heißt: Kochen, wozu man Lust hat, etwas Neues auf den Markt bringen und Menschen begeistern.'] Label: [['Streetfood geht weit über das hinaus, was die Deutschen als „Pommesbude“ kennen.\nDer mobile Imbisswagen heißt jetzt Food Truck und das Konzept heißt: Kochen, wozu man Lust hat, etwas Neues auf den Markt bringen und Menschen begeistern.']] Sacrebleu: {'score': 57.224212735685136, 'counts': [29, 24, 22, 21], 'totals': [38, 37, 36, 35], 'precisions': [76.3157894736842, 64.86486486486487, 61.111111111111114, 60.0], 'bp': 0.876710058453612, 'sys_len': 38, 'ref_len': 43} Bleu: {'bleu': 0.5722421273568512, 'precisions': [0.7631578947368421, 0.6486486486486487, 0.6111111111111112, 0.6], 'brevity_penalty': 0.876710058453612, 'length_ratio': 0.8837209302325582, 'translation_length': 38, 'reference_length': 43} Rouge: {'rouge1': 0.767123287671233, 'rouge2': 0.676056338028169, 'rougeL': 0.767123287671233, 'rougeLsum': 0.767123287671233} Sari: {'sari': 30.49185473513755} Flesh Reading Ease: 70.4 ---------------------------------------- Source: ['Alles ist ganz frisch und bewegt sich zwischen preiswert und teuer.'] Prediction: ['Die Schweizer Welt ist ein frischjähriger Gast.\nDie Schweizer Welt ist ein frischjähriges Gast.\nDie Schweizer Welt ist ein frischjähriges Gast.'] Label: [['Hier ist alles ganz frisch und bewegt sich zwischen preiswert und teuer.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8461538461538463, 'translation_length': 24, 'reference_length': 13} Rouge: {'rouge1': 0.05555555555555555, 'rouge2': 0.0, 'rougeL': 0.05555555555555555, 'rougeLsum': 0.05555555555555555} Sari: {'sari': 7.414622414622414} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Streetfood bezeichnet Speisen und Getränke, die als Zwischenmahlzeit unterwegs auf der Straße, aber auch auf einem Markt oder Jahrmarkt angeboten werden.'] Prediction: ['Auf der Zwischenmahlzeit wurde auf der Straße ein grosser Zwischenmahlzeit-Streetfood geschickt.\nDie Zwischenmahlzeit wurde auf einem Markt oder Jahrmarkt angeboten.\nDie Zwischenmahlzeit wurde auf einem Markt oder Jahrmarkt angeboten.'] Label: [['Streetfood bezeichnet Speisen und Getränke, die als Mahlzeit unterwegs auf der Straße, aber auch auf einem Markt oder Jahrmarkt angeboten werden.']] Sacrebleu: {'score': 18.676246336830427, 'counts': [10, 7, 5, 3], 'totals': [32, 31, 30, 29], 'precisions': [31.25, 22.580645161290324, 16.666666666666668, 10.344827586206897], 'bp': 1.0, 'sys_len': 32, 'ref_len': 24} Bleu: {'bleu': 0.18676246336830427, 'precisions': [0.3125, 0.22580645161290322, 0.16666666666666666, 0.10344827586206896], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 32, 'reference_length': 24} Rouge: {'rouge1': 0.4444444444444444, 'rouge2': 0.30769230769230765, 'rougeL': 0.37037037037037035, 'rougeLsum': 0.40740740740740744} Sari: {'sari': 19.72616753254008} Flesh Reading Ease: 53.3 ---------------------------------------- Source: ['Der Vorteil der Trucks: Sie kommen auch an Standorte, an denen es keine Kantinen oder Restaurants gibt, sie zahlen keine hohen Mieten in den Innenstädten und können sich sehr flexibel auf die Wünsche ihrer Kunden einstellen.'] Prediction: ['Truck-Rätsel können sich sehr flexibel auf die Wünsche ihrer Kunden einstellen.\nDie Trucks kommen auch an Standorte, an denen es keine Kantinen oder Restaurants gibt, sie zahlen keine hohen Mieten in den Innenstädten und können sich sehr flexibel auf die Wünsche ihrer Kunden einstellen.'] Label: [['Der Vorteil der Trucks: Sie kommen auch an Standorte, an denen es keine Kantinen oder Restaurants gibt und können sich sehr flexibel auf die Wünsche ihrer Kunden einstellen.']] Sacrebleu: {'score': 47.54350107181759, 'counts': [26, 23, 21, 19], 'totals': [48, 47, 46, 45], 'precisions': [54.166666666666664, 48.93617021276596, 45.65217391304348, 42.22222222222222], 'bp': 1.0, 'sys_len': 48, 'ref_len': 31} Bleu: {'bleu': 0.47543501071817584, 'precisions': [0.5416666666666666, 0.48936170212765956, 0.45652173913043476, 0.4222222222222222], 'brevity_penalty': 1.0, 'length_ratio': 1.5483870967741935, 'translation_length': 48, 'reference_length': 31} Rouge: {'rouge1': 0.6666666666666667, 'rouge2': 0.5822784810126583, 'rougeL': 0.6419753086419753, 'rougeLsum': 0.6419753086419753} Sari: {'sari': 24.63370242121696} Flesh Reading Ease: 52.7 ---------------------------------------- Source: ['“.Oder der „Kleiderkreisel“: Hinter dieser Plattform (www.kleiderkreisel.de) steckt die Tauschbörse für Kleidung, Accessoires und Selbstgemachtes.'] Prediction: ['Die Tauschbörse für Kleiderkreisel stecken für Kleidung, Accessoires und Selbstgemachtes.\nHinter dieser Plattform steckt die Tauschbörse für Kleidung, Accessoires und Selbstgemachtes.'] Label: [['Oder der „Kleiderkreisel“: Hinter dieser Plattform (www.kleiderkreisel.de) steckt die Tauschbörse für Kleidung, Accessoires und Selbstgemachtes.']] Sacrebleu: {'score': 42.280476754565726, 'counts': [14, 11, 9, 7], 'totals': [25, 24, 23, 22], 'precisions': [56.0, 45.833333333333336, 39.130434782608695, 31.818181818181817], 'bp': 1.0, 'sys_len': 25, 'ref_len': 24} Bleu: {'bleu': 0.4228047675456572, 'precisions': [0.56, 0.4583333333333333, 0.391304347826087, 0.3181818181818182], 'brevity_penalty': 1.0, 'length_ratio': 1.0416666666666667, 'translation_length': 25, 'reference_length': 24} Rouge: {'rouge1': 0.6222222222222222, 'rouge2': 0.5116279069767442, 'rougeL': 0.6222222222222222, 'rougeLsum': 0.5777777777777778} Sari: {'sari': 24.984376918674833} Flesh Reading Ease: 46.65 ---------------------------------------- Source: ['Das Ganze funktioniert auch mit Büchern wie auf wie bei „Bookelo.com“:'] Prediction: ['Die Bücher wollen auf dem Bookelo.com-Giganten wie auf wie bei „Bookelo.com“ funktioniert.\nDie Bücher wollen das Ganze nicht aufmerksam machen.'] Label: [['Das Ganze funktioniert auch mit Büchern wie bei „Bookelo.com“:']] Sacrebleu: {'score': 14.710052131359536, 'counts': [7, 4, 3, 2], 'totals': [26, 25, 24, 23], 'precisions': [26.923076923076923, 16.0, 12.5, 8.695652173913043], 'bp': 1.0, 'sys_len': 26, 'ref_len': 12} Bleu: {'bleu': 0.14710052131359536, 'precisions': [0.2692307692307692, 0.16, 0.125, 0.08695652173913043], 'brevity_penalty': 1.0, 'length_ratio': 2.1666666666666665, 'translation_length': 26, 'reference_length': 12} Rouge: {'rouge1': 0.4444444444444444, 'rouge2': 0.23529411764705882, 'rougeL': 0.2777777777777778, 'rougeLsum': 0.3888888888888889} Sari: {'sari': 20.975629308962638} Flesh Reading Ease: 62.15 ---------------------------------------- Source: ['hier dankt die Gemeinde für eine reiche Ernte und sehr häufig gibt es eine Sammelaktion gegen den Hunger in der Welt.'] Prediction: ['Eine Sammelaktion in der Gemeinde in Thurgau fand am Sonntagabend eine Reiche Ernte statt.\nDie Gemeinde hatte eine Sammelaktion für eine reiche Ernte und dankt die Gemeinde für eine reiche Ernte.'] Label: [['hier dankt die Gemeinde für eine reiche Ernte.']] Sacrebleu: {'score': 20.33717397090785, 'counts': [8, 7, 6, 5], 'totals': [33, 32, 31, 30], 'precisions': [24.242424242424242, 21.875, 19.35483870967742, 16.666666666666668], 'bp': 1.0, 'sys_len': 33, 'ref_len': 9} Bleu: {'bleu': 0.2033717397090786, 'precisions': [0.24242424242424243, 0.21875, 0.1935483870967742, 0.16666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 3.6666666666666665, 'translation_length': 33, 'reference_length': 9} Rouge: {'rouge1': 0.38095238095238093, 'rouge2': 0.35, 'rougeL': 0.38095238095238093, 'rougeLsum': 0.38095238095238093} Sari: {'sari': 58.871502339357065} Flesh Reading Ease: 47.5 ---------------------------------------- Source: ['Hier erntet man um diese Zeit den beliebten Kürbis, den man wunderbar als Laterne mit grimmigem Gesicht schnitzen kann.'] Prediction: ['Die Schweizer Welt hat einen beliebten Kürbis eröffnet.\nDer Kürbis wurde wunderbar als Laterne mit grimmigem Gesicht schnitzen.\nDie Schweizer Welt hatte sich mit einem beliebten Kürbis zu sehen.'] Label: [['Hier erntet man um diese Zeit den beliebten Kürbis, den man als Laterne mit grimmigem Gesicht schnitzen kann.']] Sacrebleu: {'score': 16.553354669449483, 'counts': [9, 6, 4, 3], 'totals': [32, 31, 30, 29], 'precisions': [28.125, 19.35483870967742, 13.333333333333334, 10.344827586206897], 'bp': 1.0, 'sys_len': 32, 'ref_len': 20} Bleu: {'bleu': 0.16553354669449483, 'precisions': [0.28125, 0.1935483870967742, 0.13333333333333333, 0.10344827586206896], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 32, 'reference_length': 20} Rouge: {'rouge1': 0.34615384615384615, 'rouge2': 0.28, 'rougeL': 0.34615384615384615, 'rougeLsum': 0.34615384615384615} Sari: {'sari': 18.56959706959707} Flesh Reading Ease: 65.0 ---------------------------------------- Source: ['Rund 200 Millionen Euro sollen nach ihren Schätzungen inzwischen in der Zeit um Halloween umgesetzt werden.'] Prediction: ['Rund 200 Millionen Euro sollen nach ihren Schätzungen um Halloween umgesetzt werden.\nDie Schätzungen sollen inzwischen in der Zeit umgeetzt werden.'] Label: [['Rund 200 Millionen Euro werden im Deutschen Verband der Spielwaren-Industrie (DVSI) inzwischen in der Zeit um Halloween umgesetzt.']] Sacrebleu: {'score': 26.448946797215363, 'counts': [13, 8, 5, 2], 'totals': [23, 22, 21, 20], 'precisions': [56.52173913043478, 36.36363636363637, 23.80952380952381, 10.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 21} Bleu: {'bleu': 0.2644894679721535, 'precisions': [0.5652173913043478, 0.36363636363636365, 0.23809523809523808, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 1.0952380952380953, 'translation_length': 23, 'reference_length': 21} Rouge: {'rouge1': 0.5714285714285715, 'rouge2': 0.39999999999999997, 'rougeL': 0.42857142857142855, 'rougeLsum': 0.5238095238095238} Sari: {'sari': 41.04638919856311} Flesh Reading Ease: 52.5 ---------------------------------------- Source: ['Für sie ist Halloween das drittwichtigste Ereignis des Jahres nach Weihnachten und Ostern.'] Prediction: ['Die Schweizer Welt ist Halloween.\nDas drittwichtigste Ereignis des Jahres ist nach Weihnachten und Ostern.\nDie Schweizer Welt ist das drittwichtigste Ereignis des Jahres.'] Label: [['Für die Süßwarenindustrie ist Halloween das drittwichtigste Ereignis des Jahres nach Weihnachten und Ostern.']] Sacrebleu: {'score': 28.008294138571443, 'counts': [12, 9, 6, 4], 'totals': [27, 26, 25, 24], 'precisions': [44.44444444444444, 34.61538461538461, 24.0, 16.666666666666668], 'bp': 1.0, 'sys_len': 27, 'ref_len': 15} Bleu: {'bleu': 0.28008294138571455, 'precisions': [0.4444444444444444, 0.34615384615384615, 0.24, 0.16666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 27, 'reference_length': 15} Rouge: {'rouge1': 0.6, 'rouge2': 0.47368421052631576, 'rougeL': 0.6, 'rougeLsum': 0.6} Sari: {'sari': 43.70360195360196} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Von Halloween profitieren zahlreiche Wirtschaftszweige - nicht zuletzt die Süßwarenindustrie.'] Prediction: ['Die Süßwarenindustrie profitieren zahlreiche Wirtschaftszweige.\nDie Wirtschaftszweige profitieren zahlreiche Wirtschaftszweige.'] Label: [['So backt der Bäcker Plätzchen in Gespensterform, es gibt Kostüme aller Art und Süßigkeiten in Monsterform.']] Sacrebleu: {'score': 2.0540152107739, 'counts': [1, 0, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [8.333333333333334, 4.545454545454546, 2.5, 1.3888888888888888], 'bp': 0.6065306597126334, 'sys_len': 12, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6065306597126334, 'length_ratio': 0.6666666666666666, 'translation_length': 12, 'reference_length': 18} Rouge: {'rouge1': 0.06451612903225806, 'rouge2': 0.0, 'rougeL': 0.06451612903225806, 'rougeLsum': 0.06451612903225806} Sari: {'sari': 44.047619047619044} Flesh Reading Ease: -23.91 ---------------------------------------- Source: ['Bunt umhäkelte Bäume, provozierende Graffitis wie Angela Merkel und Mario Draghi in einer Anspielung auf James Bonds „Casino Royale“, grotesk veränderte Werbeposter, Skulpturen aus Müll – all das ist Streetart.'] Prediction: ['Die Welt ist ein grosser Streetart.\nDie Bäume, die von Angela Merkel und Mario Draghi in einer Anspielung auf James Bonds „Casino Royale“ wie Angela Merkel und Mario Draghi in einer Anspielung auf James Bonds „Casino Royale“ waren, grotesk veränderte Werbeposter, Skulpturen aus Müll.'] Label: [['Bunt umhäkelte Bäume, provozierende Graffitis wie Angela Merkel und Mario Draghi in einer Anspielung auf James Bonds „Casino Royale“, veränderte Werbeposter, Skulpturen aus Müll – all das ist Streetart.']] Sacrebleu: {'score': 38.90358185971375, 'counts': [26, 20, 16, 14], 'totals': [49, 48, 47, 46], 'precisions': [53.06122448979592, 41.666666666666664, 34.04255319148936, 30.434782608695652], 'bp': 1.0, 'sys_len': 49, 'ref_len': 33} Bleu: {'bleu': 0.38903581859713754, 'precisions': [0.5306122448979592, 0.4166666666666667, 0.3404255319148936, 0.30434782608695654], 'brevity_penalty': 1.0, 'length_ratio': 1.4848484848484849, 'translation_length': 49, 'reference_length': 33} Rouge: {'rouge1': 0.6329113924050632, 'rouge2': 0.5194805194805194, 'rougeL': 0.5822784810126582, 'rougeLsum': 0.6329113924050632} Sari: {'sari': 26.307978107303047} Flesh Reading Ease: 46.85 ---------------------------------------- Source: ['Häufig ist Streetart kritisch und lenkt den Blick auf aktuelle politische und gesellschaftliche Ereignisse.'] Prediction: ['Streetart ist ein kritischer Blick auf aktuelle politische und gesellschaftliche Ereignisse.\nDie Polizei verhängt den Blick auf aktuelle politische und gesellschaftliche Ereignisse.'] Label: [['Oft ist Streetart kritisch und lenkt den Blick auf aktuelle politische und gesellschaftliche Ereignisse.']] Sacrebleu: {'score': 35.45968452939003, 'counts': [12, 8, 7, 6], 'totals': [24, 23, 22, 21], 'precisions': [50.0, 34.78260869565217, 31.818181818181817, 28.571428571428573], 'bp': 1.0, 'sys_len': 24, 'ref_len': 15} Bleu: {'bleu': 0.35459684529390034, 'precisions': [0.5, 0.34782608695652173, 0.3181818181818182, 0.2857142857142857], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 24, 'reference_length': 15} Rouge: {'rouge1': 0.5945945945945946, 'rouge2': 0.39999999999999997, 'rougeL': 0.5405405405405405, 'rougeLsum': 0.4864864864864865} Sari: {'sari': 33.008662304327935} Flesh Reading Ease: 28.6 ---------------------------------------- Source: ['Die einen wollen alten und ungenutzten Kram entrümpeln und verkaufen und hoffen auf ein wenig Geld. Die anderen aber, die Käufer, Jäger und Stöberer, wollen das besondere Schnäppchen, das lang gesuchte Sammlerstück, und dabei spielt auch ein bisschen Abenteuer mit.'] Prediction: ['Einige Kram wollen alten und ungenutzten Kram entrümpeln und verkaufen und hoffen auf ein wenig Geld.\nDie anderen wollen das besondere Schnäppchen, das lang gesuchte Sammlerstück, und dabei spielt auch ein bisschen Abenteuer mit.'] Label: [['Die einen wollen alten und ungenutzten Trödel entrümpeln und verkaufen und hoffen auf ein bisschen Geld.\nDie anderen aber, die Käufer und Stöberer, wollen das Schnäppchen.']] Sacrebleu: {'score': 31.475558245733627, 'counts': [23, 14, 9, 6], 'totals': [38, 37, 36, 35], 'precisions': [60.526315789473685, 37.83783783783784, 25.0, 17.142857142857142], 'bp': 1.0, 'sys_len': 38, 'ref_len': 30} Bleu: {'bleu': 0.3147555824573362, 'precisions': [0.6052631578947368, 0.3783783783783784, 0.25, 0.17142857142857143], 'brevity_penalty': 1.0, 'length_ratio': 1.2666666666666666, 'translation_length': 38, 'reference_length': 30} Rouge: {'rouge1': 0.6176470588235294, 'rouge2': 0.45454545454545453, 'rougeL': 0.5588235294117647, 'rougeLsum': 0.6176470588235294} Sari: {'sari': 24.5095472802579} Flesh Reading Ease: 57.7 ---------------------------------------- Source: ['Im Gegensatz zu Frankreich und Belgien, wo es Flohmärkte seit dem späten 19. Jahrhundert gibt, fand der erste offizielle Flohmarkt in Deutschland 1976 in Hannover statt – so berichten es zumindest die Internetquellen. Private Flohmärkte, Garagenverkäufe und Tauschaktionen dürfte es aber schon viel länger geben - und sie gibt es seit neuestem wieder mehr.'] Prediction: ['In Frankreich und Belgien gibt es seit dem 19.\nJahrhundert eine offizielle Flohmarkt.\nPrivate Flohmärkte, Garagenverkäufe und Tauschaktionen dürfte es aber schon viel länger geben.'] Label: [['Im Gegensatz zu Frankreich und Belgien, wo es Flohmärkte seit dem späten 19.\nJahrhundert gibt, fand der erste offizielle Flohmarkt in Deutschland 1976 in Hannover statt – so berichten es zumindest die Internetquellen.\nPrivate Flohmärkte, Garagenverkäufe, Trödelmärkte und Tauschaktionen dürfte es aber schon viel länger geben.']] Sacrebleu: {'score': 24.89925760676426, 'counts': [27, 19, 13, 9], 'totals': [29, 28, 27, 26], 'precisions': [93.10344827586206, 67.85714285714286, 48.148148148148145, 34.61538461538461], 'bp': 0.4371030904024768, 'sys_len': 29, 'ref_len': 53} Bleu: {'bleu': 0.2489925760676425, 'precisions': [0.9310344827586207, 0.6785714285714286, 0.48148148148148145, 0.34615384615384615], 'brevity_penalty': 0.4371030904024768, 'length_ratio': 0.5471698113207547, 'translation_length': 29, 'reference_length': 53} Rouge: {'rouge1': 0.6829268292682926, 'rouge2': 0.475, 'rougeL': 0.6341463414634146, 'rougeLsum': 0.6585365853658537} Sari: {'sari': 25.9461796004461} Flesh Reading Ease: 48.85 ---------------------------------------- Source: ['Eigentlich ist ein Flohmarkt privat, aber in den vergangenen Jahren haben sie sich sehr zum Leidwesen vieler Flohmarktliebhaber kommerzialisiert. Auch sind manche Standgebühren recht hoch, was den Gewinn dann empfindlich schmälert.'] Prediction: ['In den vergangenen Jahren haben sie sich sehr zum Leidwesen vieler Flohmarktliebhaber kommerzialisiert.\nAuch sind manche Standgebühren recht hoch, was den Gewinn dann empfindlich schmälert.'] Label: [['Eigentlich ist ein Flohmarkt für Privatleute, aber in den vergangenen Jahren sind immer mehr professionelle Händler dazu gekommen.\nAuch sind manche Standgebühren ziemlich hoch, was den Gewinn dann deutlich schmälert.']] Sacrebleu: {'score': 28.53766356642007, 'counts': [16, 12, 8, 5], 'totals': [28, 27, 26, 25], 'precisions': [57.142857142857146, 44.44444444444444, 30.76923076923077, 20.0], 'bp': 0.8071177470053894, 'sys_len': 28, 'ref_len': 34} Bleu: {'bleu': 0.2853766356642007, 'precisions': [0.5714285714285714, 0.4444444444444444, 0.3076923076923077, 0.2], 'brevity_penalty': 0.8071177470053892, 'length_ratio': 0.8235294117647058, 'translation_length': 28, 'reference_length': 34} Rouge: {'rouge1': 0.5245901639344261, 'rouge2': 0.4067796610169492, 'rougeL': 0.5245901639344261, 'rougeLsum': 0.5245901639344261} Sari: {'sari': 28.9071611659249} Flesh Reading Ease: 50.5 ---------------------------------------- Source: ['Da geht es nicht mehr um‘s Feilschen, sondern nur noch um‘s Geld.'] Prediction: ['Die Welt ist ein Feilschen-Geld.\nDas Geld geht nicht mehr um‘s Feilschen, sondern nur noch um‘s Geld.'] Label: [['Da geht es dann nicht mehr um‘s Feilschen, sondern nur noch um‘s Geld.']] Sacrebleu: {'score': 52.20981806658137, 'counts': [12, 10, 9, 8], 'totals': [20, 19, 18, 17], 'precisions': [60.0, 52.63157894736842, 50.0, 47.05882352941177], 'bp': 1.0, 'sys_len': 20, 'ref_len': 15} Bleu: {'bleu': 0.5220981806658138, 'precisions': [0.6, 0.5263157894736842, 0.5, 0.47058823529411764], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 20, 'reference_length': 15} Rouge: {'rouge1': 0.6857142857142857, 'rouge2': 0.6060606060606061, 'rougeL': 0.6857142857142857, 'rougeLsum': 0.6857142857142857} Sari: {'sari': 48.162802110170524} Flesh Reading Ease: 101.3 ---------------------------------------- Source: ['Doch auch dafür gibt es eine Gegenbewegung.'] Prediction: ['Die Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer'] Label: [['Doch dafür gibt es eine Gegenbewegung.']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [225, 224, 223, 222], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 225, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 32.142857142857146, 'translation_length': 225, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 9.533730158730158} Flesh Reading Ease: -162.01 ---------------------------------------- Source: ['Immer häufiger gibt es Flohmärkte für einen guten Zweck und Spezialmärkte etwa für Babysachen und Spielzeug, Bücher oder Antiquitäten.'] Prediction: ['Immer häufiger gibt es Flohmärkte für einen guten Zweck und Spezialmärkte.\nEs gibt einen guten Zweck und einen guten Zweck und Spezialmärkte.'] Label: [['Immer öfter gibt es Flohmärkte für einen guten Zweck und Spezialmärkte etwa für Babysachen und Spielzeug, Bücher oder Antiquitäten.']] Sacrebleu: {'score': 35.45968452939003, 'counts': [12, 8, 7, 6], 'totals': [24, 23, 22, 21], 'precisions': [50.0, 34.78260869565217, 31.818181818181817, 28.571428571428573], 'bp': 1.0, 'sys_len': 24, 'ref_len': 21} Bleu: {'bleu': 0.35459684529390034, 'precisions': [0.5, 0.34782608695652173, 0.3181818181818182, 0.2857142857142857], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 24, 'reference_length': 21} Rouge: {'rouge1': 0.5384615384615384, 'rouge2': 0.43999999999999995, 'rougeL': 0.5384615384615384, 'rougeLsum': 0.5} Sari: {'sari': 19.459706959706956} Flesh Reading Ease: 69.55 ---------------------------------------- Source: ['Und es gibt die Mädchenflohmärkte: Nur für Frauen!'] Prediction: ['Die Mädchenflohmärkte: Nur für Frauen!\nDie Mädchenflohmärkte: Nur für Frauen!'] Label: [['Und es gibt die Mädchenflohmärkte - nur für Frauen!']] Sacrebleu: {'score': 11.359354890271161, 'counts': [4, 2, 1, 0], 'totals': [14, 13, 12, 11], 'precisions': [28.571428571428573, 15.384615384615385, 8.333333333333334, 4.545454545454546], 'bp': 1.0, 'sys_len': 14, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.15384615384615385, 0.08333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 14, 'reference_length': 10} Rouge: {'rouge1': 0.5925925925925926, 'rouge2': 0.56, 'rougeL': 0.5925925925925926, 'rougeLsum': 0.5925925925925926} Sari: {'sari': 19.870268620268625} Flesh Reading Ease: 58.0 ---------------------------------------- Source: ['Hier werden auch topmoderne Kleidungsstücke, Schuhe und Accessoires gehandelt.'] Prediction: ['Top-Moderatorinnen und -moderne Kleidungsstücke, Schuhe und Accessoires gehandelt werden auch in der Schweiz.\nDie Welt ist eine neue Welle, die auf dem Markt der Weltkonzernschaftswelt geschafft werden.\nDie Welt ist eine neue Welle, die auf dem Markt der Weltkonzernschaftswelt geschafft werden.'] Label: [['Hier werden auch ganz modische Kleidungsstücke, Schuhe und Accessoires gehandelt.']] Sacrebleu: {'score': 11.09209374832408, 'counts': [9, 6, 4, 3], 'totals': [47, 46, 45, 44], 'precisions': [19.148936170212767, 13.043478260869565, 8.88888888888889, 6.818181818181818], 'bp': 1.0, 'sys_len': 47, 'ref_len': 12} Bleu: {'bleu': 0.1109209374832408, 'precisions': [0.19148936170212766, 0.13043478260869565, 0.08888888888888889, 0.06818181818181818], 'brevity_penalty': 1.0, 'length_ratio': 3.9166666666666665, 'translation_length': 47, 'reference_length': 12} Rouge: {'rouge1': 0.2962962962962963, 'rouge2': 0.23076923076923073, 'rougeL': 0.22222222222222218, 'rougeLsum': 0.2592592592592593} Sari: {'sari': 48.84711779448622} Flesh Reading Ease: 61.0 ---------------------------------------- Source: ['Der typische Duft in Deutschland um die Weihnachtszeit – spätestens mit Beginn der Weihnachtsmärkte – enthält garantiert die Noten Vanille, Zimt, Mandel, vielleicht etwas Nelke und Kardamom.'] Prediction: ['Die Noten Vanille, Zimt, Mandel, vielleicht etwas Nelke und Kardamom enthält.\nDer typische Duft in Deutschland um die Weihnachtszeit enthält garantiert die Noten Vanille, Zimt, Mandel, vielleicht etwas Nelke und Kardamom.'] Label: [['Der typische Duft in Deutschland um die Weihnachtszeit enthält Vanille, Zimt, Mandel, vielleicht etwas Nelke und Kardamom.']] Sacrebleu: {'score': 47.64750473780134, 'counts': [21, 19, 17, 15], 'totals': [39, 38, 37, 36], 'precisions': [53.84615384615385, 50.0, 45.945945945945944, 41.666666666666664], 'bp': 1.0, 'sys_len': 39, 'ref_len': 21} Bleu: {'bleu': 0.47647504737801344, 'precisions': [0.5384615384615384, 0.5, 0.4594594594594595, 0.4166666666666667], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 39, 'reference_length': 21} Rouge: {'rouge1': 0.7058823529411764, 'rouge2': 0.6530612244897959, 'rougeL': 0.7058823529411764, 'rougeLsum': 0.7058823529411764} Sari: {'sari': 76.30127754336615} Flesh Reading Ease: 53.35 ---------------------------------------- Source: ['Spekulatius, Printen, Stollen und Plätzchen haben alle ihren ganz typischen Geschmack.'] Prediction: ['Im Alter von 99 Jahren haben sich auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch'] Label: [['Spekulatius, Printen, Stollen und andere Weihnachtsplätzchen haben alle ihren ganz typischen Geschmack.']] Sacrebleu: {'score': 0.1567883530950603, 'counts': [1, 0, 0, 0], 'totals': [227, 226, 225, 224], 'precisions': [0.44052863436123346, 0.22123893805309736, 0.1111111111111111, 0.05580357142857143], 'bp': 1.0, 'sys_len': 227, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.004405286343612335, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 15.133333333333333, 'translation_length': 227, 'reference_length': 15} Rouge: {'rouge1': 0.008333333333333335, 'rouge2': 0.0, 'rougeL': 0.008333333333333335, 'rougeLsum': 0.008333333333333335} Sari: {'sari': 8.28060828060828} Flesh Reading Ease: -105.51 ---------------------------------------- Source: ['Eine davon sind die Frankfurter Bethmännchen, ein Naschwerk aus Marzipan.'] Prediction: ['Eine davon sind die Frankfurter Bethmännchen, ein Naschwerk aus Marzipan, ausgestrahlt.\nDie Frauen wurden dabei dabei aufgefunden, ein Naschwerk aus Marzipan zu sein.\nDie Frauen waren davon aufgefunden, ein Naschwerk aus Marzipan zu sein.'] Label: [['Eine davon sind die Frankfurter Bethmännchen.']] Sacrebleu: {'score': 11.465402610048526, 'counts': [7, 5, 4, 3], 'totals': [41, 40, 39, 38], 'precisions': [17.073170731707318, 12.5, 10.256410256410257, 7.894736842105263], 'bp': 1.0, 'sys_len': 41, 'ref_len': 7} Bleu: {'bleu': 0.11465402610048528, 'precisions': [0.17073170731707318, 0.125, 0.10256410256410256, 0.07894736842105263], 'brevity_penalty': 1.0, 'length_ratio': 5.857142857142857, 'translation_length': 41, 'reference_length': 7} Rouge: {'rouge1': 0.33333333333333337, 'rouge2': 0.3, 'rougeL': 0.33333333333333337, 'rougeLsum': 0.33333333333333337} Sari: {'sari': 54.70289943974155} Flesh Reading Ease: 51.7 ---------------------------------------- Source: ['Ihr Erfinder ist allerdings ein Franzose, der für die Bankiersfamilie Bethmann gekocht und gebacken hat.'] Prediction: ['Ein Franzose hat für die Bankiersfamilie Bethmann gekocht und gebacken.\nIhr Erfinder ist ein Franzose, der für die Bankiersfamilie gekocht und gebacken hat.'] Label: [['Ihr Erfinder ist allerdings ein Franzose, der für die Bankiersfamilie Bethmann gekocht hat.']] Sacrebleu: {'score': 37.88588014103526, 'counts': [14, 11, 8, 6], 'totals': [26, 25, 24, 23], 'precisions': [53.84615384615385, 44.0, 33.333333333333336, 26.08695652173913], 'bp': 1.0, 'sys_len': 26, 'ref_len': 15} Bleu: {'bleu': 0.37885880141035255, 'precisions': [0.5384615384615384, 0.44, 0.3333333333333333, 0.2608695652173913], 'brevity_penalty': 1.0, 'length_ratio': 1.7333333333333334, 'translation_length': 26, 'reference_length': 15} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.5405405405405406, 'rougeL': 0.6153846153846153, 'rougeLsum': 0.6666666666666666} Sari: {'sari': 33.44743995982893} Flesh Reading Ease: 51.5 ---------------------------------------- Source: ['Marzipan, sehr feiner Zucker und Eiweiß werden vermischt, abgerundet mit Zitrone.'] Prediction: ['Zitrone ist derzeit nicht mehr für den Zitrone-Zitrone-Virus.\nDas ist der erste Mal, das Virus sehr feiner Zucker und Eiweiß werden vermischt.\nDie Vermischungen seien sehr feiner Zucker und Eiweiß, sehr feiner Zucker und Eiweiß werden vermischt.'] Label: [['Sie bestehen aus Marzipan, Zucker und Eiweiß und etwas Zitrone.']] Sacrebleu: {'score': 4.017770018477445, 'counts': [7, 2, 1, 0], 'totals': [42, 41, 40, 39], 'precisions': [16.666666666666668, 4.878048780487805, 2.5, 1.2820512820512822], 'bp': 1.0, 'sys_len': 42, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.04878048780487805, 0.025, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 42, 'reference_length': 12} Rouge: {'rouge1': 0.2, 'rouge2': 0.08333333333333333, 'rougeL': 0.16000000000000003, 'rougeLsum': 0.2} Sari: {'sari': 38.77278953421086} Flesh Reading Ease: 62.4 ---------------------------------------- Source: ['Sie enthalten die Gewürze Kardamom, Gewürznelke und Zimt und viel Butter.'] Prediction: ['Die Gewürze Kardamom, Gewürznelke und Zimt enthalten die Gewürze Butter.\nDie Gewürze werden in der Schweiz gewählt.\nDie Butter-Gewürze werden in der Schweiz zum Thema Gewürznelke gewählt.'] Label: [['Sie enthalten die Gewürze Kardamom, Gewürznelke, Zimt und viel Butter.']] Sacrebleu: {'score': 12.425342874478343, 'counts': [10, 6, 3, 1], 'totals': [31, 30, 29, 28], 'precisions': [32.25806451612903, 20.0, 10.344827586206897, 3.5714285714285716], 'bp': 1.0, 'sys_len': 31, 'ref_len': 13} Bleu: {'bleu': 0.12425342874478343, 'precisions': [0.3225806451612903, 0.2, 0.10344827586206896, 0.03571428571428571], 'brevity_penalty': 1.0, 'length_ratio': 2.3846153846153846, 'translation_length': 31, 'reference_length': 13} Rouge: {'rouge1': 0.4166666666666667, 'rouge2': 0.26086956521739124, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 25.670995670995673} Flesh Reading Ease: 54.0 ---------------------------------------- Source: ['Das Gebäck stellt traditionell die Nikolausgeschichte dar, aber es gibt heute auch belgische, niederländische oder deutsche Motive, etwa Schiffe oder Windmühlen.'] Prediction: ['Das Gebäck von Nikolaus ist traditionell.\nEs gibt heute auch belgische, niederländische oder deutsche Motive, etwa Schiffe oder Windmühlen.'] Label: [['Das Gebäck stellt traditionell die Nikolausgeschichte dar, aber es gibt heute auch belgische, niederländische oder deutsche Motive.']] Sacrebleu: {'score': 39.72418603247486, 'counts': [14, 9, 7, 6], 'totals': [23, 22, 21, 20], 'precisions': [60.869565217391305, 40.90909090909091, 33.333333333333336, 30.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 20} Bleu: {'bleu': 0.3972418603247485, 'precisions': [0.6086956521739131, 0.4090909090909091, 0.3333333333333333, 0.3], 'brevity_penalty': 1.0, 'length_ratio': 1.15, 'translation_length': 23, 'reference_length': 20} Rouge: {'rouge1': 0.6829268292682926, 'rouge2': 0.5641025641025642, 'rougeL': 0.6829268292682926, 'rougeLsum': 0.6829268292682926} Sari: {'sari': 19.654595987449486} Flesh Reading Ease: 47.65 ---------------------------------------- Source: ['Auf keinem deutschen Weihnachtsteller fehlt der Klassiker: Vanillekipferl.'] Prediction: ['Ein deutscher Weihnachtsteller fehlt der Klassiker: Vanillekipferl.\nDer Weihnachtsteller wurde aufgefunden.\nDie Klassiker wurde von einem deutschen Weihnachtsteller aufgefunden.'] Label: [['Der Klassiker aber sind die Vanillekipferl.']] Sacrebleu: {'score': 3.9164496650022476, 'counts': [4, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [17.391304347826086, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2857142857142856, 'translation_length': 23, 'reference_length': 7} Rouge: {'rouge1': 0.32, 'rouge2': 0.08695652173913045, 'rougeL': 0.23999999999999996, 'rougeLsum': 0.23999999999999996} Sari: {'sari': 44.25925925925926} Flesh Reading Ease: 27.45 ---------------------------------------- Source: ['Jeder Deutsche kennt den ausschließlich an Silvester im deutschen Fernsehen seit 1963 ausgestrahlten Sketch „Dinner for one“:'] Prediction: ['Ein ausschließlich an Silvester im deutschen Fernsehen ist seit 1963 ausgestrahlten Sketch des deutschen Silvesters.\nDer Deutsche kennt den ausschließlich an Silvester seit 1963 ausgestrahlten Sketch "Dinner for one“.'] Label: [['Jeder Deutsche kennt den Silvester-Sketch im deutschen Fernsehen „Dinner for one“:']] Sacrebleu: {'score': 8.25101291002796, 'counts': [8, 5, 2, 0], 'totals': [32, 31, 30, 29], 'precisions': [25.0, 16.129032258064516, 6.666666666666667, 1.7241379310344827], 'bp': 1.0, 'sys_len': 32, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.16129032258064516, 0.06666666666666667, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 32, 'reference_length': 12} Rouge: {'rouge1': 0.5116279069767442, 'rouge2': 0.29268292682926833, 'rougeL': 0.37209302325581395, 'rougeLsum': 0.5116279069767442} Sari: {'sari': 26.021062271062274} Flesh Reading Ease: 60.2 ---------------------------------------- Source: ['Wenn man sich um Mitternacht zuprostet, heißt es „Prost Neujahr“.'] Prediction: ['Die Schweiz verliert am Sonntag eine neue Woche, um die Schweiz zu kämpfen.\nDie Schweiz ist nicht nur einmal, sondern auch einige Täter.\nDie Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer'] Label: [['Wenn man um Mitternacht mit Sekt anstößt, heißt es „Prost Neujahr“.']] Sacrebleu: {'score': 0.20726423153450854, 'counts': [3, 0, 0, 0], 'totals': [226, 225, 224, 223], 'precisions': [1.3274336283185841, 0.2222222222222222, 0.11160714285714286, 0.05605381165919283], 'bp': 1.0, 'sys_len': 226, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.01327433628318584, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 17.384615384615383, 'translation_length': 226, 'reference_length': 13} Rouge: {'rouge1': 0.01687763713080169, 'rouge2': 0.0, 'rougeL': 0.01687763713080169, 'rougeLsum': 0.01687763713080169} Sari: {'sari': 19.283864283864283} Flesh Reading Ease: -5.16 ---------------------------------------- Source: ['Berlin, so hat eine Umfrage von Bitkom, dem Digitalverband Deutschlands ergeben, hat unter den deutschen Städten einen sehr guten Ruf unter den Unternehmensgründern.'] Prediction: ['Der deutsche Digitalverband Bitkom hat eine Umfrage von einem deutschen Städten zu einem sehr guten Ruf unter den Unternehmensgründern.\nDie deutsche Städte haben einen sehr guten Ruf unter den Unternehmensgründern.'] Label: [['Berlin, so zeigte eine Umfrage von Bitkom, dem Digitalverband Deutschlands, hat unter den deutschen Städten einen sehr guten Ruf unter den Unternehmensgründern.']] Sacrebleu: {'score': 29.934746000309225, 'counts': [18, 11, 7, 5], 'totals': [32, 31, 30, 29], 'precisions': [56.25, 35.483870967741936, 23.333333333333332, 17.24137931034483], 'bp': 1.0, 'sys_len': 32, 'ref_len': 26} Bleu: {'bleu': 0.2993474600030921, 'precisions': [0.5625, 0.3548387096774194, 0.23333333333333334, 0.1724137931034483], 'brevity_penalty': 1.0, 'length_ratio': 1.2307692307692308, 'translation_length': 32, 'reference_length': 26} Rouge: {'rouge1': 0.6551724137931034, 'rouge2': 0.42857142857142855, 'rougeL': 0.4827586206896552, 'rougeLsum': 0.4827586206896552} Sari: {'sari': 29.129866323355873} Flesh Reading Ease: 48.0 ---------------------------------------- Source: ['Etwa 73 Prozent aller Gründer sagen, dass die Hauptstadt der beste Ort ist für ein Start-up.'] Prediction: ['Ein Start-Up zeigt, dass die Hauptstadt der beste Ort ist für ein Start-Up.\n73 Prozent aller Gründer sagen, dass die Hauptstadt der beste Ort ist für ein Start-up.'] Label: [['Etwa 73 Prozent aller Gründer sagen, dass die Hauptstadt der beste Ort für ein Start-up ist.']] Sacrebleu: {'score': 39.90241084168328, 'counts': [17, 13, 11, 9], 'totals': [32, 31, 30, 29], 'precisions': [53.125, 41.935483870967744, 36.666666666666664, 31.03448275862069], 'bp': 1.0, 'sys_len': 32, 'ref_len': 18} Bleu: {'bleu': 0.3990241084168327, 'precisions': [0.53125, 0.41935483870967744, 0.36666666666666664, 0.3103448275862069], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 32, 'reference_length': 18} Rouge: {'rouge1': 0.679245283018868, 'rouge2': 0.5882352941176471, 'rougeL': 0.6415094339622641, 'rougeLsum': 0.6415094339622641} Sari: {'sari': 28.35758377425044} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['Die gute Infrastruktur und im Vergleich zu anderen Großstädten niedrige Mieten und Lebenshaltungskosten machen die Stadt attraktiv.„Outfittery“, ein Portal, das Mode für Männer anbietet, hat inzwischen 200.000 Kunden.'] Prediction: ['Die Stadt Zürich hat ein neues Mode für Männer anbietet.\nDie gute Infrastruktur und im Vergleich zu anderen Großstädten machen die Stadt attraktiv.\nDie Stadt hat inzwischen 200.000 Kunden angebaut.'] Label: [['Die gute Infrastruktur und im Vergleich zu anderen Großstädten niedrige Mieten und Lebenshaltungskosten machen die Stadt attraktiv.\n„Outfittery“ ist ein Portal für Männermode.\nEs hat inzwischen 200.000 Kunden.']] Sacrebleu: {'score': 43.646327508770526, 'counts': [22, 15, 12, 9], 'totals': [33, 32, 31, 30], 'precisions': [66.66666666666667, 46.875, 38.70967741935484, 30.0], 'bp': 1.0, 'sys_len': 33, 'ref_len': 31} Bleu: {'bleu': 0.43646327508770516, 'precisions': [0.6666666666666666, 0.46875, 0.3870967741935484, 0.3], 'brevity_penalty': 1.0, 'length_ratio': 1.064516129032258, 'translation_length': 33, 'reference_length': 31} Rouge: {'rouge1': 0.6956521739130435, 'rouge2': 0.5671641791044776, 'rougeL': 0.5797101449275361, 'rougeLsum': 0.6956521739130435} Sari: {'sari': 39.52132620819852} Flesh Reading Ease: 67.2 ---------------------------------------- Source: ['Männer suchen sich ihre Sachen hier nicht einfach aus, sondern bekommen eine Stilberatung und anschließend ein Paket mit einem kompletten Outfit und mehreren Kombinationen zugestellt.'] Prediction: ['Männer suchen sich ihre Sachen hier nicht einfach aus, sondern bekommen eine Stilberatung und ein Paket mit einem kompletten Outfit.\nDie Männer suchen sich ihre Sachen hier nicht einfach aus, sondern bekommen eine Stilberatung und anschließend ein Paket mit einem kompletten Outfit und mehreren Kombinationen zugestellt.'] Label: [['Männer suchen sich ihre Sachen hier nicht einfach aus, sondern bekommen eine Beratung.\nEin Paket mit einem kompletten Outfit und mehreren Kombinationen wird nach Hause geliefert.']] Sacrebleu: {'score': 37.68158041916722, 'counts': [23, 19, 17, 15], 'totals': [50, 49, 48, 47], 'precisions': [46.0, 38.775510204081634, 35.416666666666664, 31.914893617021278], 'bp': 1.0, 'sys_len': 50, 'ref_len': 29} Bleu: {'bleu': 0.3768158041916722, 'precisions': [0.46, 0.3877551020408163, 0.3541666666666667, 0.3191489361702128], 'brevity_penalty': 1.0, 'length_ratio': 1.7241379310344827, 'translation_length': 50, 'reference_length': 29} Rouge: {'rouge1': 0.5789473684210527, 'rouge2': 0.5405405405405406, 'rougeL': 0.5789473684210527, 'rougeLsum': 0.5789473684210527} Sari: {'sari': 61.95507976052731} Flesh Reading Ease: 40.0 ---------------------------------------- Source: ['Kaufen müssen sie nur, was gefällt.'] Prediction: ['Eine Frau muss sich nur nur, was gefällt.\nDie Frau muss sich nur nur, was gefällt.'] Label: [['Gekauft werden muss nur das, was einem gefällt.']] Sacrebleu: {'score': 5.993031480537873, 'counts': [6, 2, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [30.0, 10.526315789473685, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.3, 0.10526315789473684, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 20, 'reference_length': 10} Rouge: {'rouge1': 0.3703703703703704, 'rouge2': 0.07999999999999999, 'rougeL': 0.3703703703703704, 'rougeLsum': 0.3703703703703704} Sari: {'sari': 48.888888888888886} Flesh Reading Ease: 101.8 ---------------------------------------- Source: ['Dies sind die zentralen Ergebnisse einer Studie von McKinsey & Company mit dem Titel "Berlin gründet – Fünf Initiativen für die Start-up-Metropole Europas".Berlin hat ein großes Interesse daran, dass sich Unternehmensgründer hier ansiedeln – denn das bringt Steuereinnahmen und zieht Menschen an.'] Prediction: ['Eine Studie von McKinsey & Company hat ein großes Interesse daran, dass sich Unternehmensgründer hier ansiedeln, denn das bringt Steuereinnahmen und zieht Menschen an.\nDas bringt Steuereinnahmen und zieht Menschen an.'] Label: [['Berlin hat ein großes Interesse daran, dass sich Unternehmensgründer hier ansiedeln.']] Sacrebleu: {'score': 28.795572389417316, 'counts': [12, 10, 9, 8], 'totals': [35, 34, 33, 32], 'precisions': [34.285714285714285, 29.41176470588235, 27.272727272727273, 25.0], 'bp': 1.0, 'sys_len': 35, 'ref_len': 13} Bleu: {'bleu': 0.28795572389417323, 'precisions': [0.34285714285714286, 0.29411764705882354, 0.2727272727272727, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 2.6923076923076925, 'translation_length': 35, 'reference_length': 13} Rouge: {'rouge1': 0.5333333333333333, 'rouge2': 0.5116279069767442, 'rougeL': 0.5333333333333333, 'rougeLsum': 0.5333333333333333} Sari: {'sari': 52.84556883880206} Flesh Reading Ease: 53.85 ---------------------------------------- Source: ['Gründer bekommen Unterstützung und Förderung seitens der Stadt, etwa über Initiativen wie „Gründen und Fördern“.'] Prediction: ['Die Stadt Gründer bekommen Unterstützung und Förderung seitens der Stadt.\nGründer bekommen Unterstützung und Förderung seitens der Stadt.'] Label: [['Gründer bekommen Unterstützung und Förderung von der Stadt, etwa über Initiativen wie „Gründen und Fördern“.']] Sacrebleu: {'score': 21.951524426618455, 'counts': [9, 5, 3, 2], 'totals': [20, 19, 18, 17], 'precisions': [45.0, 26.31578947368421, 16.666666666666668, 11.764705882352942], 'bp': 1.0, 'sys_len': 20, 'ref_len': 17} Bleu: {'bleu': 0.21951524426618454, 'precisions': [0.45, 0.2631578947368421, 0.16666666666666666, 0.11764705882352941], 'brevity_penalty': 1.0, 'length_ratio': 1.1764705882352942, 'translation_length': 20, 'reference_length': 17} Rouge: {'rouge1': 0.5909090909090908, 'rouge2': 0.42857142857142855, 'rougeL': 0.5909090909090908, 'rougeLsum': 0.45454545454545453} Sari: {'sari': 15.635806688438267} Flesh Reading Ease: 54.0 ---------------------------------------- Source: ['213 Kilo Verpackungsmüll kommen auf jeden einzelnen Deutschen.'] Prediction: ['Das Coronavirus hat eine Million Franken in den USA verkauft.\nDie Verpackungsmüllen kommen auf jeden einzelnen Deutschen.\nDie Verpackungsmüllen kommen auf jeden einzelnen Deutschen.'] Label: [['213 Kilo Verpackungsmüll erzeugt jeder einzelne Deutsche.']] Sacrebleu: {'score': 1.387819277861591, 'counts': [1, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [3.7037037037037037, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.037037037037037035, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.375, 'translation_length': 27, 'reference_length': 8} Rouge: {'rouge1': 0.058823529411764705, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.058823529411764705} Sari: {'sari': 18.333333333333336} Flesh Reading Ease: 49.15 ---------------------------------------- Source: ['Hier werden Leichtverpackungen von privaten Verbrauchern gesammelt, sortiert und wiederverwertet.'] Prediction: ['Der Bundesrat will die Verpackungen von privaten Verbrauchern wiederverwertet werden.\nDer Bund hatte sich mit einem grossen Verbot aufgefordert, dass privaten Verbrauchern gesammelt werden können.\nDie Verpackungen werden sortiert und wiederverwertet.'] Label: [['Hier werden Leichtverpackungen gesammelt, sortiert und wiederverwertet.']] Sacrebleu: {'score': 7.603430887294236, 'counts': [7, 3, 2, 1], 'totals': [35, 34, 33, 32], 'precisions': [20.0, 8.823529411764707, 6.0606060606060606, 3.125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 9} Bleu: {'bleu': 0.07603430887294237, 'precisions': [0.2, 0.08823529411764706, 0.06060606060606061, 0.03125], 'brevity_penalty': 1.0, 'length_ratio': 3.888888888888889, 'translation_length': 35, 'reference_length': 9} Rouge: {'rouge1': 0.25641025641025644, 'rouge2': 0.1081081081081081, 'rougeL': 0.25641025641025644, 'rougeLsum': 0.20512820512820512} Sari: {'sari': 29.940208427050536} Flesh Reading Ease: 41.0 ---------------------------------------- Source: ['Schon 1991 hat die deutsche Bundesregierung die Verpackungsverordnung erlassen. Danach sind die Hersteller zur Rücknahme ihrer Verpackungen verpflichtet.'] Prediction: ['Die deutsche Bundesregierung hat die Verpackungsverordnung erlassen.\nDanach sind die Hersteller zur Rücknahme ihrer Verpackungen verpflichtet.'] Label: [['Schon im Jahr 1991 ist die Verpackungsverordnung entstanden.\nDanach müssen die Hersteller ihre Verpackungen zurücknehmen.']] Sacrebleu: {'score': 7.994607499472017, 'counts': [8, 3, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [44.44444444444444, 17.647058823529413, 3.125, 1.6666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.4444444444444444, 0.17647058823529413, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0588235294117647, 'translation_length': 18, 'reference_length': 17} Rouge: {'rouge1': 0.4117647058823529, 'rouge2': 0.125, 'rougeL': 0.35294117647058826, 'rougeLsum': 0.35294117647058826} Sari: {'sari': 31.90830850711685} Flesh Reading Ease: 25.75 ---------------------------------------- Source: ['Integration ist das Wort, das im Zusammenhang mit dem Thema Flüchtlinge die wichtigste Bedeutung hat.'] Prediction: ['Die wichtigste Bedeutung des Thema Flüchtlinge hat ein Wort, das im Zusammenhang mit dem Thema Flüchtlinge die wichtigste Bedeutung hat.\nDie wichtigste Bedeutung hat das Wort, das mit dem Thema Flüchtlinge die wichtigste Bedeutung hat.'] Label: [['Integration hat im Zusammenhang mit dem Thema Flüchtlinge eine große Bedeutung.']] Sacrebleu: {'score': 12.860573412265818, 'counts': [9, 5, 4, 3], 'totals': [39, 38, 37, 36], 'precisions': [23.076923076923077, 13.157894736842104, 10.81081081081081, 8.333333333333334], 'bp': 1.0, 'sys_len': 39, 'ref_len': 12} Bleu: {'bleu': 0.1286057341226582, 'precisions': [0.23076923076923078, 0.13157894736842105, 0.10810810810810811, 0.08333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 3.25, 'translation_length': 39, 'reference_length': 12} Rouge: {'rouge1': 0.35294117647058826, 'rouge2': 0.2448979591836735, 'rougeL': 0.35294117647058826, 'rougeLsum': 0.35294117647058826} Sari: {'sari': 47.05753353973168} Flesh Reading Ease: 57.2 ---------------------------------------- Source: ['Wie kommt man in einem fremden Land an einer fremden Universität zurecht? Denn ohne Deutschkenntnisse und Wissen, wie was warum funktioniert, wird es mit der Integration schwierig.'] Prediction: ['In einem fremden Land kommt man in einer fremden Universität zurecht.\nDenn ohne Deutschkenntnisse und Wissen, wie was warum funktioniert, wird es mit der Integration schwierig.'] Label: [['Wie kommt man in einem fremden Land an einer fremden Universität zurecht?\nDenn ohne Deutschkenntnisse und Wissen, wie was warum funktioniert, wird Integration schwierig.']] Sacrebleu: {'score': 58.11055908327919, 'counts': [25, 20, 15, 10], 'totals': [30, 29, 28, 27], 'precisions': [83.33333333333333, 68.96551724137932, 53.57142857142857, 37.03703703703704], 'bp': 1.0, 'sys_len': 30, 'ref_len': 28} Bleu: {'bleu': 0.5811055908327919, 'precisions': [0.8333333333333334, 0.6896551724137931, 0.5357142857142857, 0.37037037037037035], 'brevity_penalty': 1.0, 'length_ratio': 1.0714285714285714, 'translation_length': 30, 'reference_length': 28} Rouge: {'rouge1': 0.8846153846153846, 'rouge2': 0.8, 'rougeL': 0.8076923076923077, 'rougeLsum': 0.8076923076923077} Sari: {'sari': 33.22883535902901} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Das trifft natürlich auf alle ausländischen Studierenden zu, in besonderem Maße aber auf Flüchtlinge.'] Prediction: ['Ein ausländischer Studierende trifft auf Maße auf Flüchtlinge.\nDas trifft natürlich auf alle ausländischen Studierenden zu, in besonderem Maße aber auf Flüchtlinge.'] Label: [['Das trifft natürlich auf alle ausländischen Studierenden zu, besonders aber auf Flüchtlinge.']] Sacrebleu: {'score': 41.50435842556837, 'counts': [13, 11, 9, 7], 'totals': [25, 24, 23, 22], 'precisions': [52.0, 45.833333333333336, 39.130434782608695, 31.818181818181817], 'bp': 1.0, 'sys_len': 25, 'ref_len': 14} Bleu: {'bleu': 0.4150435842556835, 'precisions': [0.52, 0.4583333333333333, 0.391304347826087, 0.3181818181818182], 'brevity_penalty': 1.0, 'length_ratio': 1.7857142857142858, 'translation_length': 25, 'reference_length': 14} Rouge: {'rouge1': 0.6363636363636364, 'rouge2': 0.5714285714285714, 'rougeL': 0.6363636363636364, 'rougeLsum': 0.6363636363636364} Sari: {'sari': 60.14709525579091} Flesh Reading Ease: 46.15 ---------------------------------------- Source: ['An der Universität zu Köln unterstützen internationale Medizinstudierende der Association of International Students (AIMS) andere internationale Studierende.'] Prediction: ['Die Universität zu Köln unterstützen internationale Medizinstudierende der Association of International Students (AIMS) andere internationale Studierende.\nDie Studierende unterstützen internationale Studierende.'] Label: [['An der Universität zu Köln unterstützen internationale Medizinstudenten von der Association of International Students (AIMS) andere internationale Studierende.']] Sacrebleu: {'score': 58.869942641609505, 'counts': [17, 15, 13, 11], 'totals': [25, 24, 23, 22], 'precisions': [68.0, 62.5, 56.52173913043478, 50.0], 'bp': 1.0, 'sys_len': 25, 'ref_len': 21} Bleu: {'bleu': 0.5886994264160949, 'precisions': [0.68, 0.625, 0.5652173913043478, 0.5], 'brevity_penalty': 1.0, 'length_ratio': 1.1904761904761905, 'translation_length': 25, 'reference_length': 21} Rouge: {'rouge1': 0.7391304347826089, 'rouge2': 0.6818181818181818, 'rougeL': 0.7391304347826089, 'rougeLsum': 0.7391304347826089} Sari: {'sari': 28.534551774253735} Flesh Reading Ease: -41.11 ---------------------------------------- Source: ['Und das bedeutet vor allem: Sie unterstützen im Alltag, begleiten sie beim Studium.'] Prediction: ['Die Schweizer Nationalmannschaft unterstützen im Alltag im Alltag.\nSie unterstützen im Alltag, begleiten sie beim Studium.\nDie Schweizer Nationalmannschaft hatte sich mit dem Alltag unterstützt.'] Label: [['Und das bedeutet vor allem: Sie bieten Unterstützung im Alltag und beim Studium.']] Sacrebleu: {'score': 6.3035810609221015, 'counts': [6, 3, 1, 0], 'totals': [29, 28, 27, 26], 'precisions': [20.689655172413794, 10.714285714285714, 3.7037037037037037, 1.9230769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.20689655172413793, 0.10714285714285714, 0.037037037037037035, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9333333333333333, 'translation_length': 29, 'reference_length': 15} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.1, 'rougeL': 0.2857142857142857, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 12.718253968253968} Flesh Reading Ease: 43.0 ---------------------------------------- Source: ['Die Friedrich-Ebert-Stiftung hat ausgerechnet, dass bis zu 50.000 studierwillige Flüchtlinge an die deutschen Universitäten kommen.'] Prediction: ['Die Friedrich-Ebert-Stiftung hat ausgerechnet, dass bis zu 50.000 studierwillige Flüchtlinge an die deutschen Universitäten kommen.\nBis zu 50.000 studierwillige Flüchtlinge kommen an die deutschen Universitäten.'] Label: [['Die Friedrich-Ebert-Stiftung hat ausgerechnet, dass bis zu 50.000 Flüchtlinge an die deutschen Universitäten kommen.']] Sacrebleu: {'score': 48.361362520288296, 'counts': [16, 14, 12, 10], 'totals': [28, 27, 26, 25], 'precisions': [57.142857142857146, 51.851851851851855, 46.15384615384615, 40.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 16} Bleu: {'bleu': 0.4836136252028828, 'precisions': [0.5714285714285714, 0.5185185185185185, 0.46153846153846156, 0.4], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 28, 'reference_length': 16} Rouge: {'rouge1': 0.7307692307692308, 'rouge2': 0.6799999999999999, 'rougeL': 0.7307692307692308, 'rougeLsum': 0.7307692307692308} Sari: {'sari': 71.86081242532856} Flesh Reading Ease: 39.15 ---------------------------------------- Source: ['Da viele Flüchtlinge nicht immer alle Papiere haben, wird es schon bald nach Angaben der Kultusministerkonferenz ein „dreistufiges Verfahren zur Studierfähigkeit" geben.'] Prediction: ['Viele Flüchtlinge haben nicht immer alle Papiere haben, wird es schon bald nach Angaben der Kultusministerkonferenz ein "dreistufiges Verfahren zur Studierfähigkeit" geben.\nDie Flüchtlinge haben nicht immer alle Papiere haben, wird es schon bald bald nach Angaben der Kultusministerkonferenz ein "dreistufiges Verfahren zur Studierfähigkeit" geben.'] Label: [['Da viele Flüchtlinge nicht immer alle Papiere haben, wird es schon bald ein „dreistufiges Verfahren zur Studierfähigkeit" geben.']] Sacrebleu: {'score': 25.61182927951596, 'counts': [18, 14, 12, 10], 'totals': [53, 52, 51, 50], 'precisions': [33.9622641509434, 26.923076923076923, 23.529411764705884, 20.0], 'bp': 1.0, 'sys_len': 53, 'ref_len': 21} Bleu: {'bleu': 0.25611829279515963, 'precisions': [0.33962264150943394, 0.2692307692307692, 0.23529411764705882, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 2.5238095238095237, 'translation_length': 53, 'reference_length': 21} Rouge: {'rouge1': 0.5507246376811594, 'rouge2': 0.4776119402985075, 'rougeL': 0.5507246376811594, 'rougeLsum': 0.5507246376811594} Sari: {'sari': 28.814975873799405} Flesh Reading Ease: 28.8 ---------------------------------------- Source: ['Köln entwickelte sich im 2. und 3. Jahrhundert nach Christus zu einer der bedeutendsten Städte des römischen Reiches und lockte Händler und Handwerker von weit her an.'] Prediction: ['Köln entwickelte sich im 2. und 3.\nJahrhundert nach Christus zu einer bedeutendsten Städte des römischen Reiches.\nIm Februar 2020 entwickelte sich eine der bedeutendsten Städte des römischen Reiches.'] Label: [['Die Stadt entwickelte sich im 2. und 3.\nJahrhundert nach Christus zu einer der bedeutendsten Städte des römischen Reiches.\nSie lockte Händler und Handwerker aus allen Ländern an.']] Sacrebleu: {'score': 54.18739057997505, 'counts': [21, 18, 16, 14], 'totals': [33, 32, 31, 30], 'precisions': [63.63636363636363, 56.25, 51.61290322580645, 46.666666666666664], 'bp': 1.0, 'sys_len': 33, 'ref_len': 32} Bleu: {'bleu': 0.5418739057997506, 'precisions': [0.6363636363636364, 0.5625, 0.5161290322580645, 0.4666666666666667], 'brevity_penalty': 1.0, 'length_ratio': 1.03125, 'translation_length': 33, 'reference_length': 32} Rouge: {'rouge1': 0.5757575757575757, 'rouge2': 0.53125, 'rougeL': 0.5757575757575757, 'rougeLsum': 0.5757575757575757} Sari: {'sari': 49.844228902015075} Flesh Reading Ease: 59.15 ---------------------------------------- Source: ['Typisch heute für Köln: Sobald eine Baustelle entsteht, finden sich in den Tiefen der Erde Reste von Römerbauwerken.'] Prediction: ['Die Kölner Römerbauwerken sind eine Baustelle.\nSobald eine Baustelle entsteht, finden sich in den Tiefen der Erde Reste von Römerbauwerken.'] Label: [['Noch immer finden sich in den Tiefen der Erde Reste von Römerbauwerken.']] Sacrebleu: {'score': 43.937095446369234, 'counts': [11, 10, 9, 8], 'totals': [23, 22, 21, 20], 'precisions': [47.82608695652174, 45.45454545454545, 42.857142857142854, 40.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 13} Bleu: {'bleu': 0.43937095446369245, 'precisions': [0.4782608695652174, 0.45454545454545453, 0.42857142857142855, 0.4], 'brevity_penalty': 1.0, 'length_ratio': 1.7692307692307692, 'translation_length': 23, 'reference_length': 13} Rouge: {'rouge1': 0.6111111111111112, 'rouge2': 0.5882352941176471, 'rougeL': 0.6111111111111112, 'rougeLsum': 0.6111111111111112} Sari: {'sari': 59.66106893643125} Flesh Reading Ease: 47.15 ---------------------------------------- Source: ['Seine lange Geschichte begann schon im Jahr 800, das erste Kirchengebäude war eine wichtige Wallfahrtskirche. 1238 wurde der Grundstein des gotischen Baus gelegt, offiziell fertig war er dann 1880 – gebaut wird am Dom aber bis heute.'] Prediction: ['Das erste Kirchengebäude in Wallon BL wurde im Jahr 800 durchgeführt.\nSeine lange Geschichte begann schon im Jahr 800, das erste Kirchengebäude war eine wichtige Wallfahrtskirche.\nDer Grundstein des gotischen Baus wurde dann 1880 fertig.'] Label: [['Seine lange Geschichte begann schon im Jahr 800.\n1238 wurde der Grundstein des gotischen Baus gelegt, offiziell fertig war er dann 1880.\nGebaut wird am Dom aber bis heute.']] Sacrebleu: {'score': 27.376328102137563, 'counts': [21, 11, 8, 6], 'totals': [39, 38, 37, 36], 'precisions': [53.84615384615385, 28.94736842105263, 21.62162162162162, 16.666666666666668], 'bp': 1.0, 'sys_len': 39, 'ref_len': 33} Bleu: {'bleu': 0.27376328102137565, 'precisions': [0.5384615384615384, 0.2894736842105263, 0.21621621621621623, 0.16666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 1.1818181818181819, 'translation_length': 39, 'reference_length': 33} Rouge: {'rouge1': 0.5373134328358208, 'rouge2': 0.3692307692307692, 'rougeL': 0.44776119402985076, 'rougeLsum': 0.5074626865671642} Sari: {'sari': 21.635196081100048} Flesh Reading Ease: 57.15 ---------------------------------------- Source: ['Vom „Triangle, ein 103,20 Meter hohes Gebäude, hat man einen tollen Rundblick.'] Prediction: ['Ein 103,20 Meter hohes Gebäude hat man einen tollen Rundblick.\nDie Runde hat man einen tollen Rundblick.'] Label: [['Vom „Triangle", ein 103,20 Meter hohes Gebäude, hat man einen tollen Rundblick über die ganze Stadt.']] Sacrebleu: {'score': 30.923665575160804, 'counts': [10, 7, 5, 3], 'totals': [19, 18, 17, 16], 'precisions': [52.63157894736842, 38.888888888888886, 29.41176470588235, 18.75], 'bp': 0.9487294800164372, 'sys_len': 19, 'ref_len': 20} Bleu: {'bleu': 0.309236655751608, 'precisions': [0.5263157894736842, 0.3888888888888889, 0.29411764705882354, 0.1875], 'brevity_penalty': 0.9487294800164372, 'length_ratio': 0.95, 'translation_length': 19, 'reference_length': 20} Rouge: {'rouge1': 0.7027027027027027, 'rouge2': 0.6285714285714287, 'rougeL': 0.7027027027027027, 'rougeLsum': 0.6486486486486486} Sari: {'sari': 33.25109530991883} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['Allein der Rosenmontagsumzug ist 7,5 Kilometer lang und dauert rund fünf Stunden.'] Prediction: ['Der Rosenmontagsumzug ist 7,5 Kilometer lang und dauert rund fünf Stunden.\nAllein der Rosenmontagsumzug ist 7,5 Kilometer lang und dauert rund fünf Stunden.'] Label: [['Allein der Rosenmontagsumzug an Karneval ist 7,5 Kilometer lang und dauert rund fünf Stunden.']] Sacrebleu: {'score': 41.50435842556837, 'counts': [13, 11, 9, 7], 'totals': [25, 24, 23, 22], 'precisions': [52.0, 45.833333333333336, 39.130434782608695, 31.818181818181817], 'bp': 1.0, 'sys_len': 25, 'ref_len': 15} Bleu: {'bleu': 0.4150435842556835, 'precisions': [0.52, 0.4583333333333333, 0.391304347826087, 0.3181818181818182], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 25, 'reference_length': 15} Rouge: {'rouge1': 0.6511627906976744, 'rouge2': 0.5853658536585367, 'rougeL': 0.6511627906976744, 'rougeLsum': 0.6511627906976744} Sari: {'sari': 64.00042625745951} Flesh Reading Ease: 57.35 ---------------------------------------- Source: ['In den Kneipen allerdings fließen rund 30 Millionen Liter Kölsch nur an Karneval durch die Kehlen der Karnevalisten.'] Prediction: ['In den Kneipen allerdings fließen 30 Millionen Liter Kölsch nur an Karneval durch die Kehlen der Karnevalisten.\nDie Kneipen fliegen 30 Millionen Liter Kölsch nur an Karneval durch die Kehlen der Karnevalisten.'] Label: [['In den Kneipen werden rund 30 Millionen Liter Kölsch nur an Karneval verbraucht.']] Sacrebleu: {'score': 20.871196464722193, 'counts': [11, 8, 6, 4], 'totals': [34, 33, 32, 31], 'precisions': [32.35294117647059, 24.242424242424242, 18.75, 12.903225806451612], 'bp': 1.0, 'sys_len': 34, 'ref_len': 14} Bleu: {'bleu': 0.20871196464722191, 'precisions': [0.3235294117647059, 0.24242424242424243, 0.1875, 0.12903225806451613], 'brevity_penalty': 1.0, 'length_ratio': 2.4285714285714284, 'translation_length': 34, 'reference_length': 14} Rouge: {'rouge1': 0.44897959183673464, 'rouge2': 0.3829787234042553, 'rougeL': 0.44897959183673464, 'rougeLsum': 0.44897959183673464} Sari: {'sari': 36.100140056022404} Flesh Reading Ease: 52.85 ---------------------------------------- Source: ['Die Hänge an den deutschen Flüssen wie Rhein, Mosel, Saar, Ahr, Nahe und in den Regionen Rheinhessen, Rheingau, Mittelrhein, Baden, Pfalz, Saale-Unstrut und Sachsen liegen etwa um den 50. Breitengrad oder weiter südlich und sind damit bis auf ganz wenige Ausnahmen die nördlichste Weinbauregion der Welt.'] Prediction: ['Die Hänge an den deutschen Flüssen wie Rhein, Mosel, Saar, Ahr, Nahe und in den Regionen Rheinhessen, Rheingau, Mittelrhein, Baden, Pfalz, Saale-Unstrut und Sachsen sind bis auf ganz wenige Ausnahmen die nördlichste Weinbauregion der Welt.\nDie Hänge an den Flüssen wie Rhein, Mosel, Saar, Ahr, Nahe und in den Regionen Rheinhessen, Rheingau, Mittelrhein, Baden, Mittelrhein, Baden, Pfalz, Saale-Unstrut und Sachsen liegen etwa um den 50.\nBreitengrad oder weiter südlich.'] Label: [['Die Hänge an den deutschen Flüssen wie Rhein, Mosel, Saar, Ahr und in den Regionen Rheinhessen, Rheingau, Mittelrhein, Baden und Sachsen liegen etwa auf dem 50.\nBreitengrad oder weiter südlich.']] Sacrebleu: {'score': 33.00386560239794, 'counts': [37, 32, 28, 24], 'totals': [92, 91, 90, 89], 'precisions': [40.21739130434783, 35.16483516483517, 31.11111111111111, 26.96629213483146], 'bp': 1.0, 'sys_len': 92, 'ref_len': 38} Bleu: {'bleu': 0.33003865602397936, 'precisions': [0.40217391304347827, 0.3516483516483517, 0.3111111111111111, 0.2696629213483146], 'brevity_penalty': 1.0, 'length_ratio': 2.4210526315789473, 'translation_length': 92, 'reference_length': 38} Rouge: {'rouge1': 0.5818181818181818, 'rouge2': 0.5, 'rougeL': 0.5636363636363637, 'rougeLsum': 0.5818181818181818} Sari: {'sari': 60.50391813711421} Flesh Reading Ease: 51.7 ---------------------------------------- Source: ['Was sie hier bekommen: besonders geschützte Stellen in Flussnähe.'] Prediction: ['Die Stellen in Flussnähe sind besonders geschützt.\nSie waren besonders geschützte Stellen in Flussnähe.'] Label: [['Was die Trauben hier bekommen: besonders geschützte Stellen in Flussnähe.']] Sacrebleu: {'score': 30.130404892785695, 'counts': [6, 5, 4, 3], 'totals': [16, 15, 14, 13], 'precisions': [37.5, 33.333333333333336, 28.571428571428573, 23.076923076923077], 'bp': 1.0, 'sys_len': 16, 'ref_len': 12} Bleu: {'bleu': 0.30130404892785684, 'precisions': [0.375, 0.3333333333333333, 0.2857142857142857, 0.23076923076923078], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 16, 'reference_length': 12} Rouge: {'rouge1': 0.5333333333333333, 'rouge2': 0.42857142857142855, 'rougeL': 0.5333333333333333, 'rougeLsum': 0.5333333333333333} Sari: {'sari': 36.68654874537227} Flesh Reading Ease: 56.0 ---------------------------------------- Source: ['Sie sind teilweise steil nach Süden oder Westen, also optimal zur Sonneneinstrahlung ausgerichtet.'] Prediction: ['Die Sonneneinstrahlung ist teilweise nach Süden oder Westen teilweise ausgerichtet.\nDas ist optimal zur Sonneneinstrahlung.'] Label: [['Sie liegen teilweise steil nach Süden oder Westen, also optimal zur Sonneneinstrahlung.']] Sacrebleu: {'score': 29.48993986902436, 'counts': [9, 6, 4, 2], 'totals': [17, 16, 15, 14], 'precisions': [52.94117647058823, 37.5, 26.666666666666668, 14.285714285714286], 'bp': 1.0, 'sys_len': 17, 'ref_len': 14} Bleu: {'bleu': 0.2948993986902436, 'precisions': [0.5294117647058824, 0.375, 0.26666666666666666, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 1.2142857142857142, 'translation_length': 17, 'reference_length': 14} Rouge: {'rouge1': 0.6206896551724138, 'rouge2': 0.4444444444444445, 'rougeL': 0.6206896551724138, 'rougeLsum': 0.6206896551724138} Sari: {'sari': 32.33872307241872} Flesh Reading Ease: 37.95 ---------------------------------------- Source: ['Die Böden speichern im Laufe des Tages Wärme, die sie auch noch weit nach Sonnenuntergang abgeben.'] Prediction: ['Die Böden speichern im Laufe des Tages Wärme, die sie auch noch nach Sonnenuntergang abgeben.\nDie Böden speichern im Laufe des Tages Wärme, die sie auch noch weit nach Sonnenuntergang abgeben.'] Label: [['Die Böden speichern im Laufe des Tages Wärme, die sie lange nachdem die Sonne untergegangen ist wieder abgeben.']] Sacrebleu: {'score': 30.648595997659086, 'counts': [14, 11, 9, 8], 'totals': [35, 34, 33, 32], 'precisions': [40.0, 32.35294117647059, 27.272727272727273, 25.0], 'bp': 1.0, 'sys_len': 35, 'ref_len': 20} Bleu: {'bleu': 0.3064859599765908, 'precisions': [0.4, 0.3235294117647059, 0.2727272727272727, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 35, 'reference_length': 20} Rouge: {'rouge1': 0.509090909090909, 'rouge2': 0.4150943396226416, 'rougeL': 0.509090909090909, 'rougeLsum': 0.4727272727272728} Sari: {'sari': 58.574605554365675} Flesh Reading Ease: 65.05 ---------------------------------------- Source: ['Deutschland hat eine sehr unterschiedliche Bodenstruktur je nach Region.'] Prediction: ['Deutschland hat eine sehr unterschiedliche Bodenstruktur je nach Region.\nDie Unterschiedlichen Bodenstruktur ist in Deutschland unterschiedlich gestartet.'] Label: [['Deutschland hat sehr unterschiedliche Böden.']] Sacrebleu: {'score': 6.054506513220935, 'counts': [5, 2, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [26.31578947368421, 11.11111111111111, 2.9411764705882355, 1.5625], 'bp': 1.0, 'sys_len': 19, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.2631578947368421, 0.1111111111111111, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1666666666666665, 'translation_length': 19, 'reference_length': 6} Rouge: {'rouge1': 0.3478260869565218, 'rouge2': 0.19047619047619047, 'rougeL': 0.3478260869565218, 'rougeLsum': 0.3478260869565218} Sari: {'sari': 41.91919191919192} Flesh Reading Ease: 19.4 ---------------------------------------- Source: ['Wenn der Boden zum Beispiel Schiefer oder Kalk enthält, sind diese Komponenten auch im Wein enthalten.'] Prediction: ['Die Komponenten des Schweizer Unternehmens sind im Wein enthalten.\nSie sind auch im Wein enthalten.'] Label: [['Zum Beispiel Schiefer oder Kalk sind Komponenten, die auch im Wein stecken.']] Sacrebleu: {'score': 10.123734869668828, 'counts': [6, 2, 1, 0], 'totals': [17, 16, 15, 14], 'precisions': [35.294117647058826, 12.5, 6.666666666666667, 3.5714285714285716], 'bp': 1.0, 'sys_len': 17, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.35294117647058826, 0.125, 0.06666666666666667, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2142857142857142, 'translation_length': 17, 'reference_length': 14} Rouge: {'rouge1': 0.4444444444444445, 'rouge2': 0.16, 'rougeL': 0.2962962962962963, 'rougeLsum': 0.2962962962962963} Sari: {'sari': 36.37704400862296} Flesh Reading Ease: 73.05 ---------------------------------------- Source: ['Deutscher Wein hat eine lange Vegetationszeit und eine eher geringe Sommerhitze, daher enthält er nicht so viel Alkohol.'] Prediction: ['In Deutschland enthält ein deutscher Wein nicht so viel Alkohol.\nDer deutsche Chef hat eine lange Vegetationszeit und eine eher geringe Sommerhitze.\nDer Chef enthält nicht so viel Alkohol.'] Label: [['Deutscher Wein hat eine lange Vegetationszeit und eine eher geringe Sommerhitze, daher weniger Alkohol.']] Sacrebleu: {'score': 26.925298722797113, 'counts': [12, 9, 7, 6], 'totals': [32, 31, 30, 29], 'precisions': [37.5, 29.032258064516128, 23.333333333333332, 20.689655172413794], 'bp': 1.0, 'sys_len': 32, 'ref_len': 16} Bleu: {'bleu': 0.2692529872279712, 'precisions': [0.375, 0.2903225806451613, 0.23333333333333334, 0.20689655172413793], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 32, 'reference_length': 16} Rouge: {'rouge1': 0.5333333333333333, 'rouge2': 0.41860465116279066, 'rougeL': 0.5333333333333333, 'rougeLsum': 0.5333333333333333} Sari: {'sari': 39.96313918994331} Flesh Reading Ease: 65.0 ---------------------------------------- Source: ['Sie erzielen im Durchschnitt etwa 9 Millionen Hektoliter Weinmost.'] Prediction: ['Ein Hektoliter von Weinmost erzielte in der Schweiz 9 Millionen Hektoliter.\nDie Schweizer Hektoliter erzielten etwa 9 Millionen Hektoliter Weinmost.'] Label: [['Sie produzieren daraus etwa 9 Millionen Hektoliter Weinmost.']] Sacrebleu: {'score': 21.27988282044161, 'counts': [6, 5, 4, 3], 'totals': [22, 21, 20, 19], 'precisions': [27.272727272727273, 23.80952380952381, 20.0, 15.789473684210526], 'bp': 1.0, 'sys_len': 22, 'ref_len': 9} Bleu: {'bleu': 0.21279882820441612, 'precisions': [0.2727272727272727, 0.23809523809523808, 0.2, 0.15789473684210525], 'brevity_penalty': 1.0, 'length_ratio': 2.4444444444444446, 'translation_length': 22, 'reference_length': 9} Rouge: {'rouge1': 0.35714285714285715, 'rouge2': 0.3076923076923077, 'rougeL': 0.35714285714285715, 'rougeLsum': 0.35714285714285715} Sari: {'sari': 63.9423076923077} Flesh Reading Ease: 35.45 ---------------------------------------- Source: ['Zu verdanken ist dies dem Mut der neuen Winzergeneration, die trockene und mineralische Geschmacksrichtungen zulässt und Süße reduziert.'] Prediction: ['Die neue Mineralisation der neuen Winzergeneration ist trockene und mineralische Geschmacksrichtungen zulässt und Süße reduziert.\nZu verdanken ist dies dem Mut der neuen Winzergeneration, die trockene und mineralische Geschmacksrichtungen zulässt und Süße reduziert.'] Label: [['Zu verdanken ist dies dem Mut der neuen Winzergeneration, die trockene und mineralische Geschmäcker zulässt und Süße reduziert.']] Sacrebleu: {'score': 45.94290293312196, 'counts': [19, 17, 15, 13], 'totals': [36, 35, 34, 33], 'precisions': [52.77777777777778, 48.57142857142857, 44.11764705882353, 39.39393939393939], 'bp': 1.0, 'sys_len': 36, 'ref_len': 20} Bleu: {'bleu': 0.45942902933121954, 'precisions': [0.5277777777777778, 0.4857142857142857, 0.4411764705882353, 0.3939393939393939], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 36, 'reference_length': 20} Rouge: {'rouge1': 0.6551724137931034, 'rouge2': 0.6071428571428571, 'rougeL': 0.6551724137931034, 'rougeLsum': 0.6551724137931034} Sari: {'sari': 64.10979160979161} Flesh Reading Ease: 17.25 ---------------------------------------- Source: ['Als Konrad Duden im Jahr 1880 sein Vollständiges Orthographisches Wörterbuch der deutschen Sprache veröffentlichte, enthielt dieser Band gerade einmal 27.000 Wörter.'] Prediction: ['Die deutsche Sprache hat ein Wörterbuch der deutschen Sprache veröffentlicht.\nDerzeit enthielt dieser Band einmal 27.000 Wörter.'] Label: [['Konrad Duden veröffentlichte im Jahr 1880 sein Vollständiges Orthographisches Wörterbuch der deutschen Sprache.\nDamals enthielt dieser Band nur 27.000 Wörter.']] Sacrebleu: {'score': 20.48406350970448, 'counts': [11, 7, 4, 1], 'totals': [19, 18, 17, 16], 'precisions': [57.89473684210526, 38.888888888888886, 23.529411764705884, 6.25], 'bp': 0.8539396656235351, 'sys_len': 19, 'ref_len': 22} Bleu: {'bleu': 0.20484063509704478, 'precisions': [0.5789473684210527, 0.3888888888888889, 0.23529411764705882, 0.0625], 'brevity_penalty': 0.8539396656235351, 'length_ratio': 0.8636363636363636, 'translation_length': 19, 'reference_length': 22} Rouge: {'rouge1': 0.5652173913043478, 'rouge2': 0.4090909090909091, 'rougeL': 0.5217391304347826, 'rougeLsum': 0.5217391304347826} Sari: {'sari': 34.168771043771045} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['Der Duden ist die Grundlage einer einheitlichen deutschen Rechtschreibung.'] Prediction: ['Eine deutsche Rechtschreibung ist einer einheitlichen deutschen Rechtschreibung.\nDer Duden ist einer einheitlichen deutschen Rechtschreibung.\nDer Duden ist die Grundlage einer einheitlichen deutschen Rechtschreibung.'] Label: [['Der Duden ist die Grundlage der deutschen Rechtschreibung.']] Sacrebleu: {'score': 17.376436413676963, 'counts': [8, 6, 4, 2], 'totals': [27, 26, 25, 24], 'precisions': [29.62962962962963, 23.076923076923077, 16.0, 8.333333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 9} Bleu: {'bleu': 0.17376436413676968, 'precisions': [0.2962962962962963, 0.23076923076923078, 0.16, 0.08333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 27, 'reference_length': 9} Rouge: {'rouge1': 0.5, 'rouge2': 0.3333333333333333, 'rougeL': 0.43750000000000006, 'rougeLsum': 0.43750000000000006} Sari: {'sari': 56.66666666666668} Flesh Reading Ease: 43.3 ---------------------------------------- Source: ['Hinzu kommen zahlreiche Anglizismen, die eingedeutscht wurden, wie etwa der „Honk“ – ein Dummkopf.'] Prediction: ['Ein Dummkopf kommt aus dem Kanton Zürich zu einem Dummkopf.\nDie Anglizisten kommen zahlreiche Anglizismen, die eingedeutscht wurden, wie etwa der "Honk“ ein Dummkopf.'] Label: [['Hinzu kommen zahlreiche neue Wörter aus Anglizismen, die eingedeutscht wurden.\nDarunter zum Beispiel der „Honk“ – ein Dummkopf.']] Sacrebleu: {'score': 18.904254678403266, 'counts': [13, 7, 4, 2], 'totals': [29, 28, 27, 26], 'precisions': [44.827586206896555, 25.0, 14.814814814814815, 7.6923076923076925], 'bp': 1.0, 'sys_len': 29, 'ref_len': 21} Bleu: {'bleu': 0.1890425467840326, 'precisions': [0.4482758620689655, 0.25, 0.14814814814814814, 0.07692307692307693], 'brevity_penalty': 1.0, 'length_ratio': 1.380952380952381, 'translation_length': 29, 'reference_length': 21} Rouge: {'rouge1': 0.5116279069767442, 'rouge2': 0.34146341463414637, 'rougeL': 0.46511627906976744, 'rougeLsum': 0.5116279069767442} Sari: {'sari': 24.85320107040497} Flesh Reading Ease: 56.85 ---------------------------------------- Source: ['Im Deutschen bedeutet „chillen“ „sich entspannen“ mit Wortformen wie „chillig“, „gechillt“ usw..'] Prediction: ['Im Deutschen bedeutet "chillen" "sich entspannen".\nDie Worte der "chillig" und "gechillt" wie "chillig" sind wie "chillt“, „gechillt“ und „chillt“ mehr als im Deutschen.'] Label: [['Im Deutschen bedeutet „chillen“ „sich entspannen“ mit Wortformen wie chillig oder gechillt.']] Sacrebleu: {'score': 4.45846686713744, 'counts': [7, 2, 1, 0], 'totals': [38, 37, 36, 35], 'precisions': [18.42105263157895, 5.405405405405405, 2.7777777777777777, 1.4285714285714286], 'bp': 1.0, 'sys_len': 38, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.18421052631578946, 0.05405405405405406, 0.027777777777777776, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.923076923076923, 'translation_length': 38, 'reference_length': 13} Rouge: {'rouge1': 0.5, 'rouge2': 0.3529411764705882, 'rougeL': 0.5, 'rougeLsum': 0.5} Sari: {'sari': 26.15515271765272} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['Es wird auch in die Grammatik integriert und so alltagstauglich.'] Prediction: ['In der Grammatik wird es so integriert, so alltagstauglich.\nEs wird auch in die Grammatik integriert und so alltagstauglich.'] Label: [['Es wird auch in die Grammatik integriert und für den Alltag nutzbar.']] Sacrebleu: {'score': 32.21135973222975, 'counts': [9, 7, 6, 5], 'totals': [22, 21, 20, 19], 'precisions': [40.90909090909091, 33.333333333333336, 30.0, 26.31578947368421], 'bp': 1.0, 'sys_len': 22, 'ref_len': 13} Bleu: {'bleu': 0.3221135973222975, 'precisions': [0.4090909090909091, 0.3333333333333333, 0.3, 0.2631578947368421], 'brevity_penalty': 1.0, 'length_ratio': 1.6923076923076923, 'translation_length': 22, 'reference_length': 13} Rouge: {'rouge1': 0.5, 'rouge2': 0.4666666666666666, 'rougeL': 0.5, 'rougeLsum': 0.5} Sari: {'sari': 60.77300150829562} Flesh Reading Ease: 71.05 ---------------------------------------- Source: ['Das Wort „Willkommenskultur“ ist nun auch dabei, denn es wurde in politischen Debatten und in den Medien gebräuchlich.'] Prediction: ['Der Willkommenskultur wurde in den USA gebräuchlich geworden.\nDas Wort "Willkommenskultur" ist nun auch dabei, denn es wurde in politischen Debatten und in den Medien gebräuchlich.'] Label: [['Das Wort „Willkommenskultur“ ist nun auch dabei, denn es wurde in politischen Debatten und in den Medien viel gebraucht.']] Sacrebleu: {'score': 48.597322945959235, 'counts': [18, 15, 13, 12], 'totals': [31, 30, 29, 28], 'precisions': [58.064516129032256, 50.0, 44.827586206896555, 42.857142857142854], 'bp': 1.0, 'sys_len': 31, 'ref_len': 21} Bleu: {'bleu': 0.48597322945959237, 'precisions': [0.5806451612903226, 0.5, 0.4482758620689655, 0.42857142857142855], 'brevity_penalty': 1.0, 'length_ratio': 1.4761904761904763, 'translation_length': 31, 'reference_length': 21} Rouge: {'rouge1': 0.7234042553191489, 'rouge2': 0.711111111111111, 'rougeL': 0.7234042553191489, 'rougeLsum': 0.7234042553191489} Sari: {'sari': 29.121274988325197} Flesh Reading Ease: 55.85 ---------------------------------------- Source: ['Dazu gehören auch „Fake News“, „Brexit“, „Drohnenangriff“ oder „Wutbürger“. Abgebildet werden alle Wörter, die etwa drei Generationen umfassen.„Die Wörter spiegeln die Entwicklungen in den Bereichen Technik, Mode, Sport, Politik und Verwaltung wider“, schreibt der Duden-Verlag.'] Prediction: ['Das Duden-Verlag zeigt, wie es dazu gehören kann.\nDazu gehören auch Fake News, "Brexit“, „Drohnenangriff“ oder „Wutbürger“.\nAbgebildet werden alle Wörter, die etwa drei Generationen umfassen.'] Label: [['Dazu gehören auch „Fake News“, „Brexit“, „Drohnenangriff“ oder „Wutbürger“.„Die Wörter spiegeln die Entwicklungen in den Bereichen Technik, Mode, Sport, Politik und Verwaltung wider“, schreibt der Duden-Verlag.']] Sacrebleu: {'score': 15.48579924046165, 'counts': [15, 6, 4, 2], 'totals': [34, 33, 32, 31], 'precisions': [44.11764705882353, 18.181818181818183, 12.5, 6.451612903225806], 'bp': 0.9710165517924373, 'sys_len': 34, 'ref_len': 35} Bleu: {'bleu': 0.1548579924046165, 'precisions': [0.4411764705882353, 0.18181818181818182, 0.125, 0.06451612903225806], 'brevity_penalty': 0.9710165517924371, 'length_ratio': 0.9714285714285714, 'translation_length': 34, 'reference_length': 35} Rouge: {'rouge1': 0.5161290322580645, 'rouge2': 0.4000000000000001, 'rougeL': 0.45161290322580644, 'rougeLsum': 0.45161290322580644} Sari: {'sari': 9.14240742608905} Flesh Reading Ease: 42.6 ---------------------------------------- Source: ['Der Duden greift Veränderungen in der Gesellschaft auf, etwa die Verwendung der digitalen Medien: Messaging, Snapchat, Selfie, Twitter, WhatsApp, facebooken oder tindern.'] Prediction: ['Der Duden greift Veränderungen in der Gesellschaft auf, etwa die Verwendung der digitalen Medien.\nDiese greift Veränderungen in der Gesellschaft auf, etwa die Verwendung der digitalen Medien.'] Label: [['Der Duden greift Veränderungen in der Gesellschaft auf, etwa die Verwendung der digitalen Medien.\nUnd so finden sich auch diese Wörter wieder: Messaging, Snapchat, Selfie, facebooken, Twitter oder WhatsApp.']] Sacrebleu: {'score': 41.61903891653699, 'counts': [18, 15, 14, 13], 'totals': [31, 30, 29, 28], 'precisions': [58.064516129032256, 50.0, 48.275862068965516, 46.42857142857143], 'bp': 0.8240299628128845, 'sys_len': 31, 'ref_len': 37} Bleu: {'bleu': 0.4161903891653699, 'precisions': [0.5806451612903226, 0.5, 0.4827586206896552, 0.4642857142857143], 'brevity_penalty': 0.8240299628128845, 'length_ratio': 0.8378378378378378, 'translation_length': 31, 'reference_length': 37} Rouge: {'rouge1': 0.5333333333333333, 'rouge2': 0.4827586206896552, 'rougeL': 0.5333333333333333, 'rougeLsum': 0.5333333333333333} Sari: {'sari': 47.64930360487657} Flesh Reading Ease: 43.65 ---------------------------------------- Source: ['Erster Weltkrieg, Holocaust, das Leben in der DDR ab 1961, Einwanderung nach Deutschland oder der Mauerfall 1989: Die Seite Zeitzeugenportal.de macht die deutsche Geschichte lebendig.'] Prediction: ['Die deutsche Geschichte macht die deutsche Geschichte lebendig.\nDie deutsche Geschichte macht die deutsche Geschichte lebendig.'] Label: [['Erster Weltkrieg, Holocaust, das Leben in der DDR ab 1961, der Mauerfall 1989: Die Seite Zeitzeugenportal.de macht die deutsche Geschichte lebendig.']] Sacrebleu: {'score': 16.313698441858435, 'counts': [8, 5, 4, 3], 'totals': [18, 17, 16, 15], 'precisions': [44.44444444444444, 29.41176470588235, 25.0, 20.0], 'bp': 0.5737534207374327, 'sys_len': 18, 'ref_len': 28} Bleu: {'bleu': 0.16313698441858443, 'precisions': [0.4444444444444444, 0.29411764705882354, 0.25, 0.2], 'brevity_penalty': 0.573753420737433, 'length_ratio': 0.6428571428571429, 'translation_length': 18, 'reference_length': 28} Rouge: {'rouge1': 0.3157894736842105, 'rouge2': 0.2222222222222222, 'rougeL': 0.3157894736842105, 'rougeLsum': 0.3157894736842105} Sari: {'sari': 26.46269381753253} Flesh Reading Ease: 55.0 ---------------------------------------- Source: ['In Videos hört und erlebt man Menschen, die ihre Geschichte erzählen.'] Prediction: ['In der Nacht auf Sonntag wurde der Polizei von einem terroristischen Polizeibeamten aufgefunden.\nDie Polizei hatte die Geschichte von Menschen aufgefunden und erlebte Menschen, die ihre Geschichte erzählen.\nDie Polizei hatte die Geschichte erlebt.'] Label: [['In Videos hört und erlebt man Menschen.\nSie erzählen ihre Geschichte.']] Sacrebleu: {'score': 2.822923857805611, 'counts': [9, 1, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [23.68421052631579, 2.7027027027027026, 1.3888888888888888, 0.7142857142857143], 'bp': 1.0, 'sys_len': 38, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.23684210526315788, 0.02702702702702703, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.923076923076923, 'translation_length': 38, 'reference_length': 13} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.08695652173913045, 'rougeL': 0.25000000000000006, 'rougeLsum': 0.2916666666666667} Sari: {'sari': 11.797924297924299} Flesh Reading Ease: 40.0 ---------------------------------------- Source: ['Einzelne Themen der deutschen Geschichte werden aus unterschiedlichen Perspektiven beleuchtet.'] Prediction: ['Die deutsche Geschichte wird aus unterschiedlichen Perspektiven beleuchtet.\nEinzelne Themen der deutschen Geschichte werden aus unterschiedlichen Perspektiven beleuchtet.'] Label: [['In den Erzählungen der Menschen erfährt man einzelne Themen der deutschen Geschichte.']] Sacrebleu: {'score': 12.673718536830808, 'counts': [5, 3, 2, 1], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 15.789473684210526, 11.11111111111111, 5.882352941176471], 'bp': 1.0, 'sys_len': 20, 'ref_len': 13} Bleu: {'bleu': 0.12673718536830808, 'precisions': [0.25, 0.15789473684210525, 0.1111111111111111, 0.058823529411764705], 'brevity_penalty': 1.0, 'length_ratio': 1.5384615384615385, 'translation_length': 20, 'reference_length': 13} Rouge: {'rouge1': 0.31250000000000006, 'rouge2': 0.26666666666666666, 'rougeL': 0.31250000000000006, 'rougeLsum': 0.31250000000000006} Sari: {'sari': 51.47759103641456} Flesh Reading Ease: 18.9 ---------------------------------------- Source: ['So hört man, wie Renate Weißkopf, die als Kind den Nationalsozialismus erlebte, von den stets präsenten Nationalsozialisten auf der Straße und in den Schulen Münchens erzählt.'] Prediction: ['Der stets präsenten Nationalsozialisten auf der Straße und in den Schulen Münchens erzählt, wie Renate Weißkopf, die als Kind den Nationalsozialismus erlebte, von den stets präsenten Nationalsozialisten auf der Straße und in den Schulen Münchens erzählt.\nDie Stimmen der Stimmen der Stimmen der Stimmen der Stimmen der Stimmen der Stimmen der Stimmen der Stimmen der Stimmen der Stimmen der Stimmen Stimmen der Stimmen Stimmen der Stimmen Stimmen der Stimmen Stimmen Stimmen der Stimmen Stimmen Stimmen der Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen Stimmen'] Label: [['Etwa Renate Weißkopf, die als Kind den Nationalsozialismus erlebte.\nSie berichtet von den Nationalsozialisten auf der Straße und in den Schulen Münchens.']] Sacrebleu: {'score': 6.970812716713078, 'counts': [21, 17, 14, 12], 'totals': [226, 225, 224, 223], 'precisions': [9.29203539823009, 7.555555555555555, 6.25, 5.381165919282512], 'bp': 1.0, 'sys_len': 226, 'ref_len': 25} Bleu: {'bleu': 0.06970812716713078, 'precisions': [0.09292035398230089, 0.07555555555555556, 0.0625, 0.053811659192825115], 'brevity_penalty': 1.0, 'length_ratio': 9.04, 'translation_length': 226, 'reference_length': 25} Rouge: {'rouge1': 0.171875, 'rouge2': 0.1496062992125984, 'rougeL': 0.171875, 'rougeLsum': 0.171875} Sari: {'sari': 58.85341527689615} Flesh Reading Ease: -42.16 ---------------------------------------- Source: ['Hier werden Alltagserfahrungen und historisch bedeutsame Geschehnisse miteinander verbunden. „Das Portal richtet sich an eine breite Zielgruppe: an Geschichtsinteressierte, an Schülerinnen und Schüler sowie ihre Lehrer, an Multiplikatoren, Studierende und Wissenschaftler“, schreibt das Zeitzeugenportal.'] Prediction: ['Das Portal richtet sich an eine breite Zielgruppe: an Geschichtsinteressierte, an Schülerinnen und Schüler sowie ihre Lehrer, an Multiplikatoren, Studierende und Wissenschaftler.\nDie Zielgruppe richtet sich an eine breite Zielgruppe: an Geschichtsinteressierte, an Schülerinnen und Schüler sowie ihre Lehrer sowie ihre Lehrer, an Multiplikatoren, Studierende und Wissenschaftler.'] Label: [['Hier werden Alltagserfahrungen und historisch bedeutsame Geschehnisse miteinander verbunden.„Das Portal richtet sich an eine breite Zielgruppe: an Schülerinnen und Schüler sowie ihre Lehrer, an Multiplikatoren, Studierende und Wissenschaftler“, schreibt das Zeitzeugenportal.']] Sacrebleu: {'score': 35.10635903096323, 'counts': [25, 20, 18, 16], 'totals': [57, 56, 55, 54], 'precisions': [43.85964912280702, 35.714285714285715, 32.72727272727273, 29.62962962962963], 'bp': 1.0, 'sys_len': 57, 'ref_len': 38} Bleu: {'bleu': 0.3510635903096322, 'precisions': [0.43859649122807015, 0.35714285714285715, 0.32727272727272727, 0.2962962962962963], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 57, 'reference_length': 38} Rouge: {'rouge1': 0.5411764705882354, 'rouge2': 0.5060240963855421, 'rougeL': 0.5176470588235293, 'rougeLsum': 0.5176470588235293} Sari: {'sari': 22.352560891387995} Flesh Reading Ease: 16.1 ---------------------------------------- Source: ['Es kommen aber auch unbekannte Menschen zu Wort, die als Zeitzeugen ihre sehr persönliche Sicht auf die Ereignisse schildern.'] Prediction: ['Unbekannte Menschen kommen zu Wort, die als Zeitzeugen ihre sehr persönliche Sicht auf die Ereignisse schildern.\nDie Menschen kommen aber auch zu Wort, die als Zeitzeugen ihre sehr persönliche Sicht auf die Ereignisse schildern.'] Label: [['Es kommen aber auch unbekannte Menschen zu Wort, die ihre sehr persönliche Sicht auf die Ereignisse schildern.']] Sacrebleu: {'score': 30.569167525979744, 'counts': [17, 13, 10, 7], 'totals': [38, 37, 36, 35], 'precisions': [44.73684210526316, 35.13513513513514, 27.77777777777778, 20.0], 'bp': 1.0, 'sys_len': 38, 'ref_len': 19} Bleu: {'bleu': 0.30569167525979757, 'precisions': [0.4473684210526316, 0.35135135135135137, 0.2777777777777778, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 38, 'reference_length': 19} Rouge: {'rouge1': 0.6296296296296297, 'rouge2': 0.5, 'rougeL': 0.5555555555555556, 'rougeLsum': 0.6296296296296297} Sari: {'sari': 33.27904446715165} Flesh Reading Ease: 57.7 ---------------------------------------- Source: ['Das Schöne an dem Portal ist, dass man dank der vielen Interviews historisch bedeutsame Ereignisse aus vielen Perspektiven subjektiv und emotional erleben kann.'] Prediction: ['Ein Interview mit dem Portal ist das erste Mal, dass man dank der vielen Ereignisse aus vielen Perspektiven subjektiv und emotional erleben kann.\nDas Schöne an dem Portal ist, dass man dank der vielen Interviews historisch bedeutsame Ereignisse aus vielen Perspektiven subjektiv und emotional erleben kann.'] Label: [['Das Schöne an dem Portal ist: Man erlebt historisch bedeutsame Ereignisse aus vielen Perspektiven – subjektiv und emotional.']] Sacrebleu: {'score': 20.811215780505975, 'counts': [16, 12, 9, 6], 'totals': [50, 49, 48, 47], 'precisions': [32.0, 24.489795918367346, 18.75, 12.76595744680851], 'bp': 1.0, 'sys_len': 50, 'ref_len': 20} Bleu: {'bleu': 0.20811215780505984, 'precisions': [0.32, 0.24489795918367346, 0.1875, 0.1276595744680851], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 50, 'reference_length': 20} Rouge: {'rouge1': 0.5230769230769231, 'rouge2': 0.4444444444444444, 'rougeL': 0.5230769230769231, 'rougeLsum': 0.5230769230769231} Sari: {'sari': 53.93794091710758} Flesh Reading Ease: 45.85 ---------------------------------------- Source: ['100 Einführungsfilme ergänzen die Interviews.'] Prediction: ['In der Schweiz sind 100 Interviews veröffentlicht.\nDie besten waren die besten, die besten waren die besten.\nDie besten waren die besten, die besten, die besten waren die besten.'] Label: [['100 Filme mit Erklärungen ergänzen die Interviews.']] Sacrebleu: {'score': 1.493369524819332, 'counts': [4, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [11.428571428571429, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.11428571428571428, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.375, 'translation_length': 35, 'reference_length': 8} Rouge: {'rouge1': 0.15384615384615383, 'rouge2': 0.0, 'rougeL': 0.10256410256410256, 'rougeLsum': 0.15384615384615383} Sari: {'sari': 24.629629629629626} Flesh Reading Ease: 76.7 ---------------------------------------- Source: ['Noch vor Jahren summte und brummte es in der Luft, wenn man auf einer Wiese stand.'] Prediction: ['Noch vor Jahren hatte es in der Luft einen Wiesenstand gegen die Schweizer Grenze geschlossen.\nDas hatte einige Jahre lang nach der Luft geschlossen.'] Label: [['Noch vor einigen Jahren summte und brummte es in der Luft, wenn man auf einer Wiese stand.']] Sacrebleu: {'score': 11.556647985416689, 'counts': [8, 4, 2, 1], 'totals': [26, 25, 24, 23], 'precisions': [30.76923076923077, 16.0, 8.333333333333334, 4.3478260869565215], 'bp': 1.0, 'sys_len': 26, 'ref_len': 19} Bleu: {'bleu': 0.11556647985416685, 'precisions': [0.3076923076923077, 0.16, 0.08333333333333333, 0.043478260869565216], 'brevity_penalty': 1.0, 'length_ratio': 1.368421052631579, 'translation_length': 26, 'reference_length': 19} Rouge: {'rouge1': 0.34146341463414637, 'rouge2': 0.20512820512820512, 'rougeL': 0.34146341463414637, 'rougeLsum': 0.34146341463414637} Sari: {'sari': 13.285570638511812} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['Viele ehrenamtliche Entomologen – das sind Insektenforscher – haben 27 Jahre lang Insekten gesammelt.'] Prediction: ['Einige von ihnen haben 27 Jahre lang Insekten gesammelt.\nDie beiden haben 27 Jahre lang Insekten gesammelt.'] Label: [['Entomologen – das sind Insektenforscher – haben 27 Jahre lang Insekten gesammelt.']] Sacrebleu: {'score': 30.82627646062185, 'counts': [7, 6, 5, 4], 'totals': [19, 18, 17, 16], 'precisions': [36.8421052631579, 33.333333333333336, 29.41176470588235, 25.0], 'bp': 1.0, 'sys_len': 19, 'ref_len': 13} Bleu: {'bleu': 0.30826276460621843, 'precisions': [0.3684210526315789, 0.3333333333333333, 0.29411764705882354, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.4615384615384615, 'translation_length': 19, 'reference_length': 13} Rouge: {'rouge1': 0.4444444444444445, 'rouge2': 0.39999999999999997, 'rougeL': 0.4444444444444445, 'rougeLsum': 0.4444444444444445} Sari: {'sari': 29.990079365079364} Flesh Reading Ease: 60.35 ---------------------------------------- Source: ['Das Ergebnis: Die Biomasse von fliegenden Insekten ist insgesamt um über 75 Prozent zurückgegangen.'] Prediction: ['Die Biomasse von fliegenden Insekten ist insgesamt um über 75 Prozent zurückgegangen.\nDie Biomasse von fliegenden Insekten ist insgesamt um über 75 Prozent zurückgegangen.'] Label: [['Das Ergebnis: Der Bestand an fliegenden Insekten ist um über 75 Prozent zurückgegangen.']] Sacrebleu: {'score': 22.653997254138517, 'counts': [9, 7, 5, 3], 'totals': [26, 25, 24, 23], 'precisions': [34.61538461538461, 28.0, 20.833333333333332, 13.043478260869565], 'bp': 1.0, 'sys_len': 26, 'ref_len': 15} Bleu: {'bleu': 0.2265399725413852, 'precisions': [0.34615384615384615, 0.28, 0.20833333333333334, 0.13043478260869565], 'brevity_penalty': 1.0, 'length_ratio': 1.7333333333333334, 'translation_length': 26, 'reference_length': 15} Rouge: {'rouge1': 0.45, 'rouge2': 0.3684210526315789, 'rougeL': 0.45, 'rougeLsum': 0.45} Sari: {'sari': 36.9703368526898} Flesh Reading Ease: 45.15 ---------------------------------------- Source: ['Die Daten stammen aus 63 Standorten in Naturschutzgebieten in Nordrhein-Westfalen, Rheinland-Pfalz und Brandenburg.'] Prediction: ['In Nordrhein-Westfalen und Brandenburg sind 63 Standorte der Naturschutzgebieten in Brandenburg gesprochen.\nDie Daten stammen aus 63 Standorten in Nordrhein-Westfalen, Rheinland-Pfalz und Brandenburg.'] Label: [['Die Daten stammen aus 63 Standorten in Naturschutzgebieten in den Bundesländern Nordrhein-Westfalen, Rheinland-Pfalz und Brandenburg.']] Sacrebleu: {'score': 42.16383984557387, 'counts': [15, 12, 9, 7], 'totals': [26, 25, 24, 23], 'precisions': [57.69230769230769, 48.0, 37.5, 30.434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 17} Bleu: {'bleu': 0.4216383984557386, 'precisions': [0.5769230769230769, 0.48, 0.375, 0.30434782608695654], 'brevity_penalty': 1.0, 'length_ratio': 1.5294117647058822, 'translation_length': 26, 'reference_length': 17} Rouge: {'rouge1': 0.6818181818181818, 'rouge2': 0.5714285714285713, 'rougeL': 0.5909090909090908, 'rougeLsum': 0.5909090909090908} Sari: {'sari': 45.30902104431516} Flesh Reading Ease: 39.8 ---------------------------------------- Source: ['Das Bundesumweltministerium und Forscher vermuten, dass die intensive Landwirtschaft in vielen Teilen Deutschlands der Grund sei.'] Prediction: ['Die intensive Landwirtschaft in vielen Teilen Deutschlands sei in vielen Teilen Deutschlands der Grund.\nDas Bundesumweltministerium und Forscher vermuten, dass die intensive Landwirtschaft in vielen Teilen Deutschlands der Grund sei.'] Label: [['Das Bundesumweltministerium und Forscher glauben, dass die intensive Landwirtschaft der Grund ist.']] Sacrebleu: {'score': 19.568336427344597, 'counts': [12, 8, 5, 3], 'totals': [33, 32, 31, 30], 'precisions': [36.36363636363637, 25.0, 16.129032258064516, 10.0], 'bp': 1.0, 'sys_len': 33, 'ref_len': 14} Bleu: {'bleu': 0.19568336427344607, 'precisions': [0.36363636363636365, 0.25, 0.16129032258064516, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 2.357142857142857, 'translation_length': 33, 'reference_length': 14} Rouge: {'rouge1': 0.47619047619047616, 'rouge2': 0.35, 'rougeL': 0.47619047619047616, 'rougeLsum': 0.47619047619047616} Sari: {'sari': 52.07936507936508} Flesh Reading Ease: 42.15 ---------------------------------------- Source: ['Denn hier werden große Mengen von Pestiziden eingesetzt.'] Prediction: ['Pestiziden werden große Mengen von Pestiziden eingesetzt.\nDie Pestiziden werden große Mengen von Pestiziden eingesetzt.'] Label: [['Hier werden große Mengen von Pestiziden eingesetzt.']] Sacrebleu: {'score': 34.82352832757854, 'counts': [7, 6, 5, 4], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 37.5, 33.333333333333336, 28.571428571428573], 'bp': 1.0, 'sys_len': 17, 'ref_len': 8} Bleu: {'bleu': 0.34823528327578535, 'precisions': [0.4117647058823529, 0.375, 0.3333333333333333, 0.2857142857142857], 'brevity_penalty': 1.0, 'length_ratio': 2.125, 'translation_length': 17, 'reference_length': 8} Rouge: {'rouge1': 0.56, 'rouge2': 0.5217391304347825, 'rougeL': 0.56, 'rougeLsum': 0.56} Sari: {'sari': 47.11991711991712} Flesh Reading Ease: 26.25 ---------------------------------------- Source: ['Das Insektensterben beeinflusst die Nahrungskette, denn so verschwinden auch viele Vögel oder Fledermäuse.'] Prediction: ['Das Insektensterben beeinflusst die Nahrungskette, denn so verschwinden auch viele Vögel oder Fledermäuse.\nDie Insektensterben beeinflusst die Nahrungskette, denn so verschwinden auch viele Vögel oder Fledermäuse.'] Label: [['Weniger Insekten bedeutet weniger Nahrung für Vögel und Fledermäuse.\nSo verschwinden auch diese Arten.']] Sacrebleu: {'score': 3.8860873003702516, 'counts': [6, 2, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 6.896551724137931, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.06896551724137931, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.875, 'translation_length': 30, 'reference_length': 16} Rouge: {'rouge1': 0.2978723404255319, 'rouge2': 0.17777777777777778, 'rougeL': 0.2978723404255319, 'rougeLsum': 0.2978723404255319} Sari: {'sari': 42.226890756302524} Flesh Reading Ease: 38.3 ---------------------------------------- Source: ['Sie leiden häufig unter Milben, Viren und Bakterien.'] Prediction: ['Die Polizei hat einen neuen Milb und Bakterien-Kollegen aufgefunden.\nSie leiden häufig unter Milben, Viren und Bakterien.\nDie Polizei hat den Mannen aufgefunden.'] Label: [['Daneben leiden sie häufig unter Milben, Viren und Bakterien.']] Sacrebleu: {'score': 25.881733463141213, 'counts': [9, 7, 6, 5], 'totals': [27, 26, 25, 24], 'precisions': [33.333333333333336, 26.923076923076923, 24.0, 20.833333333333332], 'bp': 1.0, 'sys_len': 27, 'ref_len': 11} Bleu: {'bleu': 0.2588173346314121, 'precisions': [0.3333333333333333, 0.2692307692307692, 0.24, 0.20833333333333334], 'brevity_penalty': 1.0, 'length_ratio': 2.4545454545454546, 'translation_length': 27, 'reference_length': 11} Rouge: {'rouge1': 0.5142857142857143, 'rouge2': 0.36363636363636365, 'rougeL': 0.45714285714285713, 'rougeLsum': 0.45714285714285713} Sari: {'sari': 63.04563492063492} Flesh Reading Ease: 49.45 ---------------------------------------- Source: ['Und die Pestizide aus der Landwirtschaft schaden ihnen noch mehr.'] Prediction: ['Die Pestizide aus der Landwirtschaft schaden ihnen noch mehr.\nDie Pestizide aus der Landwirtschaft schaden ihnen noch mehr.'] Label: [['Die Pestizide aus der Landwirtschaft schaden ihnen erheblich.']] Sacrebleu: {'score': 30.143352515082135, 'counts': [8, 6, 5, 4], 'totals': [20, 19, 18, 17], 'precisions': [40.0, 31.57894736842105, 27.77777777777778, 23.529411764705884], 'bp': 1.0, 'sys_len': 20, 'ref_len': 9} Bleu: {'bleu': 0.3014335251508215, 'precisions': [0.4, 0.3157894736842105, 0.2777777777777778, 0.23529411764705882], 'brevity_penalty': 1.0, 'length_ratio': 2.2222222222222223, 'translation_length': 20, 'reference_length': 9} Rouge: {'rouge1': 0.5384615384615385, 'rouge2': 0.5, 'rougeL': 0.5384615384615385, 'rougeLsum': 0.5384615384615385} Sari: {'sari': 59.87826987826988} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Daher werden sie stark von ihrer Umgebung, also der Landwirtschaft, aber auch vom Verkehr beeinflusst.'] Prediction: ['Die Landwirtschaft hat sich mit dem Verkehr aufgehoben, dass sie sich auch vom Verkehr beeinflusst werden.\nDie Umgebung, also der Landwirtschaft, aber auch vom Verkehr beeinflusst werden, wird stark von ihrer Umgebung beeinflusst.'] Label: [['Daher werden sie stark von der Landwirtschaft beeinflusst.']] Sacrebleu: {'score': 3.511091977922844, 'counts': [8, 3, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [20.512820512820515, 7.894736842105263, 1.3513513513513513, 0.6944444444444444], 'bp': 1.0, 'sys_len': 39, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.20512820512820512, 0.07894736842105263, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.333333333333333, 'translation_length': 39, 'reference_length': 9} Rouge: {'rouge1': 0.3414634146341463, 'rouge2': 0.10256410256410256, 'rougeL': 0.1951219512195122, 'rougeLsum': 0.24390243902439024} Sari: {'sari': 16.722222222222225} Flesh Reading Ease: 64.05 ---------------------------------------- Source: ['In Deutschland gibt es etwa 33.000 Insektenarten.'] Prediction: ['Deutschland hat 33.000 Insektenarten in den letzten Tagen geäussert.\nDie Insektenarten sind in Deutschland ein grosser Land.'] Label: [['In Deutschland gibt es rund 33.000 Insektenarten.']] Sacrebleu: {'score': 4.814971807094068, 'counts': [4, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [21.05263157894737, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 1.0, 'sys_len': 19, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.375, 'translation_length': 19, 'reference_length': 8} Rouge: {'rouge1': 0.37037037037037035, 'rouge2': 0.24, 'rougeL': 0.2962962962962963, 'rougeLsum': 0.37037037037037035} Sari: {'sari': 28.65079365079365} Flesh Reading Ease: 57.3 ---------------------------------------- Source: ['7.800 Arten stehen in der Roten Liste. Das bedeutet: Fast 40 Prozent dieser Arten sind mindestens bestandsgefährdet, viele sind bereits ausgestorben.'] Prediction: ['7.800 Arten stehen in der Roten Liste.\nFast 40 Prozent dieser Arten sind mindestens bestandsgefährdet, viele sind bereits ausgestorben.'] Label: [['7.800 Arten sind gefährdet, viele sind bereits ausgestorben.']] Sacrebleu: {'score': 25.616751528827976, 'counts': [9, 7, 4, 3], 'totals': [22, 21, 20, 19], 'precisions': [40.90909090909091, 33.333333333333336, 20.0, 15.789473684210526], 'bp': 1.0, 'sys_len': 22, 'ref_len': 10} Bleu: {'bleu': 0.2561675152882798, 'precisions': [0.4090909090909091, 0.3333333333333333, 0.2, 0.15789473684210525], 'brevity_penalty': 1.0, 'length_ratio': 2.2, 'translation_length': 22, 'reference_length': 10} Rouge: {'rouge1': 0.5806451612903225, 'rouge2': 0.48275862068965514, 'rougeL': 0.5806451612903225, 'rougeLsum': 0.5806451612903225} Sari: {'sari': 47.80338245250526} Flesh Reading Ease: 59.35 ---------------------------------------- Source: ['Es weinte, lief zur Stiefmutter und erzählte ihr das Unglück.'] Prediction: ['Ein Stiefmutter hat einen Stieflück in der Stadt Zürich eingeführt.\nDie Stadt Zürich hatte ihr das Unglück verlassen.\nDie Stadt Zürich hatte ihr das Unglück verlassen.'] Label: [['Stief∙mutter: Die Spule ist mir in den Brunnen gefallen.\nUnd sagt: Liebe Am Abend geht Marie zur Stief∙mutter.\nJetzt weint Marie viele Tränen:']] Sacrebleu: {'score': 1.8196871111910016, 'counts': [4, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0357142857142858, 'translation_length': 29, 'reference_length': 28} Rouge: {'rouge1': 0.06779661016949153, 'rouge2': 0.0, 'rougeL': 0.03389830508474576, 'rougeLsum': 0.06779661016949153} Sari: {'sari': 42.410714285714285} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['Das Pech aber blieb fest an ihr hängen und wollte, solange sie lebte, nicht abgehen.'] Prediction: ['Ein Pech blieb fest an ihr hängen und wollte, solange sie lebte, nicht abgehen.\nDas Pech blieb fest an ihr hängen und wollte, solange sie lebte, nicht abgehen.'] Label: [['Und das Pech geht nie mehr ab.']] Sacrebleu: {'score': 1.2944532586971997, 'counts': [2, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [5.882352941176471, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.25, 'translation_length': 34, 'reference_length': 8} Rouge: {'rouge1': 0.16216216216216217, 'rouge2': 0.05714285714285715, 'rougeL': 0.16216216216216217, 'rougeLsum': 0.16216216216216217} Sari: {'sari': 37.708333333333336} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['»Kikeriki, unsere schmutzige Jungfrau ist wieder hie.« Da kam die Faule heim, aber sie war ganz mit Pech bedeckt, und der Hahn auf dem Brunnen, als er sie sah, rief:'] Prediction: ['Eine schmutzige Jungfrau ist wieder hie.\nDie Frau ist wieder hie.\nDie Hahn auf dem Brunnen rief, als er sie sah, als er sie sah, rief.'] Label: [['Unsere Pech-Marie ist zurück.\nSo ein Glück.\nUnd ruft: So ein Glück.\nAuf dem Brunnen sitzt der Hahn.\nUnd plötzlich ist die faule Marie wieder am Brunnen.\nDann geht die faule Marie durch das Tor.']] Sacrebleu: {'score': 2.4720848542736915, 'counts': [9, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [28.125, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 0.7316156289466418, 'sys_len': 32, 'ref_len': 42} Bleu: {'bleu': 0.0, 'precisions': [0.28125, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 0.7316156289466418, 'length_ratio': 0.7619047619047619, 'translation_length': 32, 'reference_length': 42} Rouge: {'rouge1': 0.27272727272727276, 'rouge2': 0.0625, 'rougeL': 0.12121212121212123, 'rougeLsum': 0.24242424242424246} Sari: {'sari': 37.84290044520224} Flesh Reading Ease: 95.25 ---------------------------------------- Source: ['»Das ist zur Belohnung deiner Dienste,« sagte die Frau Holle und schloß das Thor zu.'] Prediction: ['Eine Frau ist zur Belohnung von einem Thor im Alter von 99 Jahren gestorben.\nSie schloß das Thor zu.\nDie Frau war zuvor auf dem Boden einer Dienste.'] Label: [['Deshalb ist das Pech deine Belohnung.\nUnd Frau Holle sagt: Du warst faul.']] Sacrebleu: {'score': 1.877081263233555, 'counts': [6, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [19.35483870967742, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.1935483870967742, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9375, 'translation_length': 31, 'reference_length': 16} Rouge: {'rouge1': 0.1951219512195122, 'rouge2': 0.0, 'rougeL': 0.14634146341463414, 'rougeLsum': 0.1951219512195122} Sari: {'sari': 34.748677248677254} Flesh Reading Ease: 88.8 ---------------------------------------- Source: ['die Frau Holle führte sie auch zu dem Thor, als sie aber darunter stand, ward statt des Goldes ein großer Kessel voll Pech ausgeschüttet.'] Prediction: ['Eine Frau wurde zum zweiten Mal von dem Thor ausgeschüttet.\nSie führte sich auch zu dem Thor, als sie aber darunter stand, auf dem Goldes ein großer Kessel voll Pech ausgeschüttet hat.'] Label: [['Der Regen ist aus Pech.\nAber der Regen ist nicht aus Gold.\nPlötzlich regnet es.\nUnd Frau Holle geht mit der faulen Marie zu dem Tor.\nFrau Holle nimmt die faule Marie an die Hand.']] Sacrebleu: {'score': 2.415013278074688, 'counts': [6, 1, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [16.666666666666668, 2.857142857142857, 1.4705882352941178, 0.7575757575757576], 'bp': 0.8948393168143697, 'sys_len': 36, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.02857142857142857, 0.0, 0.0], 'brevity_penalty': 0.8948393168143697, 'length_ratio': 0.9, 'translation_length': 36, 'reference_length': 40} Rouge: {'rouge1': 0.1388888888888889, 'rouge2': 0.02857142857142857, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.1388888888888889} Sari: {'sari': 33.52269562795878} Flesh Reading Ease: 76.25 ---------------------------------------- Source: ['Die Faule war das wohl zufrieden und meinte, nun würde der Goldregen kommen;'] Prediction: ['Die Goldregen würde der Goldregen kommen.\nDie Faule war das wohl zufrieden und meinte, nun würde der Goldregen kommen.'] Label: [['Und denkt: Jetzt bekomme ich mein Gold.\nDie faule Marie ist zufrieden.']] Sacrebleu: {'score': 4.108053662461269, 'counts': [4, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4666666666666666, 'translation_length': 22, 'reference_length': 15} Rouge: {'rouge1': 0.24242424242424246, 'rouge2': 0.06451612903225806, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.24242424242424246} Sari: {'sari': 41.64898282545341} Flesh Reading Ease: 71.05 ---------------------------------------- Source: ['Das ward die Frau Holle bald müde und sagte ihr den Dienst auf.'] Prediction: ['Eine Frau wurde im Februar von einem Dienst aufgefunden.\nSie wurde dabei bald gesucht.\nSie muss das ward bald machen.'] Label: [['Du brauchst nicht mehr für mich arbeiten.\nUnd sagt: Du kannst zurück nach Hause gehen.']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2777777777777777, 'translation_length': 23, 'reference_length': 18} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 51.041666666666664} Flesh Reading Ease: 79.7 ---------------------------------------- Source: ["Sie machte auch der Frau Holle das Bett nicht, wie sich's gebührte, und schüttelte es nicht, daß die Federn aufflogen."] Prediction: ["Eine Frau holle das Bett nicht, wie sich's gebührte, und schüttelte es nicht, daß die Federn aufflogen.\nDie Federn schütteln das Bett nicht, wie sich's gebührte, daß die Frau aufflogen."] Label: [['So fallen die Bett·federn auf die Erde.\nUnd schüttelt die Bett·decke aus.\nDie faule Marie macht nur das Bett von Frau Holle.']] Sacrebleu: {'score': 3.3515422794751224, 'counts': [8, 2, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [21.62162162162162, 5.555555555555555, 1.4285714285714286, 0.7352941176470589], 'bp': 1.0, 'sys_len': 37, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.21621621621621623, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.48, 'translation_length': 37, 'reference_length': 25} Rouge: {'rouge1': 0.36065573770491804, 'rouge2': 0.1016949152542373, 'rougeL': 0.26229508196721313, 'rougeLsum': 0.3278688524590164} Sari: {'sari': 40.4563492063492} Flesh Reading Ease: 77.25 ---------------------------------------- Source: ['am zweiten Tage aber fing sie schon an zu faulenzen, am dritten noch mehr, da wollte sie morgens gar nicht aufstehen.'] Prediction: ['Eine Frau wollte am zweiten Tage nach einem dritten Mal nicht aufstehen, da sie schon an zu faulenzen, wollte sie morgens gar nicht aufstehen.\nDie Frau wollte sich am zweiten Tagen nicht aufstehen, da sie nicht aufstehen wollte.'] Label: [['Aber schon am 2.\nTag hat die faule Marie keine Lust zu arbeiten:']] Sacrebleu: {'score': 1.205256842736819, 'counts': [4, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [9.30232558139535, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.09302325581395349, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8666666666666667, 'translation_length': 43, 'reference_length': 15} Rouge: {'rouge1': 0.1568627450980392, 'rouge2': 0.0, 'rougeL': 0.0784313725490196, 'rougeLsum': 0.1568627450980392} Sari: {'sari': 34.904970760233915} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ['Am ersten Tage that sie sich Gewalt an, war fleißig und folgte der Frau Holle, wenn sie ihr etwas sagte, denn sie dachte an das viele Gold, das sie ihr schenken würde;'] Prediction: ['Eine Frau wurde am ersten Tage von ihrem Mann gewalt angefasst, dass sie ihr gewalt angefasst wurde.\nDie Frau war fleißig und folgte ihr etwas, denn sie dachte an das viele Gold, das sie ihr schenken würde.'] Label: [['Am 1.\nTag ist die faule Marie noch sehr fleißig:']] Sacrebleu: {'score': 1.038539619163422, 'counts': [2, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [4.761904761904762, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.047619047619047616, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 42, 'reference_length': 12} Rouge: {'rouge1': 0.16, 'rouge2': 0.041666666666666664, 'rougeL': 0.16, 'rougeLsum': 0.16} Sari: {'sari': 36.53699466056445} Flesh Reading Ease: 73.75 ---------------------------------------- Source: ['Als sie vor der Frau Holle Haus kam, fürchtete sie sich nicht, weil sie von ihren großen Zähnen schon gehört hatte und verdingte sich gleich zu ihr.'] Prediction: ['Eine Frau hatte sich vor der Frau Holle Haus eine große Zähle verdingt.\nSie verdingte sich gleich zu ihr.\nAls sie vor der Frau Holle Haus kam, fürchtete sie sich nicht, weil sie von ihren großen Zähnen schon gehört hatte.'] Label: [['Das weiß die faule Marie von ihrer fleißigen Stief·schwester.\nUnd die Frau am Fenster hat sehr große Zähne.\nEs ist das Haus von Frau Holle.\nNach einer Weile kommt die faule Marie zu einem Haus.']] Sacrebleu: {'score': 2.4901754114263377, 'counts': [11, 1, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [24.444444444444443, 2.272727272727273, 1.1627906976744187, 0.5952380952380952], 'bp': 1.0, 'sys_len': 45, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.24444444444444444, 0.022727272727272728, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1538461538461537, 'translation_length': 45, 'reference_length': 39} Rouge: {'rouge1': 0.23529411764705882, 'rouge2': 0.07228915662650602, 'rougeL': 0.16470588235294117, 'rougeLsum': 0.23529411764705882} Sari: {'sari': 29.38690476190476} Flesh Reading Ease: 84.8 ---------------------------------------- Source: ['« Sie antwortete aber: »Du kommst mir recht, es könnte mir einer auf den Kopf fallen,« und ging damit weiter.'] Prediction: ['Eine Frau kommt auf den Kopf von ihrem Mann recht.\nSie antwortete aber: "Du kommst mir recht, es könnte mir einer auf den Kopf fallen,« und ging damit weiter.'] Label: [['Dann geht die faule Marie weiter.\nDie Äpfel können mir auf den Kopf fallen.\nAber die faule Marie antwortet: Nein.']] Sacrebleu: {'score': 8.447773742536654, 'counts': [9, 4, 2, 1], 'totals': [36, 35, 34, 33], 'precisions': [25.0, 11.428571428571429, 5.882352941176471, 3.0303030303030303], 'bp': 1.0, 'sys_len': 36, 'ref_len': 24} Bleu: {'bleu': 0.08447773742536654, 'precisions': [0.25, 0.11428571428571428, 0.058823529411764705, 0.030303030303030304], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 36, 'reference_length': 24} Rouge: {'rouge1': 0.3137254901960784, 'rouge2': 0.12244897959183673, 'rougeL': 0.23529411764705882, 'rougeLsum': 0.3137254901960784} Sari: {'sari': 43.31548740023317} Flesh Reading Ease: 89.45 ---------------------------------------- Source: ['Bald kam sie zu dem Apfelbaum, der rief: »Ach schüttle mich, schüttle mich, wir Äpfel sind alle miteinander reif.'] Prediction: ['Eine Frau aus dem Kanton Bern rief zu einem Apfelbaum, der sie schüttle mich, schüttle mich.\nDie Frau war zuvor auf dem Apfelbaum, der sie Äpfel sind.\nDie Frau war zuvor auf dem Apfelbaum, der rief: "Ach schüttle mich, schüttle mich, wir Äpfel sind alle alle miteinander reif".'] Label: [['Meine Äpfel sind alle reif.\nSchüttel mich.\nUnd der Baum ruft: Schüttel mich. Nach einer Weile kommt die faule Marie zu dem Apfel∙baum.']] Sacrebleu: {'score': 3.592792413674024, 'counts': [13, 3, 1, 0], 'totals': [60, 59, 58, 57], 'precisions': [21.666666666666668, 5.084745762711864, 1.7241379310344827, 0.8771929824561403], 'bp': 1.0, 'sys_len': 60, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.21666666666666667, 0.05084745762711865, 0.017241379310344827, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.142857142857143, 'translation_length': 60, 'reference_length': 28} Rouge: {'rouge1': 0.30769230769230776, 'rouge2': 0.05263157894736842, 'rougeL': 0.15384615384615388, 'rougeLsum': 0.28205128205128205} Sari: {'sari': 41.28040018820161} Flesh Reading Ease: 76.25 ---------------------------------------- Source: ['« Die Faule aber antwortete: »Da hätt ich Lust, mich schmutzig zu machen,« und ging fort.'] Prediction: ['Die 20-Minuten-App-Hosts "Unchained" diskutieren am Freitagabend über ihre Leistungen und ihre Leistungen.\nIn der Leiste wurde die beiden auf Social Media gesprochen.\nDie beiden waren über ihre Fälle und ihre Leistungen auf Social Media.'] Label: [['Dann geht die faule Marie weiter.\nIch mache mich nicht schmutzig.\nAber die faule Marie antwortet: Nein.']] Sacrebleu: {'score': 1.2663302792223932, 'counts': [4, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [9.75609756097561, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.0975609756097561, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9523809523809523, 'translation_length': 41, 'reference_length': 21} Rouge: {'rouge1': 0.07272727272727272, 'rouge2': 0.0, 'rougeL': 0.07272727272727272, 'rougeLsum': 0.07272727272727272} Sari: {'sari': 49.48863636363637} Flesh Reading Ease: 45.85 ---------------------------------------- Source: ['»Ach, zieh mich raus, zieh mich raus, sonst verbrenn ich, ich bin schon längst ausgebacken. Als sie zu dem Backofen gelangte, schrie das Brot wieder:'] Prediction: ['Eine Frau wurde zum ersten Mal aufgefunden, dass sie zu dem Backofen gelangte.\nAls sie zu dem Backofen gelangte, schrie das Brot wieder.'] Label: [['Sonst verbrenne ich.\nZieh mich heraus.\nUnd hört das Brot rufen: Zieh mich heraus.\nDie faule Marie sieht den Backofen.']] Sacrebleu: {'score': 3.4901807086831904, 'counts': [5, 1, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [18.51851851851852, 3.8461538461538463, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.18518518518518517, 0.038461538461538464, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.08, 'translation_length': 27, 'reference_length': 25} Rouge: {'rouge1': 0.13636363636363635, 'rouge2': 0.04761904761904762, 'rougeL': 0.0909090909090909, 'rougeLsum': 0.13636363636363635} Sari: {'sari': 34.01691153049848} Flesh Reading Ease: 74.9 ---------------------------------------- Source: ['Sie kam, wie die andere, auf die schöne Wiese und ging auf demselben Pfade weiter.'] Prediction: ['Eine Frau wurde auf demselben Pfade weitergefunden.\nSie kam auf die schöne Wiese und ging auf demselben Pfade weiter.\nDie Frau wurde dabei von der Pfade geschossen.'] Label: [['Die faule Marie liegt auf einer Wiese.']] Sacrebleu: {'score': 1.7557381354086663, 'counts': [4, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [13.333333333333334, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.75, 'translation_length': 30, 'reference_length': 8} Rouge: {'rouge1': 0.17142857142857143, 'rouge2': 0.0, 'rougeL': 0.1142857142857143, 'rougeLsum': 0.1142857142857143} Sari: {'sari': 36.66666666666667} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Dann warf sie die Spule in den Brunnen und sprang selber hinein.'] Prediction: ['Eine Frau warf in den Brunnen eine Spule in den Brunnen und sprang selber hinein.\nSie warf sie die Spule in den Brunnen und sprang selber hinein.'] Label: [['Und springt dann selbst in den Brunnen hinein.\nDie faule Marie wirft die blutige Spule in den Brunnen.']] Sacrebleu: {'score': 13.65189729052536, 'counts': [11, 6, 3, 1], 'totals': [29, 28, 27, 26], 'precisions': [37.93103448275862, 21.428571428571427, 11.11111111111111, 3.8461538461538463], 'bp': 1.0, 'sys_len': 29, 'ref_len': 20} Bleu: {'bleu': 0.1365189729052536, 'precisions': [0.3793103448275862, 0.21428571428571427, 0.1111111111111111, 0.038461538461538464], 'brevity_penalty': 1.0, 'length_ratio': 1.45, 'translation_length': 29, 'reference_length': 20} Rouge: {'rouge1': 0.4444444444444445, 'rouge2': 0.23255813953488372, 'rougeL': 0.4, 'rougeLsum': 0.4} Sari: {'sari': 40.238095238095234} Flesh Reading Ease: 78.75 ---------------------------------------- Source: ['und damit ihre Spule blutig ward, stach sie sich in den Finger und stieß sich die Hand in die Dornhecke.'] Prediction: ['Eine Spule wurde in der Nacht auf Sonntag in der Nacht auf Sonntag in die Stadt Zürich von ihrem neuen Kindern geschlossen.\nDie Familie stellt sich in den Finger und stieß sich die Hand in die Dornhecke.'] Label: [['Und stich dir in den Finger.']] Sacrebleu: {'score': 3.7729138673427363, 'counts': [4, 2, 1, 0], 'totals': [39, 38, 37, 36], 'precisions': [10.256410256410257, 5.2631578947368425, 2.7027027027027026, 1.3888888888888888], 'bp': 1.0, 'sys_len': 39, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.10256410256410256, 0.05263157894736842, 0.02702702702702703, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.571428571428571, 'translation_length': 39, 'reference_length': 7} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.09523809523809523, 'rougeL': 0.13636363636363635, 'rougeLsum': 0.13636363636363635} Sari: {'sari': 40.90021761392729} Flesh Reading Ease: 79.6 ---------------------------------------- Source: ['Sie mußte sich an den Brunnen setzen und spinnen;'] Prediction: ['Eine Frau (24) wurde in der Nacht auf Sonntag von einem Brunnen-Brunnen-Titel getötet.\nSie war dabei und spinnen sich an den Brunnen setzen und spinnen.\nDie Frau war mit dem Brunnen-Titel auf den Brunnen setzen und spinnen.'] Label: [['Mach es so wie deine fleißige Stief∙schwester: Setz dich mit der Spule an den Brunnen.']] Sacrebleu: {'score': 3.865880063854098, 'counts': [6, 2, 1, 0], 'totals': [42, 41, 40, 39], 'precisions': [14.285714285714286, 4.878048780487805, 2.5, 1.2820512820512822], 'bp': 1.0, 'sys_len': 42, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.04878048780487805, 0.025, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4705882352941178, 'translation_length': 42, 'reference_length': 17} Rouge: {'rouge1': 0.17241379310344826, 'rouge2': 0.07142857142857144, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.17241379310344826} Sari: {'sari': 46.21212121212122} Flesh Reading Ease: 74.1 ---------------------------------------- Source: ['Das Mädchen erzählte alles was ihm begegnet war, und als die Mutter hörte, wie es zu dem großen Reichtum gekommen war, wollte sie der anderen häßlichen und faulen Tochter gern dasselbe Glück verschaffen.'] Prediction: ['Ein Mädchen wollte sich in einem großen Reichtum gefaulen und faulen Tochter verschaffen.\nDie Mutter hörte, wie es zu dem großen Reichtum gekommen war, wollte sie der anderen häßlichen und faulen Tochter gern dasselbe Glück verschaffen.'] Label: [['Und denkt: Meine faule Tochter Marie soll auch so viel Glück haben.\nDa wird die Stief∙mutter neidisch.\nMarie erzählt von Frau Holle.']] Sacrebleu: {'score': 1.2992493989257516, 'counts': [4, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [10.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5384615384615385, 'translation_length': 40, 'reference_length': 26} Rouge: {'rouge1': 0.1791044776119403, 'rouge2': 0.030769230769230767, 'rougeL': 0.11940298507462685, 'rougeLsum': 0.1791044776119403} Sari: {'sari': 35.79234972677596} Flesh Reading Ease: 56.7 ---------------------------------------- Source: ['Da ging es hinein zu seiner Mutter, und weil es so mit Gold bedeckt ankam, ward es von ihr und der Schwester gut aufgenommen.'] Prediction: ['Eine Mutter wurde mit Gold geschickt, wie sie ihr und der Schwester gut aufgenommen wurde.\nDie Mutter ging es hinein zu seiner Mutter, und weil es so mit Gold bedeckt ankam, wurde es von ihr und der Schwester gut aufgenommen.'] Label: [['Und auch die faule Stief∙schwester ist plötzlich sehr nett zu Marie.\nJetzt ist die Stief∙mutter plötzlich sehr nett zu Marie.\nDie Stief∙mutter sieht Marie.\nMarie geht zum Haus von der Stief∙mutter.']] Sacrebleu: {'score': 2.1400286214609148, 'counts': [6, 1, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [13.333333333333334, 2.272727272727273, 1.1627906976744187, 0.5952380952380952], 'bp': 1.0, 'sys_len': 45, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.022727272727272728, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2857142857142858, 'translation_length': 45, 'reference_length': 35} Rouge: {'rouge1': 0.23376623376623376, 'rouge2': 0.0, 'rougeL': 0.2077922077922078, 'rougeLsum': 0.2077922077922078} Sari: {'sari': 37.46498599439776} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['»Kikeriki, unsere goldene Jungfrau ist wieder hie.«'] Prediction: ['Die jungen Jungfrau ist wieder hie.\nDie jungen Jungfrau ist wieder hie.\nDie jungen Frau ist wieder hie.'] Label: [['Unsere Gold-Marie ist zurück.\nSo ein Glück.\nSo ein Glück.']] Sacrebleu: {'score': 2.568331954752977, 'counts': [4, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [19.047619047619047, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.19047619047619047, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6153846153846154, 'translation_length': 21, 'reference_length': 13} Rouge: {'rouge1': 0.0625, 'rouge2': 0.0, 'rougeL': 0.0625, 'rougeLsum': 0.0625} Sari: {'sari': 35.833333333333336} Flesh Reading Ease: 92.1 ---------------------------------------- Source: ['Darauf ward das Thor verschlossen, und das Mädchen befand sich oben auf der Welt, nicht weit von seiner Mutter Haus: und als es in den Hof kam, saß der Hahn auf dem Brunnen und rief:'] Prediction: ['Das Mädchen wurde von seiner Mutter Haus in den Hof geschlossen.\nDer Thor verschlossen und rief, wie das Mädchen befand sich oben auf der Welt.\nDer Mädchen war nicht weit von seiner Mutter Haus: und als es in den Hof kam, saß der Hahn auf dem Brunnen und rief:'] Label: [['Der Hahn ruft: Auf dem Brunnen sitzt ein Hahn.\nJetzt ist Marie zu Hause.\nUnd plötzlich ist Marie wieder am Brunnen.\nDann geht Marie durch das Tor.']] Sacrebleu: {'score': 1.8695672182779193, 'counts': [8, 1, 0, 0], 'totals': [55, 54, 53, 52], 'precisions': [14.545454545454545, 1.8518518518518519, 0.9433962264150944, 0.4807692307692308], 'bp': 1.0, 'sys_len': 55, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.14545454545454545, 0.018518518518518517, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.71875, 'translation_length': 55, 'reference_length': 32} Rouge: {'rouge1': 0.17500000000000002, 'rouge2': 0.07692307692307691, 'rougeL': 0.15, 'rougeLsum': 0.17500000000000002} Sari: {'sari': 38.68800827639665} Flesh Reading Ease: 87.65 ---------------------------------------- Source: ['»Das sollst du haben, weil du so fleißig gewesen bist,« sprach die Frau Holle und gab ihm auch die Spule wieder, die ihm in den Brunnen gefallen war.'] Prediction: ['Eine Frau war mit ihrem Partner auf der Brunnen in den Brunnen gefallen.\nSie war dabei, dass ihm so fleißig gewesen bist, und gab ihm auch die Spule wieder.\nDie Frau war dabei, dass ihm in den Brunnen gefallen war.'] Label: [['Und Frau Holle gibt der fleißigen Marie die Spule aus dem Brunnen.\nDu warst sehr fleißig.\nDas Gold ist für dich.\nFrau Holle sagt:']] Sacrebleu: {'score': 2.376865647368116, 'counts': [10, 1, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [21.73913043478261, 2.2222222222222223, 1.1363636363636365, 0.5813953488372093], 'bp': 1.0, 'sys_len': 46, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.022222222222222223, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6428571428571428, 'translation_length': 46, 'reference_length': 28} Rouge: {'rouge1': 0.2647058823529412, 'rouge2': 0.060606060606060615, 'rougeL': 0.1764705882352941, 'rougeLsum': 0.2647058823529412} Sari: {'sari': 35.99456557698278} Flesh Reading Ease: 84.8 ---------------------------------------- Source: ['Das Thor ward aufgethan, und wie das Mädchen gerade darunter stand, fiel ein gewaltiger Goldregen, und alles Gold blieb an ihm hängen, sodaß es über und über davon bedeckt war.'] Prediction: ['Ein Mädchen fiel ein gewaltiger Goldregen, und alles Gold blieb an ihm hängen, sodaß es über und über davon bedeckt war.\nDas Mädchen war dabei aufgethan, wie das Mädchen gerade darunter stand.'] Label: [['Und das Gold bleibt an Marie kleben.\nDer Regen ist aus Gold.\nAber der Regen ist kein normaler Regen.\nPlötzlich regnet es.']] Sacrebleu: {'score': 1.559480765382838, 'counts': [6, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [16.216216216216218, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.16216216216216217, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4230769230769231, 'translation_length': 37, 'reference_length': 26} Rouge: {'rouge1': 0.1694915254237288, 'rouge2': 0.0, 'rougeL': 0.13559322033898305, 'rougeLsum': 0.1694915254237288} Sari: {'sari': 33.93817204301075} Flesh Reading Ease: 70.4 ---------------------------------------- Source: ['« Sie nahm es darauf bei der Hand und führte es vor ein großes Thor.'] Prediction: ['Eine Frau wurde von einem großen Thor aufgefunden.\nSie nahm es darauf bei der Hand und führte es vor einem großen Thor.\nDie Frau war dabei, dass sie sich dabei nahm.'] Label: [['Und Frau Holle geht mit Marie zu einem Tor.\nFrau Holle nimmt Marie an die Hand.']] Sacrebleu: {'score': 1.6526850525490153, 'counts': [6, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [17.142857142857142, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.17142857142857143, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9444444444444444, 'translation_length': 35, 'reference_length': 18} Rouge: {'rouge1': 0.24, 'rouge2': 0.0, 'rougeL': 0.12, 'rougeLsum': 0.2} Sari: {'sari': 38.75} Flesh Reading Ease: 87.8 ---------------------------------------- Source: ['« Die Frau Holle sagte: »Es gefällt mir, daß du wieder nach Hause verlangst, und weil du mir so treu gedient hast, so will ich dich selbst wieder hinaufbringen.'] Prediction: ['Eine Frau aus der Schweiz wurde von ihrem Mann aufgefunden, weil ihn wieder nach Hause verlangst.\nDie Frau warnt, dass ihn wieder nach Hause verlangst und weil ihn so treu gedient hast, so will ich dich selbst wieder hinaufbringen.'] Label: [['Aber Frau Holle versteht das.']] Sacrebleu: {'score': 0.9896324688555468, 'counts': [2, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [4.545454545454546, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.045454545454545456, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.333333333333333, 'translation_length': 44, 'reference_length': 6} Rouge: {'rouge1': 0.045454545454545456, 'rouge2': 0.0, 'rougeL': 0.045454545454545456, 'rougeLsum': 0.045454545454545456} Sari: {'sari': 33.40172558922559} Flesh Reading Ease: 78.6 ---------------------------------------- Source: ['Endlich sagte es zu ihr: »Ich habe den Jammer nach Hause kriegt, und wenn es mir auch noch so gut hier unten geht, so kann ich doch nicht länger bleiben, ich muß wieder hinauf zu den Meinigen.'] Prediction: ['Ein Jammer hat seinen Jammer nach Hause kriegt, wenn es mir auch noch so gut hier unten geht, so kann ich doch nicht länger bleiben, ich muß wieder hinauf zu den Meinigen.\nDie beiden waren seit Jahren im Jammern, ein Jahr als selbst im Jammern.'] Label: [['Und meine Stief∙schwester.\nIch vermisse nämlich meine Stief∙mutter.\nIch will nach Hause.\nAber ich kann nicht länger bei dir bleiben.\nEs geht mir sehr gut bei dir.\nUnd sagt: Liebe Frau Holle: Also geht Marie zu Frau Holle.']] Sacrebleu: {'score': 2.713166622937034, 'counts': [13, 2, 0, 0], 'totals': [51, 50, 49, 48], 'precisions': [25.49019607843137, 4.0, 1.0204081632653061, 0.5208333333333334], 'bp': 1.0, 'sys_len': 51, 'ref_len': 46} Bleu: {'bleu': 0.0, 'precisions': [0.2549019607843137, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.108695652173913, 'translation_length': 51, 'reference_length': 46} Rouge: {'rouge1': 0.31818181818181823, 'rouge2': 0.06976744186046512, 'rougeL': 0.1818181818181818, 'rougeLsum': 0.29545454545454547} Sari: {'sari': 36.09722222222223} Flesh Reading Ease: 75.6 ---------------------------------------- Source: ['ob es ihm hier gleich viel tausendmal besser ging als zu Hause, so hatte es doch ein Verlangen dahin.'] Prediction: ['Ein Mann hatte sich in der Nacht auf Sonntag in der Nacht auf Sonntag in die Nacht auf Sonntag zu Hause geschlossen.\nEr hatte sich aber nicht mehr gefunden, sondern auch mehr als ein Verlangen dahin.'] Label: [['Und meine Stief∙schwester.\nUnd trotzdem vermisse ich meine Stief∙mutter.\nZu Hause ist mein Leben nicht so schön.\nMarie denkt:']] Sacrebleu: {'score': 1.3339264902154053, 'counts': [4, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [10.256410256410257, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.10256410256410256, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6956521739130435, 'translation_length': 39, 'reference_length': 23} Rouge: {'rouge1': 0.10344827586206896, 'rouge2': 0.03571428571428571, 'rougeL': 0.10344827586206896, 'rougeLsum': 0.10344827586206896} Sari: {'sari': 40.2928791638469} Flesh Reading Ease: 80.1 ---------------------------------------- Source: ['Nun war es eine Zeitlang bei der Frau Holle, da ward es traurig und wußte anfangs selbst nicht, was ihm fehle, endlich merkte es, daß es Heimweh war;'] Prediction: ['Eine Frau wurde von der Frau Holle aufgefunden, wie sie sich auf ihrem Heimweh fehle.\nDie Frau war zuvor auf der Suche, wie sie sich nicht merkte.\nNun hat sie sich auf dem Heimweh gefunden, wie sie sich nicht merkte.'] Label: [['Marie hat Heimweh.\nUnd denkt: Warum bin ich traurig?\nAber dann wird Marie traurig.\nUnd die Wochen vergehen.']] Sacrebleu: {'score': 1.188432823684058, 'counts': [5, 0, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [10.869565217391305, 1.1111111111111112, 0.5681818181818182, 0.29069767441860467], 'bp': 1.0, 'sys_len': 46, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.10869565217391304, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 46, 'reference_length': 23} Rouge: {'rouge1': 0.10344827586206896, 'rouge2': 0.0, 'rougeL': 0.06896551724137932, 'rougeLsum': 0.10344827586206896} Sari: {'sari': 43.54341736694678} Flesh Reading Ease: 84.8 ---------------------------------------- Source: ['Es besorgte auch alles nach ihrer Zufriedenheit und schüttelte ihr das Bett immer gewaltig auf, daß die Federn wie Schneeflocken umherflogen;'] Prediction: ['Ein Bett wurde immer gewaltig aufgefunden, da sich die Federn wie Schneeflocken umherflogen.\nDas Bett wurde immer gewaltig aufgefunden und schüttelte ihr das Bett immer gewaltig auf.\nDie Federn wollen ihr das Bett umherflogen.'] Label: [['Und werden zu Schnee.\nDann fliegen nämlich die Bett∙federn auf die Erde.\nJeden Tag muss Marie die Bett∙decke von Frau Holle gut ausschütteln.\nUnd Marie macht das Bett von Frau Holle.\nUnd Marie hilft Frau Holle bei der Arbeit im Haus.']] Sacrebleu: {'score': 2.1477445692651176, 'counts': [7, 1, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [18.42105263157895, 2.7027027027027026, 1.3888888888888888, 0.7142857142857143], 'bp': 0.8101577349324267, 'sys_len': 38, 'ref_len': 46} Bleu: {'bleu': 0.0, 'precisions': [0.18421052631578946, 0.02702702702702703, 0.0, 0.0], 'brevity_penalty': 0.8101577349324267, 'length_ratio': 0.8260869565217391, 'translation_length': 38, 'reference_length': 46} Rouge: {'rouge1': 0.225, 'rouge2': 0.05128205128205128, 'rougeL': 0.15, 'rougeLsum': 0.225} Sari: {'sari': 39.613237639553425} Flesh Reading Ease: 57.55 ---------------------------------------- Source: ['« Weil die Alte ihm so gut zusprach, so faßte sich das Mädchen ein Herz, willigte ein und begab sich in ihren Dienst.'] Prediction: ['Ein Mädchen wurde im Alter von 99 Jahren in einem Zürcher Wohnquartier von einem Mädchen getötet.\nDie Alte ihm so gut zusprach, softe sich das Mädchen ein Herz und begab sich in ihren Dienst.'] Label: [['Und so bleibt Marie bei Frau Holle.\nUnd ich will für Frau Holle arbeiten.\nIch will bei Frau Holle bleiben.\nFrau Holle ist nett.\nMarie denkt:']] Sacrebleu: {'score': 1.3113617852675474, 'counts': [3, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [8.108108108108109, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.08108108108108109, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1935483870967742, 'translation_length': 37, 'reference_length': 31} Rouge: {'rouge1': 0.060606060606060615, 'rouge2': 0.0, 'rougeL': 0.060606060606060615, 'rougeLsum': 0.030303030303030307} Sari: {'sari': 34.32539682539683} Flesh Reading Ease: 75.25 ---------------------------------------- Source: ['ich bin die Frau Holle.'] Prediction: ['Die Frau Holle ist im Alter von 99 Jahren gestorben.\nSie ist eine Frau, die ihn auf dem Alter von 99 Jahren verstorben hat.\nSie ist eine Frau, die ihn auf dem Alter von 99 Jahren verstorben hat, gestorben.'] Label: [['Ich bin Frau Holle.']] Sacrebleu: {'score': 1.7995423963268318, 'counts': [3, 1, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [6.666666666666667, 2.272727272727273, 1.1627906976744187, 0.5952380952380952], 'bp': 1.0, 'sys_len': 45, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.022727272727272728, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 9.0, 'translation_length': 45, 'reference_length': 5} Rouge: {'rouge1': 0.09302325581395347, 'rouge2': 0.048780487804878044, 'rougeL': 0.09302325581395347, 'rougeLsum': 0.09302325581395347} Sari: {'sari': 33.888888888888886} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ["bleib bei mir, wenn du alle Arbeit im Hause ordentlich thun willst, so soll dir's gut gehen."] Prediction: ['Die Schweizer Wirtschaftler haben sich mit dem Coronavirus infiziert.\nSie haben sich mit dem Virus infiziert und sie sich mit dem Virus infiziert.\nDie Schweizer Wirtschaftler haben sich mit dem Virus infiziert.'] Label: [['Ich werde mich gut um dich kümmern.\nUnd du kannst mir bei der Arbeit im Haus helfen.\nDu kannst bei mir bleiben.']] Sacrebleu: {'score': 1.389736936231864, 'counts': [3, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [8.571428571428571, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.08571428571428572, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 35, 'reference_length': 25} Rouge: {'rouge1': 0.03636363636363636, 'rouge2': 0.0, 'rougeL': 0.03636363636363636, 'rougeLsum': 0.03636363636363636} Sari: {'sari': 49.122807017543856} Flesh Reading Ease: 64.0 ---------------------------------------- Source: ['Was fürchtest du dich, liebes Kind?'] Prediction: ['Im Alter von 99 Jahren ist es zu sehen, wie es sich um einen Kind war.\nIm Interview mit dem "Unchained" spricht der Serbe über die Geschichte des Kindes.\nIm Interview spricht er über seine Erinnerungen, die sich im Text zu sehen haben.'] Label: [['Hab keine Angst.']] Sacrebleu: {'score': 0.7291698644541256, 'counts': [1, 0, 0, 0], 'totals': [50, 49, 48, 47], 'precisions': [2.0, 1.0204081632653061, 0.5208333333333334, 0.26595744680851063], 'bp': 1.0, 'sys_len': 50, 'ref_len': 4} Bleu: {'bleu': 0.0, 'precisions': [0.02, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 12.5, 'translation_length': 50, 'reference_length': 4} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 58.78378378378378} Flesh Reading Ease: 77.95 ---------------------------------------- Source: ['Die alte Frau aber rief ihm nach: »'] Prediction: ['Eine Frau wurde von ihm nach ihrem Partner aufgefunden, dass sie ihn nach ihrem Partner nachgefunden hat.\nDie alte Frau rief ihm nach: Sie rief ihm nach ihrem Partner.'] Label: [['Aber die alte Frau mit den großen Zähnen ruft:']] Sacrebleu: {'score': 2.4858281414101677, 'counts': [3, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [9.090909090909092, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3, 'translation_length': 33, 'reference_length': 10} Rouge: {'rouge1': 0.15, 'rouge2': 0.10526315789473682, 'rougeL': 0.15, 'rougeLsum': 0.15} Sari: {'sari': 43.65079365079365} Flesh Reading Ease: 77.75 ---------------------------------------- Source: ['Endlich kam es zu einem kleinen Hause, daraus guckte eine alte Frau, weil sie aber so große Zähne hatte, ward ihm angst, und es wollte fortlaufen.'] Prediction: ['Eine alte Frau wollte fortlaufen, weil sie aber so große Zähne hatte, wollte ihm ihm angsten.\nDie Frau wollte fortlaufen, weil sie aber so große Zähne hatte, wollte ihm ihm angsten.'] Label: [['Und will weglaufen.\nDeshalb hat Marie Angst.\nUnd die Frau hat sehr große Zähne.\nDie Frau ist alt.\nDie Frau schaut aus dem Fenster.\nUnd in dem Haus wohnt eine Frau.\nDas Haus ist klein.\nNach einer Weile kommt Marie zu einem Haus.']] Sacrebleu: {'score': 3.4750166229884245, 'counts': [7, 3, 1, 0], 'totals': [37, 36, 35, 34], 'precisions': [18.91891891891892, 8.333333333333334, 2.857142857142857, 1.4705882352941178], 'bp': 0.6849712733063198, 'sys_len': 37, 'ref_len': 51} Bleu: {'bleu': 0.0, 'precisions': [0.1891891891891892, 0.08333333333333333, 0.02857142857142857, 0.0], 'brevity_penalty': 0.6849712733063196, 'length_ratio': 0.7254901960784313, 'translation_length': 37, 'reference_length': 51} Rouge: {'rouge1': 0.2, 'rouge2': 0.10256410256410256, 'rougeL': 0.17500000000000002, 'rougeLsum': 0.2} Sari: {'sari': 36.47238560843327} Flesh Reading Ease: 70.9 ---------------------------------------- Source: ['« Da schüttelte es den Baum, daß die Äpfel fielen als regneten sie, und schüttelte bis keiner mehr oben war; und als es alle in einen Haufen zusammengelegt hatte, ging es wieder weiter.'] Prediction: ['Eine Äpfel fielen als regneten sie, als sie in einen Haufen zusammengelegt hatte.\nDie Äpfel war bis keiner mehr oben, als es alle in einen Haufen zusammengelegt hatte.\nDie Äpfel war bis keiner mehr oben, als sie alle in einen Haufen zusammengelegt hatte.'] Label: [['Dann geht Marie weiter.\nMarie legt die Äpfel auf einen Haufen.\nUnd die Äpfel fallen auf den Boden.\nMarie schüttelt den Baum.']] Sacrebleu: {'score': 2.0367079635817533, 'counts': [7, 1, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [14.285714285714286, 2.0833333333333335, 1.0638297872340425, 0.5434782608695652], 'bp': 1.0, 'sys_len': 49, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.020833333333333332, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8846153846153846, 'translation_length': 49, 'reference_length': 26} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.09374999999999999, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 34.64935686918446} Flesh Reading Ease: 66.25 ---------------------------------------- Source: ['Danach ging es weiter und kam zu einem Baum, der hing voll Äpfel, und rief ihm zu: »Ach schüttle mich, schüttle mich, wir Äpfel sind alle miteinander reif.'] Prediction: ['Ein Baum, der voll Äpfel hing voll Äpfel, rief ihm zu: "Ach schüttle mich, schüttle mich, wir Äpfel sind alle miteinander reif".\nDie beiden waren zuvor auf dem Baum, der hing voll Äpfel, und rief ihm zu.'] Label: [['Meine Äpfel sind alle reif.\nSchüttel mich. Da ruft der Baum: Schüttel mich.\nDie Äpfel sind alle rot.\nAm Baum sind viele Äpfel.\nNach einer Weile kommt Marie zu einem Baum.\nDann geht Marie weiter.']] Sacrebleu: {'score': 4.761298946116127, 'counts': [16, 3, 1, 0], 'totals': [48, 47, 46, 45], 'precisions': [33.333333333333336, 6.382978723404255, 2.1739130434782608, 1.1111111111111112], 'bp': 1.0, 'sys_len': 48, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.06382978723404255, 0.021739130434782608, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1162790697674418, 'translation_length': 48, 'reference_length': 43} Rouge: {'rouge1': 0.39473684210526316, 'rouge2': 0.05405405405405406, 'rougeL': 0.2894736842105264, 'rougeLsum': 0.368421052631579} Sari: {'sari': 36.70074808232703} Flesh Reading Ease: 79.6 ---------------------------------------- Source: ['« Da trat es herzu und holte mit dem Brotschieber alles nacheinander heraus.'] Prediction: ['Ein Mann hatte sich mit einem Brotschieber in der Nacht auf Sonntag in einem schweren Grosseinsatz gefunden.\nDer Mann war dabei nicht mehr, sondern war dabei nicht mehr.'] Label: [['Und holt das Brot heraus.\nAber Marie geht zu dem Backofen.']] Sacrebleu: {'score': 1.4262733286728257, 'counts': [2, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [6.451612903225806, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.06451612903225806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3846153846153846, 'translation_length': 31, 'reference_length': 13} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 49.46719946719947} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['das Brot aber rief: »Ach, zieh mich raus, zieh mich raus, sonst verbrenn ich: ich bin schon längst ausgebacken.'] Prediction: ['Ein 20-Minuten-Radio-Host hat seinen 20-Minuten-Radio-Host über seine Frage über seine Frage über seinen Podcast-Hosts und ihre Leute veröffentlicht.\nIn der Folge wurde er von der 20-Minuten-App veröffentlicht.'] Label: [['Sonst verbrenne ich.\nZieh mich heraus.\nDa ruft das Brot: Zieh mich heraus.']] Sacrebleu: {'score': 1.2557690800697192, 'counts': [2, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [5.714285714285714, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.05714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0588235294117645, 'translation_length': 35, 'reference_length': 17} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 47.74064171122994} Flesh Reading Ease: 31.95 ---------------------------------------- Source: ['Auf dieser Wiese ging es fort und kam zu einem Backofen, der war voller Brot;'] Prediction: ['Ein Backofen kam zu einem Backofen, der war voller Brot.\nDer Opfer war voller Brot.'] Label: [['Das Brot ist fertig gebacken.\nIm Backofen ist nämlich Brot.\nDer Backofen dampft.\nAuf der Wiese steht ein alter Backofen.\nUnd geht über die Wiese.\nDann steht Marie auf.']] Sacrebleu: {'score': 3.9730343419958225, 'counts': [8, 2, 1, 0], 'totals': [18, 17, 16, 15], 'precisions': [44.44444444444444, 11.764705882352942, 6.25, 3.3333333333333335], 'bp': 0.3888955639892229, 'sys_len': 18, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.4444444444444444, 0.11764705882352941, 0.0625, 0.0], 'brevity_penalty': 0.3888955639892228, 'length_ratio': 0.5142857142857142, 'translation_length': 18, 'reference_length': 35} Rouge: {'rouge1': 0.31111111111111117, 'rouge2': 0.046511627906976744, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.31111111111111117} Sari: {'sari': 36.54605263157895} Flesh Reading Ease: 90.6 ---------------------------------------- Source: ['Es verlor die Besinnung, und als es erwachte und wieder zu sich selber kam, war es auf einer schönen Wiese, wo die Sonne schien und viel tausend Blumen standen.'] Prediction: ['Eine schönen Wiese, wo die Sonne schien und viel tausend Blumen standen, verlor die Besinnung.\nEs verlor die Besinnung, als es erwachte und wieder zu sich selber kam, als es erwachte und wieder zu sich selber kam.'] Label: [['Die Sonne scheint.\nMarie liegt auf einer Wiese.\nUnd plötzlich ist der Brunnen weg.\nDabei dreht sich alles.\nMarie fällt immer tiefer in den Brunnen.']] Sacrebleu: {'score': 1.2744039505750158, 'counts': [5, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [11.627906976744185, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.11627906976744186, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4333333333333333, 'translation_length': 43, 'reference_length': 30} Rouge: {'rouge1': 0.15384615384615383, 'rouge2': 0.031746031746031744, 'rougeL': 0.12307692307692308, 'rougeLsum': 0.15384615384615383} Sari: {'sari': 30.11298580874052} Flesh Reading Ease: 67.9 ---------------------------------------- Source: ['« Da ging das Mädchen zu dem Brunnen zurück und wußte nicht, was es anfangen sollte, und in seiner Herzensangst sprang es in den Brunnen hinein, um die Spule zu holen.'] Prediction: ['Ein Mädchen wurde in einem Brunnen in seiner Herzensangst in den Brunnen hinein, um die Spule zu holen.\nDie Spule wurde von einem Mädchen zurückgezogen.\nDie Spule wurde von der Brunnen entdeckt.'] Label: [['Deshalb springt Marie in den Brunnen.\nMarie denkt: Was soll ich jetzt tun?\nMarie muss die Spule aus dem Brunnen holen.\nAber Marie geht zurück zum Brunnen.']] Sacrebleu: {'score': 6.280797907983447, 'counts': [11, 4, 1, 0], 'totals': [36, 35, 34, 33], 'precisions': [30.555555555555557, 11.428571428571429, 2.9411764705882355, 1.5151515151515151], 'bp': 1.0, 'sys_len': 36, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.3055555555555556, 0.11428571428571428, 0.029411764705882353, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.125, 'translation_length': 36, 'reference_length': 32} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.09836065573770492, 'rougeL': 0.25396825396825395, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 41.55174470704804} Flesh Reading Ease: 69.85 ---------------------------------------- Source: ['»Hast du die Spule hinunterfallen lassen, so hol sie auch wieder herauf.'] Prediction: ['Eine Frau wurde in der Nacht auf Sonntag von einem Auto in der Nacht auf Sonntag von einem Auto aufgefunden.\nDie Frau war mit dem Auto aufgefunden und warum sie auch wieder herauf.\nDie Frau war mit dem Auto hinunterfallen lassen, so holte sie auch wieder herauf.'] Label: [['Und hol die Spule wieder heraus.\nDann geh zurück zum Brunnen.\nDu hast die Spule in den Brunnen fallen lassen?']] Sacrebleu: {'score': 1.0683243644556364, 'counts': [5, 0, 0, 0], 'totals': [51, 50, 49, 48], 'precisions': [9.803921568627452, 1.0, 0.5102040816326531, 0.2604166666666667], 'bp': 1.0, 'sys_len': 51, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.09803921568627451, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.217391304347826, 'translation_length': 51, 'reference_length': 23} Rouge: {'rouge1': 0.17647058823529413, 'rouge2': 0.0, 'rougeL': 0.1176470588235294, 'rougeLsum': 0.17647058823529413} Sari: {'sari': 30.727124183006538} Flesh Reading Ease: 70.7 ---------------------------------------- Source: ['Sie schalt es aber so heftig und war so unbarmherzig, daß sie sprach:'] Prediction: ['Eine Frau wurde von ihrem Mann aufgefunden und schalt es aber so heftig und war so unbarmherzig, daß sie sprach: "Ich schalt es aber so heftig und war so unbarmherzig, daß sie sprach: Ich schalt es aber so heftig und war so unbarmherzig, daß sie sprach: "Ich schalt es aber so heftig und war so unbarmherzig, daß sie sprach: Ich schalt es aber so heftig und war so unbarmherzig, daß sie sprach: Ich schalt es aber so heftig und war so unbarmherzig, daß sie sprach: "Ich schalt es aber so heftig und war so unbarmherzig, daß sie sprach: Ich schalt es aber so heftig und war so unbarmherzig, daß sie sprach:'] Label: [['Und sagt: Du dummes Kind.\nDa wird die Stief∙mutter sehr böse.']] Sacrebleu: {'score': 0.2751492404015085, 'counts': [1, 0, 0, 0], 'totals': [130, 129, 128, 127], 'precisions': [0.7692307692307693, 0.3875968992248062, 0.1953125, 0.0984251968503937], 'bp': 1.0, 'sys_len': 130, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.007692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 9.285714285714286, 'translation_length': 130, 'reference_length': 14} Rouge: {'rouge1': 0.03225806451612903, 'rouge2': 0.0, 'rougeL': 0.03225806451612903, 'rougeLsum': 0.03225806451612903} Sari: {'sari': 35.55555555555556} Flesh Reading Ease: -7.06 ---------------------------------------- Source: ['sie sprang ihm aber aus der Hand und fiel hinab.'] Prediction: ['Ein Mann hatte sich mit einem Hand aus der Hand und fiel hinab.\nDie Polizei fiel dabei aus, dass er sich aus der Hand fiel.\nDie Polizei fiel dabei aus, dass er sich aus der Hand fiel hinab.'] Label: [['Und versinkt.\nDeshalb fällt die blutige Spule in den Brunnen.\nAber Marie passt nicht auf.']] Sacrebleu: {'score': 1.121617874316939, 'counts': [3, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [6.976744186046512, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.06976744186046512, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.388888888888889, 'translation_length': 43, 'reference_length': 18} Rouge: {'rouge1': 0.07407407407407407, 'rouge2': 0.0, 'rougeL': 0.07407407407407407, 'rougeLsum': 0.07407407407407407} Sari: {'sari': 35.25} Flesh Reading Ease: 91.25 ---------------------------------------- Source: ['Nun trug es sich zu, daß die Spule einmal ganz blutig war, da bückte es sich damit in den Brunnen und wollte sie abwaschen;'] Prediction: ['Eine Spule in den Brunnen wollte abwaschen.\nDie Spule wollte abwaschen, da sie in den Brunnen trug.\nDie Spule wollte sich damit in den Brunnen abwaschen.'] Label: [['Marie will die blutige Spule im Brunnen waschen.\nUnd auch die Spule mit der Wolle wird dabei blutig.']] Sacrebleu: {'score': 1.8564670505078418, 'counts': [5, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 30, 'reference_length': 20} Rouge: {'rouge1': 0.2272727272727273, 'rouge2': 0.04761904761904763, 'rougeL': 0.2272727272727273, 'rougeLsum': 0.2272727272727273} Sari: {'sari': 38.400488400488406} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['Das arme Mädchen mußte sich täglich auf die große Straße bei einem Brunnen setzen, und mußte soviel spinnen, daß ihm das Blut aus den Fingern sprang.'] Prediction: ['Ein Mädchen (27) ist in einem Brunnen in der Nähe von einem Brunnen gefunden.\nDabei wurde das Blut aus den Fingern gefunden.\nDie Frau war dabei, dass ihm das Blut aus den Fingern sprang.'] Label: [['An einem Tag sticht sich die fleißige Marie bei der Arbeit in den Finger.\nUnd mit einem Spinn∙rad Wolle zu einem Faden machen.\nJeden Tag muss die fleißige Marie am Brunnen sitzen.']] Sacrebleu: {'score': 1.591249037992919, 'counts': [9, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [22.5, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.225, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 40, 'reference_length': 35} Rouge: {'rouge1': 0.19718309859154928, 'rouge2': 0.0, 'rougeL': 0.11267605633802817, 'rougeLsum': 0.16901408450704225} Sari: {'sari': 36.49626517273576} Flesh Reading Ease: 86.8 ---------------------------------------- Source: ['Sie hatte aber die häßliche und faule, weil sie ihre rechte Tochter war, viel lieber, und die andere mußte alle Arbeit thun und der Aschenputtel im Hause sein.'] Prediction: ['Eine Frau war mit ihrem rechten Tochter auf der Aschenputtel im Hause.\nSie faule aber die häßliche und faule, weil sie ihre rechte Tochter war, viel lieber, und die andere mußte alle Arbeit thun und der Aschenputtel im Hause sein.'] Label: [['Deshalb muss die fleißige Marie die ganze Arbeit allein machen: Die Frau hat die faule Marie viel lieber.\nDie faule Marie ist nämlich ihr eigenes Kind.\nDie Frau hat aber die faule Marie viel lieber.']] Sacrebleu: {'score': 2.9613343168730286, 'counts': [11, 2, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [24.444444444444443, 4.545454545454546, 1.1627906976744187, 0.5952380952380952], 'bp': 1.0, 'sys_len': 45, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.24444444444444444, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1538461538461537, 'translation_length': 45, 'reference_length': 39} Rouge: {'rouge1': 0.2278481012658228, 'rouge2': 0.05194805194805195, 'rougeL': 0.1772151898734177, 'rougeLsum': 0.20253164556962025} Sari: {'sari': 38.84808627752176} Flesh Reading Ease: 66.4 ---------------------------------------- Source: ['Eine Wittwe hatte zwei Töchter, davon war die eine schön und fleißig, die andere häßlich und faul.'] Prediction: ['Eine Wittwe hatte zwei Töchter, davon war die eine schön und fleißig, die andere häßlich und faulen.\nDie Wittwe hatte zwei Töchter, davon war die eine schön und fleißig, die andere häßlich und faulen.'] Label: [['Und faul.\nAber die andere Tochter ist hässlich.\nUnd fleißig.\nDie eine Tochter ist schön.\nEine Frau hat 2 Töchter.']] Sacrebleu: {'score': 3.2674392554094007, 'counts': [10, 2, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [25.0, 5.128205128205129, 1.3157894736842106, 0.6756756756756757], 'bp': 1.0, 'sys_len': 40, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.05128205128205128, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 40, 'reference_length': 25} Rouge: {'rouge1': 0.4242424242424242, 'rouge2': 0.21875, 'rougeL': 0.2727272727272727, 'rougeLsum': 0.4242424242424242} Sari: {'sari': 21.14971554626727} Flesh Reading Ease: 69.4 ---------------------------------------- Source: ['Und da wurde die Hochzeit des Königssohns mit dem Dornröschen in aller Pracht gefeiert, und sie lebten vergnügt bis an ihr Ende.'] Prediction: ['Die Hochzeit des Königssohns wurde in aller Pracht gefeiert.\nSie lebten bis an ihr Ende.\nDie Hochzeit wurde mit dem Dornröschen in aller Pracht gefeiert.'] Label: [['Und Dorn∙röschen und der Prinz leben für immer glücklich zusammen.\nUnd alle Menschen im Land feiern ein großes Fest.\nDorn∙röschen und der Prinz heiraten.']] Sacrebleu: {'score': 1.7574239156849023, 'counts': [3, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [10.714285714285714, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.10714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.037037037037037, 'translation_length': 28, 'reference_length': 27} Rouge: {'rouge1': 0.034482758620689655, 'rouge2': 0.0, 'rougeL': 0.034482758620689655, 'rougeLsum': 0.034482758620689655} Sari: {'sari': 32.00757575757576} Flesh Reading Ease: 78.1 ---------------------------------------- Source: ['die Fliegen an den Wänden krochen weiter:'] Prediction: ['Die Fliegen in den Wänden krochen weiterhin weiter: Die Fliegen krochen weiterhin weiterhin: Die Fliegen krochen weiterhin weiterhin: Die Fliegen krochen weiterhin weiterhin:'] Label: [['Und die Fliegen an der Wand.']] Sacrebleu: {'score': 1.387819277861591, 'counts': [1, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [3.7037037037037037, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.037037037037037035, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.857142857142857, 'translation_length': 27, 'reference_length': 7} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.07142857142857142, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 35.0} Flesh Reading Ease: 40.0 ---------------------------------------- Source: ['die Tauben auf dem Dache zogen das Köpfchen unterm Flügel hervor, sahen umher und flogen ins Feld;'] Prediction: ['Eine Tauben auf dem Dache zogen das Köpfchen unterm Flügel hervor.\nDie Tauben flogen ins Feld.'] Label: [['Die Tauben auf dem Dach.']] Sacrebleu: {'score': 10.052686727030013, 'counts': [5, 3, 1, 0], 'totals': [18, 17, 16, 15], 'precisions': [27.77777777777778, 17.647058823529413, 6.25, 3.3333333333333335], 'bp': 1.0, 'sys_len': 18, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.17647058823529413, 0.0625, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 18, 'reference_length': 6} Rouge: {'rouge1': 0.3478260869565218, 'rouge2': 0.2857142857142857, 'rougeL': 0.2608695652173913, 'rougeLsum': 0.3478260869565218} Sari: {'sari': 44.08459595959596} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Und die Pferde im Hof standen auf und rüttelten sich;'] Prediction: ['Im Hof in Wil SG wurde eine Pferde von einem Hof rüttelten sich.\nDie Pferde rüttelten sich und rüttelten sich.\nDie Pferde im Hof standen auf und rüttelten sich.'] Label: [['Die Pferde im Stall.\nUnd auch die Tiere erwachen:']] Sacrebleu: {'score': 4.6398855339878, 'counts': [4, 2, 1, 0], 'totals': [32, 31, 30, 29], 'precisions': [12.5, 6.451612903225806, 3.3333333333333335, 1.7241379310344827], 'bp': 1.0, 'sys_len': 32, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.06451612903225806, 0.03333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.909090909090909, 'translation_length': 32, 'reference_length': 11} Rouge: {'rouge1': 0.2380952380952381, 'rouge2': 0.1, 'rougeL': 0.19047619047619047, 'rougeLsum': 0.19047619047619047} Sari: {'sari': 44.60714285714286} Flesh Reading Ease: 82.55 ---------------------------------------- Source: ['Da gingen sie zusammen herab, und der König erwachte und die Königin, und der ganze Hofstaat, und sahen einander mit großen Augen an.'] Prediction: ['Die Königin und der Königin haben sich in der Nacht auf Sonntag in der Nacht auf Sonntag zusammengeben.\nSie waren zusammen mit großen Augen angekündigt.\nDie beiden waren nicht nur, sondern auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch'] Label: [['Die Diener.\nDer Koch.\nDer König und die Königin.\nJetzt erwachen auch die Menschen im Schloss:']] Sacrebleu: {'score': 0.2509515070713641, 'counts': [6, 0, 0, 0], 'totals': [222, 221, 220, 219], 'precisions': [2.7027027027027026, 0.22624434389140272, 0.11363636363636363, 0.05707762557077625], 'bp': 1.0, 'sys_len': 222, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.02702702702702703, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 11.1, 'translation_length': 222, 'reference_length': 20} Rouge: {'rouge1': 0.07468879668049792, 'rouge2': 0.02510460251046025, 'rougeL': 0.04979253112033195, 'rougeLsum': 0.06639004149377593} Sari: {'sari': 47.601173678444454} Flesh Reading Ease: 42.65 ---------------------------------------- Source: ['Wie er es mit dem Kuß berührt hatte, schlug Dornröschen die Augen auf, erwachte und blickte ihn ganz freundlich an.'] Prediction: ['Ein Kuß berührte mit dem Kuß, schlug Dornröschen die Augen auf und blickte ihn ganz freundlich an.\nDornröschen schlug die Augen auf, erwachte und blickte ihn ganz freundlich an.'] Label: [['Und Dorn∙röschen lächelt den Prinzen an.\nPlötzlich öffnet Dorn∙röschen die Augen.']] Sacrebleu: {'score': 3.358851369497101, 'counts': [5, 2, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [15.151515151515152, 6.25, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15151515151515152, 0.0625, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5384615384615383, 'translation_length': 33, 'reference_length': 13} Rouge: {'rouge1': 0.24489795918367344, 'rouge2': 0.0851063829787234, 'rougeL': 0.20408163265306123, 'rougeLsum': 0.20408163265306123} Sari: {'sari': 38.97306397306397} Flesh Reading Ease: 77.75 ---------------------------------------- Source: ['Da lag es und war so schön, daß er die Augen nicht abwenden konnte, und er bückte sich und gab ihm einen Kuß.'] Prediction: ['Ein Kuß hat sich immer wieder einen Kuß gebückt.\nEr bückte sich und gab ihm einen Kuß.\nDas kam zu sehen, da er die Augen nicht abwenden konnte.'] Label: [['Und der Prinz küsst Dorn∙röschen.\nDer Prinz bückt sich zu Dorn∙röschen herunter.\nUnd der Prinz denkt: Dorn∙röschen ist sehr schön.']] Sacrebleu: {'score': 1.7345617945636578, 'counts': [5, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [15.625, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.15625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 32, 'reference_length': 24} Rouge: {'rouge1': 0.16949152542372883, 'rouge2': 0.0, 'rougeL': 0.10169491525423728, 'rougeLsum': 0.16949152542372883} Sari: {'sari': 34.46428571428571} Flesh Reading Ease: 94.65 ---------------------------------------- Source: ['Da ging er noch weiter, und alles war so still, daß einer seinen Atem hören konnte, und endlich kam er zu dem Turm und öffnete die Thür zu der kleinen Stube, in welcher Dornröschen schlief.'] Prediction: ['Ein Atem kam zu einem Turm und öffnete die Thür zu der kleinen Stube.\nDer Atem war noch weiter, da er noch weiter ging.\nDer Atem war noch weiter und öffnete die Thür zu der kleinen Stube.'] Label: [['Und schläft.\nIm Turm liegt Dorn∙röschen auf einem Bett.\nUnd der Prinz findet den alten Turm.\nDer Prinz geht durch das Schloss.']] Sacrebleu: {'score': 2.4495087791876022, 'counts': [7, 1, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [17.073170731707318, 2.5, 1.2820512820512822, 0.6578947368421053], 'bp': 1.0, 'sys_len': 41, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.17073170731707318, 0.025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5769230769230769, 'translation_length': 41, 'reference_length': 26} Rouge: {'rouge1': 0.21875, 'rouge2': 0.0, 'rougeL': 0.125, 'rougeLsum': 0.18750000000000003} Sari: {'sari': 37.149430563752816} Flesh Reading Ease: 91.65 ---------------------------------------- Source: ['Da ging er weiter und sah im Saale den ganzen Hofstaat liegen und schlafen, und oben bei dem Throne lag der König und die Königin. Und als er ins Haus kam, schliefen die Fliegen an der Wand, der Koch, in der Küche hielt noch die Hand, als wollte er den Jungen anpacken, und die Magd saß vor dem schwarzen Huhn, das sollte gerupft werden. Im Schloßhof sah er die Pferde und scheckigen Jagdhunde liegen und schlafen, auf dem Dache saßen die Tauben und hatten das Köpfchen unter den Flügel gesteckt.'] Prediction: ['Ein Hofstaat in der Nähe von St. Gallen ist ein dunkel Hofstaat.\nDer König sah den ganzen Hofstaat liegen und schlafen.\nDer Koch sah die Pferde und scheckigen Jagdhunde liegen und schlafen.'] Label: [['Alle schlafen nämlich.\nIm Schloss ist es ganz still.']] Sacrebleu: {'score': 1.4500372328365223, 'counts': [4, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [11.11111111111111, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.272727272727273, 'translation_length': 36, 'reference_length': 11} Rouge: {'rouge1': 0.13636363636363635, 'rouge2': 0.0, 'rougeL': 0.0909090909090909, 'rougeLsum': 0.13636363636363635} Sari: {'sari': 35.448079097853} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Als der Königssohn sich der Dornenhecke näherte, waren es lauter schöne große Blumen, die thaten sich von selbst auseinander und ließen ihn unbeschädigt hindurch, und hinter ihm thaten sie sich wieder als eine Hecke zusammen.'] Prediction: ['Eine Dornenhecke näherte sich der Königssohn sich der Dornenhecke näherte.\nAls der Königssohn sich der Dornenhecke näherte, waren es lauter schöne große Blumen, die Thaten sich von selbst auseinander und ließen ihn unbeschädigt hindurch.'] Label: [['So kommt der Prinz bis ins Schloss.\nUnd der Prinz sticht sich nicht an den Dornen.\nDer Prinz geht den Weg entlang.\nDieser Weg führt durch die Dornen∙hecke.\nDer Prinz entdeckt einen geheimen Weg.\nUnd der Prinz sieht die Dornen∙hecke.\nDer Prinz kommt zu dem Schloss von Dorn∙röschen.']] Sacrebleu: {'score': 1.0419548491439574, 'counts': [8, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [21.05263157894737, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 0.6393083302335297, 'sys_len': 38, 'ref_len': 55} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6393083302335297, 'length_ratio': 0.6909090909090909, 'translation_length': 38, 'reference_length': 55} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.0, 'rougeL': 0.14583333333333331, 'rougeLsum': 0.14583333333333331} Sari: {'sari': 35.358601327207765} Flesh Reading Ease: 46.0 ---------------------------------------- Source: ['Da sprach der Jüngling: »Ich fürchte mich nicht, ich will hinaus und das schöne Dornröschen sehen.'] Prediction: ['Ein Jüngling hat einen schönen Dornröschen.\nDer Jüngling fürchte mich nicht, ich will hinaus und das schöne Dornröschen sehen.'] Label: [['Ich werde Dorn∙röschen wecken.\nAber ich habe keine Angst.\nDer Prinz denkt:']] Sacrebleu: {'score': 4.108053662461269, 'counts': [4, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4666666666666666, 'translation_length': 22, 'reference_length': 15} Rouge: {'rouge1': 0.15, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.15} Sari: {'sari': 34.63915470494418} Flesh Reading Ease: 76.9 ---------------------------------------- Source: ['Nach langen langen Jahren kam wieder einmal ein Königssohn in das Land und hörte wie ein alter Mann von der Dornenhecke erzählte, es sollte ein Schloß dahinter stehen, in welchem eine wunderschöne Königstochter, Dornröschen genannt, schon seit hundert Jahren schliefe, und mit ihr schliefe der König und die Königin und der ganze Hofstaat.'] Prediction: ['Ein Königssohn in der Schweiz kam nach langen langen Jahren in einem Schloß dahinter.\nNach langen langen Jahren kam es wieder einmal ein Königssohn in das Land.\nNun wurde ein Mann von der Dornenhecke erzählt, es sollte ein Schloß dahinter stehen, in welchem eine wunderschöne Königstochter, Dornröschen genannt, schliefe.'] Label: [['Der Prinz hört die Geschichte von Dorn∙röschen.\nDa kommt ein besonderer Prinz in das Land.']] Sacrebleu: {'score': 4.672047355688077, 'counts': [7, 3, 2, 1], 'totals': [56, 55, 54, 53], 'precisions': [12.5, 5.454545454545454, 3.7037037037037037, 1.8867924528301887], 'bp': 1.0, 'sys_len': 56, 'ref_len': 17} Bleu: {'bleu': 0.046720473556880776, 'precisions': [0.125, 0.05454545454545454, 0.037037037037037035, 0.018867924528301886], 'brevity_penalty': 1.0, 'length_ratio': 3.2941176470588234, 'translation_length': 56, 'reference_length': 17} Rouge: {'rouge1': 0.19178082191780818, 'rouge2': 0.05633802816901408, 'rougeL': 0.136986301369863, 'rougeLsum': 0.16438356164383564} Sari: {'sari': 37.93372557359785} Flesh Reading Ease: 64.25 ---------------------------------------- Source: ['Es war ihnen aber nicht möglich, denn die Dornen, als hätten sie Hände, hielten fest zusammen, und die Jünglinge blieben darin hängen, konnten sich nicht wieder los machen und starben eines jämmerlichen Todes.'] Prediction: ['Ein jämmerlicher Todesaufgebot ist in der Schweiz nicht nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nicht.\nDas war ihnen aber nicht möglich, denn die Dornen, als hätten sie Hände, hielten fest zusammen, blieben darin hängen, konnten sich nicht wieder los machen.'] Label: [['Und viele Prinzen sterben.\nViele Prinzen stechen sich an den Dornen.\nUnd die Dornen sind sehr gefährlich.\nAber die Dornen∙hecke bedeckt das ganze Schloss.']] Sacrebleu: {'score': 0.8936641645664332, 'counts': [5, 1, 0, 0], 'totals': [101, 100, 99, 98], 'precisions': [4.9504950495049505, 1.0, 0.5050505050505051, 0.25510204081632654], 'bp': 1.0, 'sys_len': 101, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.04950495049504951, 0.01, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.607142857142857, 'translation_length': 101, 'reference_length': 28} Rouge: {'rouge1': 0.08, 'rouge2': 0.016260162601626015, 'rougeL': 0.048, 'rougeLsum': 0.064} Sari: {'sari': 34.28683385579937} Flesh Reading Ease: 45.25 ---------------------------------------- Source: ['Es ging aber die Sage in dem Land von dem schönen schlafenden Dornröschen, denn so ward die Königstochter genannt, also daß von Zeit zu Zeit Königssöhne kamen und durch die Hecke in das Schloß dringen wollten.'] Prediction: ['Die Sage in den USA wollten sich in einem schönen schlafenden Dornröschen durch die Hecke dringen.\nDas ging aber die Sage in dem Land von dem schönen schlafenden Dornröschen.\nDie Sage wollten durch die Hecke in das Schloß dringen.'] Label: [['Und viele Prinzen wollen in das Schloss.\nDie Menschen im Land erzählen sich die Geschichte von Dorn∙röschen.']] Sacrebleu: {'score': 3.025214638175392, 'counts': [9, 2, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [21.428571428571427, 4.878048780487805, 1.25, 0.6410256410256411], 'bp': 1.0, 'sys_len': 42, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.04878048780487805, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.210526315789474, 'translation_length': 42, 'reference_length': 19} Rouge: {'rouge1': 0.25396825396825395, 'rouge2': 0.03278688524590164, 'rougeL': 0.1904761904761905, 'rougeLsum': 0.25396825396825395} Sari: {'sari': 38.44593247979702} Flesh Reading Ease: 79.25 ---------------------------------------- Source: ['Rings um das Schloß aber begann eine Dornenhecke zu wachsen, die jedes Jahr höher ward, und endlich das ganze Schloß umzog, und darüber hinaus wuchs, daß gar nichts mehr davon zu sehen war, selbst nicht die Fahne auf dem Dach.'] Prediction: ['Das ganze Schloß umzog, da es nicht mehr davon zu sehen war, daß gar nicht die Fahne auf dem Dach sehen war.\nDas Schloß wurde nur noch nicht mehr davon zu sehen, sondern auch nicht die Fahne auf dem Dach.'] Label: [['Bis das ganze Schloss von der Dornen∙hecke bedeckt ist.\nDie Dornen∙hecke wird jedes Jahr größer.\nUnd eine Dornen∙hecke wächst um das Schloss.']] Sacrebleu: {'score': 1.0700143107304574, 'counts': [3, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [6.666666666666667, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 45, 'reference_length': 25} Rouge: {'rouge1': 0.11940298507462688, 'rouge2': 0.030769230769230774, 'rougeL': 0.11940298507462688, 'rougeLsum': 0.11940298507462688} Sari: {'sari': 33.755864019021914} Flesh Reading Ease: 83.95 ---------------------------------------- Source: ['Da schliefen auch die Pferde im Stall, die Hunde im Hofe, die Tauben auf dem Dache, die Fliegen an der Wand, ja, das Feuer, das auf dem Herde flackerte, ward still und schlief ein, und der Braten hörte auf zu brutzeln, und der Koch, der den Küchenjungen, weil er etwas versehen hatte, in den Haaren ziehen wollte, ließ ihn los und schlief.'] Prediction: ['Eine Pferde im Stall, die Tauben auf dem Dache, die Tauben auf dem Wand flackerte, wurde von der Wand auf dem Herde geschlagen.\nDer Koch ließ ihn los und schlief ein.'] Label: [['Und die Fliegen an der Wand.\nDie Tauben auf dem Dach.\nDie Pferde im Stall.\nUnd sogar die Tiere schlafen ein:']] Sacrebleu: {'score': 8.234504830547136, 'counts': [13, 5, 2, 0], 'totals': [36, 35, 34, 33], 'precisions': [36.111111111111114, 14.285714285714286, 5.882352941176471, 1.5151515151515151], 'bp': 1.0, 'sys_len': 36, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.3611111111111111, 0.14285714285714285, 0.058823529411764705, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.44, 'translation_length': 36, 'reference_length': 25} Rouge: {'rouge1': 0.4615384615384615, 'rouge2': 0.24, 'rougeL': 0.2692307692307692, 'rougeLsum': 0.4615384615384615} Sari: {'sari': 42.3469874985835} Flesh Reading Ease: 82.6 ---------------------------------------- Source: ['der König und die Königin, die eben heimgekommen waren und in den Saal getreten waren, fingen an einzuschlafen und der ganze Hofstaat mit ihnen.'] Prediction: ['Die Königin, die eben heimgekommen waren und in den Saal getreten waren, fingen an einzuschlafen und fingen an einzuschlafen.\nDie beiden waren eben heimgekommen und in den Saal getreten waren.\nDie beiden fingen an einzuschlafen und fingen an einzuschlafen.'] Label: [['Die Diener.\nDer Koch.\nDer König und die Königin.']] Sacrebleu: {'score': 1.3536018732379203, 'counts': [7, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [15.909090909090908, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.1590909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6666666666666665, 'translation_length': 44, 'reference_length': 12} Rouge: {'rouge1': 0.196078431372549, 'rouge2': 0.0816326530612245, 'rougeL': 0.15686274509803924, 'rougeLsum': 0.196078431372549} Sari: {'sari': 26.67403937895741} Flesh Reading Ease: 55.85 ---------------------------------------- Source: ['Und dieser Schlaf verbreitete sich über das ganze Schloß:'] Prediction: ['Ein Schloß in der Nähe von Stadt Bern hat sich einen Schlaf verbreitet.\nDie Schlaf verbreitete sich über das ganze Schloß.'] Label: [['Auch die Menschen im Schloss schlafen ein: Aber nicht nur Dorn·röschen schläft ein.']] Sacrebleu: {'score': 1.6466642419110007, 'counts': [1, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [4.3478260869565215, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.043478260869565216, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5333333333333334, 'translation_length': 23, 'reference_length': 15} Rouge: {'rouge1': 0.10526315789473685, 'rouge2': 0.0, 'rougeL': 0.052631578947368425, 'rougeLsum': 0.10526315789473685} Sari: {'sari': 32.55555555555556} Flesh Reading Ease: 93.45 ---------------------------------------- Source: ['In dem Augenblick aber, wo sie den Stich empfand, fiel sie auf das Bett nieder, das da stand, und lag in einem tiefen Schlaf.'] Prediction: ['Eine Frau hat sich in einem tiefen Schlaf bei einem Stich verloren.\nSie fiel auf das Bett nieder, das da stand, und lag in einem tiefen Schlaf.\nDie Frau hatte sich in einem tiefen Schlaf bewusst und wurde dabei von der Stich empfand.'] Label: [['Und Dorn∙röschen fällt in einen tiefen Schlaf.']] Sacrebleu: {'score': 3.0421991288759425, 'counts': [4, 2, 1, 0], 'totals': [48, 47, 46, 45], 'precisions': [8.333333333333334, 4.25531914893617, 2.1739130434782608, 1.1111111111111112], 'bp': 1.0, 'sys_len': 48, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0425531914893617, 0.021739130434782608, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.0, 'translation_length': 48, 'reference_length': 8} Rouge: {'rouge1': 0.1509433962264151, 'rouge2': 0.0392156862745098, 'rougeL': 0.1509433962264151, 'rougeLsum': 0.1509433962264151} Sari: {'sari': 39.62962962962963} Flesh Reading Ease: 83.8 ---------------------------------------- Source: ['Kaum hatte sie aber die Spindel angerührt, so ging der Zauberspruch in Erfüllung, und sie stach sich damit in den Finger.'] Prediction: ['Eine Frau hatte sich mit Zauberspruch in den Finger geschickt.\nDie Polizei hatte sie aber die Spindel angerührt.\nDie Polizei hatte sie aber in den Finger gebracht.'] Label: [['Dorn∙röschen sticht sich an der Spindel.\nPlötzlich geht der böse Wunsch von der 13.\nFee in Erfüllung:']] Sacrebleu: {'score': 1.8564670505078418, 'counts': [5, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 30, 'reference_length': 20} Rouge: {'rouge1': 0.11999999999999998, 'rouge2': 0.0, 'rougeL': 0.11999999999999998, 'rougeLsum': 0.11999999999999998} Sari: {'sari': 34.30756843800322} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['»Was ist das für ein Ding, das so lustig herumspringt?« sprach das Mädchen, nahm die Spindel und wollte auch spinnen.'] Prediction: ['Ein Mädchen ist für ein Ding, das so lustig herumspringt?\nDer Mädchen wollte auch spinnen.\nImmer wieder wollte er sich auch spinnen.'] Label: [['Dorn∙röschen nimmt die Spindel in die Hand.\nDorn∙röschen hat noch nie eine Spindel gesehen.\nDorn∙röschen ist neugierig.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3, 'translation_length': 26, 'reference_length': 20} Rouge: {'rouge1': 0.08333333333333333, 'rouge2': 0.0, 'rougeL': 0.041666666666666664, 'rougeLsum': 0.041666666666666664} Sari: {'sari': 32.59484180536813} Flesh Reading Ease: 84.95 ---------------------------------------- Source: ['»Ich spinne,« sagte die Alte und nickte mit dem Kopf.'] Prediction: ['Die Alte spielt mit dem Kopf.\nDie Alte spielt nicht, sondern nach dem Kopf.'] Label: [['Die alte Frau antwortet: Ich mache Wolle zu einem Faden.']] Sacrebleu: {'score': 2.719665272174911, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4166666666666667, 'translation_length': 17, 'reference_length': 12} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.09090909090909093, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 41.66666666666667} Flesh Reading Ease: 102.8 ---------------------------------------- Source: ['»Guten Tag, du altes Mütterchen,« sprach die Königstochter, »was machst du da?«'] Prediction: ['Die Königstochter haben einen Tag auf dem Mütterchen.\nDie Königstochter wollten sich mit ihren Mütterchen aufmerksam machen.\nDie Königstochter haben den Tag auf dem Tag einen Mütterchen.'] Label: [['Was machst du da?\nDorn∙röschen fragt die alte Frau:']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 30, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.727272727272727, 'translation_length': 30, 'reference_length': 11} Rouge: {'rouge1': 0.045454545454545456, 'rouge2': 0.0, 'rougeL': 0.045454545454545456, 'rougeLsum': 0.045454545454545456} Sari: {'sari': 29.108796296296298} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['In dem Schloß steckte ein verrosteter Schlüssel, und als es umdrehte, sprang die Thür auf, und saß da in einem kleinen Stübchen eine alte Frau mit einer Spindel und spann emsig ihren Flachs.'] Prediction: ['Ein Schloß in einem kleinen Stübchen kam es zu einem schweren Schlüssel.\nEine Frau wurde dabei mit einer Spindel vermisst.\nDie Polizei sucht Zeugen.'] Label: [['Die alte Frau arbeitet mit einer Spindel.\nEine alte Frau sitzt an einem Spinn∙rad.']] Sacrebleu: {'score': 7.52421768074461, 'counts': [9, 3, 1, 0], 'totals': [27, 26, 25, 24], 'precisions': [33.333333333333336, 11.538461538461538, 4.0, 2.0833333333333335], 'bp': 1.0, 'sys_len': 27, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.11538461538461539, 0.04, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6875, 'translation_length': 27, 'reference_length': 16} Rouge: {'rouge1': 0.3414634146341463, 'rouge2': 0.10256410256410256, 'rougeL': 0.1951219512195122, 'rougeLsum': 0.3414634146341463} Sari: {'sari': 45.18462514934289} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Da ging es allerorten herum, besah Stuben und Kammern, wie es Lust hatte, und kam endlich auch an einen alten Turm.'] Prediction: ['Ein altes Turm ging an einen alten Turm.\nDer Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund:'] Label: [['Dorn∙röschen kommt zu einem alten Turm.\nUnd Dorn∙röschen erkundet das Schloss.']] Sacrebleu: {'score': 0.9434525332465523, 'counts': [3, 2, 1, 0], 'totals': [141, 140, 139, 138], 'precisions': [2.127659574468085, 1.4285714285714286, 0.7194244604316546, 0.36231884057971014], 'bp': 1.0, 'sys_len': 141, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.02127659574468085, 0.014285714285714285, 0.007194244604316547, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 10.846153846153847, 'translation_length': 141, 'reference_length': 13} Rouge: {'rouge1': 0.03603603603603603, 'rouge2': 0.018348623853211007, 'rougeL': 0.03603603603603603, 'rougeLsum': 0.03603603603603603} Sari: {'sari': 47.77777777777778} Flesh Reading Ease: 73.5 ---------------------------------------- Source: ['Es geschah, daß an dem Tage, wo es gerade fünfzehn Jahre alt ward, der König und die Königin nicht zu Hause waren, und das Mädchen ganz allein im Schloß zurückblieb.'] Prediction: ['Ein Mädchen wurde fünfzehn Jahre alt, der König und die Königin nicht zu Hause waren, und das Mädchen zurückblieb.\nDas Mädchen wurde fünfzehn Jahre alt, der König und die Königin nicht zu Hause waren, und das Mädchen ganz allein im Schloß zurückblieb.'] Label: [['Dorn∙röschen ist allein.\nEs ist der 15.\nGeburts∙tag von Dorn∙röschen:']] Sacrebleu: {'score': 1.0755798168739934, 'counts': [4, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [8.333333333333334, 1.0638297872340425, 0.5434782608695652, 0.2777777777777778], 'bp': 1.0, 'sys_len': 48, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6923076923076925, 'translation_length': 48, 'reference_length': 13} Rouge: {'rouge1': 0.057971014492753624, 'rouge2': 0.0, 'rougeL': 0.028985507246376812, 'rougeLsum': 0.057971014492753624} Sari: {'sari': 34.870370370370374} Flesh Reading Ease: 65.4 ---------------------------------------- Source: ['An dem Mädchen aber würden die Gaben der weisen Frauen sämtlich erfüllt, denn es war so schön, sittsam, freundlich und verständig, daß es jedermann, der es ansah, lieb haben mußte.'] Prediction: ['Eine Frau wurde am Mädchen von ihrem Mädchen in der Schweiz gefunden.\nDie Gaben der weisen Frauen würden sämtlich erfüllt, denn es war so schön, sittsam, freundlich und verständig, daß es jedermann, der es ansah, lieb haben mußte.'] Label: [['Und alle mögen Dorn∙röschen.\nUnd Dorn∙röschen ist sehr freundlich.\nDorn∙röschen ist sehr schön.\nAlle guten Wünsche von den 12 Feen gehen in Erfüllung: Und Dorn∙röschen wird älter.']] Sacrebleu: {'score': 1.2438555540747176, 'counts': [6, 0, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [13.043478260869565, 1.1111111111111112, 0.5681818181818182, 0.29069767441860467], 'bp': 1.0, 'sys_len': 46, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.13043478260869565, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4375, 'translation_length': 46, 'reference_length': 32} Rouge: {'rouge1': 0.21176470588235294, 'rouge2': 0.024096385542168672, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.18823529411764706} Sari: {'sari': 36.83760683760684} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ['Der König, der sein liebes Kind vor dem Unglück gern bewahren wollte, ließ den Befehl ausgehen, daß alle Spindeln im ganzen Königreiche sollten verbrannt werden.'] Prediction: ['Der König, der sein liebes Kind vor dem Unglück gern bewahren wollte, ließ den Befehl aus.\nDer Befehl liegt den Befehl aus und soll alle Spindeln im ganzen Königreiche verbrannt werden.'] Label: [['Und sagt: Alle Spindeln im König∙reich werden verbrannt.\nJetzt hat auch der König Angst.']] Sacrebleu: {'score': 2.9867390496386634, 'counts': [8, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [22.857142857142858, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.22857142857142856, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0588235294117645, 'translation_length': 35, 'reference_length': 17} Rouge: {'rouge1': 0.3921568627450981, 'rouge2': 0.163265306122449, 'rougeL': 0.23529411764705885, 'rougeLsum': 0.35294117647058826} Sari: {'sari': 41.653916211293264} Flesh Reading Ease: 70.9 ---------------------------------------- Source: ['da trat die zwölfte hervor, die ihren Wunsch noch übrig hatte und weil sie den bösen Spruch nicht aufheben, sondern nur ihn mildern konnte, so sagte sie: »Es soll aber kein Tod sein, sondern ein hundertjähriger tiefer Schlaf, in welchen die Königstochter fällt.«'] Prediction: ['Eine Frau hatte sich mit einem hundertjährigen Schlaf in den Boden einen bösen Spruch nicht aufheben.\nDie Frau war dabei, dass ihn nicht aufheben konnte, sondern nur ihn mildern konnte.\nDie Frau war zwölfte hervor, die ihren Wunsch noch übrig hatte.'] Label: [['Aber Dorn∙röschen wird 100 Jahre schlafen.\nDorn∙röschen wird an ihrem 15.\nGeburts∙tag nicht sterben.\nSo sagt die 12.\nFee: Aber die 12.\nFee kann den bösen Wunsch verwandeln.\nDie 12.\nFee kann den bösen Wunsch nicht rückgängig machen.\nAber zum Glück hat die 12.\nFee ihren Wunsch noch nicht gesprochen:']] Sacrebleu: {'score': 3.3618133119055353, 'counts': [12, 3, 1, 0], 'totals': [47, 46, 45, 44], 'precisions': [25.53191489361702, 6.521739130434782, 2.2222222222222223, 1.1363636363636365], 'bp': 0.7423961076698212, 'sys_len': 47, 'ref_len': 61} Bleu: {'bleu': 0.0, 'precisions': [0.2553191489361702, 0.06521739130434782, 0.022222222222222223, 0.0], 'brevity_penalty': 0.7423961076698212, 'length_ratio': 0.7704918032786885, 'translation_length': 47, 'reference_length': 61} Rouge: {'rouge1': 0.2115384615384615, 'rouge2': 0.058823529411764705, 'rougeL': 0.17307692307692307, 'rougeLsum': 0.2115384615384615} Sari: {'sari': 39.21131879287606} Flesh Reading Ease: 72.7 ---------------------------------------- Source: ['Alle waren erschrocken;'] Prediction: ['Die Schweizer Welt ist eine der erste Schweizer Weltnummer 1.\nDie Schweizer Welt ist eine der erste Schweizer Weltnummer 1.\nDie Schweizer Welt ist eine der ersten Schweizer Weltnummer 1.'] Label: [['Die Gäste sind erschrocken.']] Sacrebleu: {'score': 1.3355980882200826, 'counts': [2, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [6.0606060606060606, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.06060606060606061, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.6, 'translation_length': 33, 'reference_length': 5} Rouge: {'rouge1': 0.05714285714285715, 'rouge2': 0.0, 'rougeL': 0.05714285714285715, 'rougeLsum': 0.05714285714285715} Sari: {'sari': 58.47222222222223} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['« Und ohne ein Wort weiter zu sprechen, kehrte sie sich um und verließ den Saal.'] Prediction: ['Eine Frau hat sich im Alter von 99 Jahren verliebt.\nSie war ohne ein Wort weiter zu sprechen, kehrte sie sich um und verließ den Saal.\nDie Frau war ohne ein Wort weiter zu sprechen, kehrte sie sich um und verließ den Saal.'] Label: [['Und verschwindet.']] Sacrebleu: {'score': 0.7605497822189857, 'counts': [1, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [2.0833333333333335, 1.0638297872340425, 0.5434782608695652, 0.2777777777777778], 'bp': 1.0, 'sys_len': 48, 'ref_len': 3} Bleu: {'bleu': 0.0, 'precisions': [0.020833333333333332, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 16.0, 'translation_length': 48, 'reference_length': 3} Rouge: {'rouge1': 0.04444444444444444, 'rouge2': 0.0, 'rougeL': 0.04444444444444444, 'rougeLsum': 0.04444444444444444} Sari: {'sari': 34.761904761904766} Flesh Reading Ease: 89.65 ---------------------------------------- Source: ['»Die Königstochter soll sich in ihrem fünfzehnten Jahre an einer Spindel stechen und tot hinfallen.'] Prediction: ['Die Königstochter sollen sich im fünfzehnten Jahre an einer Spindel stechen und tot hinfallen.\nDie Todesursache ist noch unklar.'] Label: [['Und sterben.\nAn ihrem 15.\nGeburts∙tag soll sich Dorn∙röschen an einer Spindel stechen.']] Sacrebleu: {'score': 13.076558875109015, 'counts': [7, 3, 2, 1], 'totals': [21, 20, 19, 18], 'precisions': [33.333333333333336, 15.0, 10.526315789473685, 5.555555555555555], 'bp': 1.0, 'sys_len': 21, 'ref_len': 16} Bleu: {'bleu': 0.1307655887510901, 'precisions': [0.3333333333333333, 0.15, 0.10526315789473684, 0.05555555555555555], 'brevity_penalty': 1.0, 'length_ratio': 1.3125, 'translation_length': 21, 'reference_length': 16} Rouge: {'rouge1': 0.3243243243243243, 'rouge2': 0.17142857142857143, 'rougeL': 0.27027027027027023, 'rougeLsum': 0.3243243243243243} Sari: {'sari': 42.596153846153854} Flesh Reading Ease: 59.35 ---------------------------------------- Source: ['die eine mit Tugend, die andere mit Schönheit, die dritte mit Reichtum, und so mit allem, was auf der Welt zu wünschen ist. Das Fest ward mit aller Pracht gefeiert, und als es zu Ende war, beschenkten die weisen Frauen das Kind mit ihren Wundergaben:'] Prediction: ['Das Kind des Kindes wurde mit aller Pracht gefeiert.\nDie Frauen beschenkten das Kind mit ihren Wundergaben.'] Label: [['Und viele andere Dinge.\nUnd Freundlichkeit.\nDie Feen wünschen Dorn∙röschen Schönheit.\nDie Feen sprechen ihre guten Wünsche zu Dorn∙röschen:']] Sacrebleu: {'score': 3.6301840740872313, 'counts': [3, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 0.8101577349324267, 'sys_len': 19, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 0.8101577349324267, 'length_ratio': 0.8260869565217391, 'translation_length': 19, 'reference_length': 23} Rouge: {'rouge1': 0.04651162790697675, 'rouge2': 0.0, 'rougeL': 0.04651162790697675, 'rougeLsum': 0.04651162790697675} Sari: {'sari': 33.500748222970444} Flesh Reading Ease: 72.05 ---------------------------------------- Source: ['Es waren ihrer dreizehn in seinem Reiche, weil er aber nur zwölf goldene Teller hatte, von welchen sie essen sollten, so mußte eine von ihnen daheim bleiben.'] Prediction: ['Ein goldene Teller hatte in seinem Reiche eine goldene Teller.\nDie Teller waren nur zwölf goldene Teller, von welchen sie essen sollten, so mußte eine von ihnen daheim bleiben.'] Label: [['Das heißt: Die 13.\nFee darf nicht zu dem großen Fest kommen.\nDeshalb lädt der König nur 12 Feen ein.\nAber der König hat nur 12 goldene Teller.\nUnd die 13 Feen sollen von goldenen Tellern essen.\nDer König will auch die 13 Feen aus dem König∙reich einladen.']] Sacrebleu: {'score': 2.7428756905575695, 'counts': [8, 2, 1, 0], 'totals': [33, 32, 31, 30], 'precisions': [24.242424242424242, 6.25, 3.225806451612903, 1.6666666666666667], 'bp': 0.513417119032592, 'sys_len': 33, 'ref_len': 55} Bleu: {'bleu': 0.0, 'precisions': [0.24242424242424243, 0.0625, 0.03225806451612903, 0.0], 'brevity_penalty': 0.513417119032592, 'length_ratio': 0.6, 'translation_length': 33, 'reference_length': 55} Rouge: {'rouge1': 0.16091954022988506, 'rouge2': 0.023529411764705882, 'rougeL': 0.1379310344827586, 'rougeLsum': 0.16091954022988506} Sari: {'sari': 37.74890396813147} Flesh Reading Ease: 60.2 ---------------------------------------- Source: ['Als elfe ihre Sprüche eben gethan hatten, trat plötzlich die dreizehnte herein.'] Prediction: ['Eine dreizehnte Sprüche wurde in der Nacht auf Sonntag von Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag zum ersten Mal die dreizehnte Sprüche.\nDie dreizehnte dreizehnte dreizehnte herein, wie es sich um die Sprüche handeln konnte.'] Label: [['Plötzlich kommt die 13.\nFee zur Tür herein.\nSo sprechen 11 Feen ihre guten Wünsche.']] Sacrebleu: {'score': 0.6289930247960802, 'counts': [4, 0, 0, 0], 'totals': [81, 80, 79, 78], 'precisions': [4.938271604938271, 0.625, 0.31645569620253167, 0.16025641025641027], 'bp': 1.0, 'sys_len': 81, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.04938271604938271, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.5, 'translation_length': 81, 'reference_length': 18} Rouge: {'rouge1': 0.0404040404040404, 'rouge2': 0.0, 'rougeL': 0.0404040404040404, 'rougeLsum': 0.0404040404040404} Sari: {'sari': 51.70454545454546} Flesh Reading Ease: 47.4 ---------------------------------------- Source: ['Er ladete nicht bloß seine Verwandten, Freunde und Bekannten, sondern auch die weisen Frauen dazu ein, damit sie dem Kind hold und gewogen wären.'] Prediction: ['Ein Kind wurde in der Nacht auf Sonntag in der Nacht auf Sonntag in St. Gallen durchgeführt.\nDie Frauen laden dazu ein, damit sie dem Kind holden und gewogen wären.\nDie Frauen waren nicht blossß seine Verwandten, Freunde und Bekannten.'] Label: [['• Und viele andere Gäste.\n• Freunde.\n• Die Familie.\nZu diesem Fest lädt der König alle ein:']] Sacrebleu: {'score': 1.2927264865780022, 'counts': [7, 0, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [15.217391304347826, 1.1111111111111112, 0.5681818181818182, 0.29069767441860467], 'bp': 1.0, 'sys_len': 46, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.15217391304347827, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.090909090909091, 'translation_length': 46, 'reference_length': 22} Rouge: {'rouge1': 0.16666666666666663, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.16666666666666663} Sari: {'sari': 37.30769230769231} Flesh Reading Ease: 73.1 ---------------------------------------- Source: ['Was der Frosch gesagt hatte, das geschah, und die Königin gebar ein Mädchen, das war so schön, daß der König vor Freude sich nicht zu lassen wußte und ein großes Fest anstellte.'] Prediction: ['Ein Mädchen wurde in der Nacht auf Sonntag in der Nacht auf Sonntag in der Nacht auf Sonntag in der Nacht auf Sonntag in der Nacht auf Sonntag in der Nacht auf Sonntag in der Nacht auf Sonntag in der Nacht auf Sonntag in der Nacht auf Sonntag in der Nacht auf Sonntag in Sonntag in der Nacht auf Sonntag in Sonntag in der Nacht auf Sonntag in Sonntag gesagt.\nDie Königin war dabei, dass sie sich nicht zu lassen wollte, dass sie sich nicht zu lassen wollte, das war so schön.\nDie Königin wurde dabei von der Frosch gesagt, dass sie sich nicht zu lassen wollte, dass sie sich nicht zu lassen wollte.'] Label: [['Deshalb feiern der König und die Königin ein großes Fest.\nDer König und die Königin sind sehr glücklich.\nDie Königin bekommt noch im gleichen Jahr ein Mädchen.\nUnd der Frosch hat recht:']] Sacrebleu: {'score': 1.6332567534521276, 'counts': [10, 3, 1, 0], 'totals': [122, 121, 120, 119], 'precisions': [8.19672131147541, 2.479338842975207, 0.8333333333333334, 0.42016806722689076], 'bp': 1.0, 'sys_len': 122, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.08196721311475409, 0.024793388429752067, 0.008333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.388888888888889, 'translation_length': 122, 'reference_length': 36} Rouge: {'rouge1': 0.16455696202531644, 'rouge2': 0.08974358974358974, 'rougeL': 0.12658227848101267, 'rougeLsum': 0.16455696202531644} Sari: {'sari': 36.01444406601426} Flesh Reading Ease: 65.95 ---------------------------------------- Source: ['« ehe ein Jahr vergeht, wirst du eine Tochter zur Welt bringen. »Dein Wunsch wird erfüllt werden;'] Prediction: ['Ein Jahr nach dem ersten Wunsch wird derzeit eine Tochter zur Welt bringen.\nDie Tochter wird erfüllt werden.'] Label: [['Du bekommst noch in diesem Jahr ein Kind.']] Sacrebleu: {'score': 2.276859592073037, 'counts': [2, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [10.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2222222222222223, 'translation_length': 20, 'reference_length': 9} Rouge: {'rouge1': 0.14814814814814814, 'rouge2': 0.0, 'rougeL': 0.07407407407407407, 'rougeLsum': 0.07407407407407407} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['Da trug sich zu, als die Königin einmal im Bade saß, daß ein Frosch aus dem Wasser ans Land kroch und zu ihr sprach:'] Prediction: ['Ein Frosch aus dem Wasser ans Land trug sich zu, als die Königin einmal im Bade saß.\nDie Königin trug sich zu, als sie einmal im Bade saß.\nDie Königin trug sich zu, als sie einmal im Bade saß.'] Label: [['Der Frosch sagt zur Königin: Da kommt ein Frosch.\nAn einem Morgen badet die Königin.']] Sacrebleu: {'score': 2.1400286214609148, 'counts': [6, 1, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [13.333333333333334, 2.272727272727273, 1.1627906976744187, 0.5952380952380952], 'bp': 1.0, 'sys_len': 45, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.022727272727272728, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 45, 'reference_length': 18} Rouge: {'rouge1': 0.23728813559322035, 'rouge2': 0.14035087719298248, 'rougeL': 0.20338983050847456, 'rougeLsum': 0.20338983050847456} Sari: {'sari': 37.0971620971621} Flesh Reading Ease: 90.95 ---------------------------------------- Source: ['»Ach, wenn wir doch ein Kind hätten!« und kriegten immer keins. Vor Zeiten war ein König und eine Königin, die sprachen jeden Tag:'] Prediction: ['Ein Kind hat immer keins.\nVor Zeiten war ein König und eine Königin, die sprachen jeden Tag: Die beiden waren ein Kind.'] Label: [['Ein König und eine Königin wünschen sich ein Kind.']] Sacrebleu: {'score': 13.52328506650155, 'counts': [8, 5, 3, 1], 'totals': [26, 25, 24, 23], 'precisions': [30.76923076923077, 20.0, 12.5, 4.3478260869565215], 'bp': 1.0, 'sys_len': 26, 'ref_len': 10} Bleu: {'bleu': 0.13523285066501545, 'precisions': [0.3076923076923077, 0.2, 0.125, 0.043478260869565216], 'brevity_penalty': 1.0, 'length_ratio': 2.6, 'translation_length': 26, 'reference_length': 10} Rouge: {'rouge1': 0.5, 'rouge2': 0.411764705882353, 'rougeL': 0.5, 'rougeLsum': 0.5} Sari: {'sari': 48.52128427128427} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ["der Jäger zog dem Wolf den Pelz ab und ging damit heim, die Großmutter aß den Kuchen und trank den Wein, den Rotkäppchen gebracht hatte, und erholte sich wieder, Rotkäppchen aber dachte: »Du willst dein Lebtag nicht wieder allein vom Wege ab in den Wald laufen, wenn dir's die Mutter verboten hat.«"] Prediction: ['Ein Lebtag aus dem Wald wurde von einem Wolf aus dem Wald verboten.\nDer Wolf hatte Rotkäppchen gebracht und erholte sich wieder.\nDie Großmutter hatte den Wolf den Pelz ab und willst dein Lebtag nicht wieder allein vom Wege ab in den Wald laufen.'] Label: [['Und Rot·käppchen und die Groß∙mutter essen den Kuchen.\nDer Jäger nimmt das Fell vom Wolf mit nach Hause.']] Sacrebleu: {'score': 2.126286556148234, 'counts': [7, 1, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [14.893617021276595, 2.1739130434782608, 1.1111111111111112, 0.5681818181818182], 'bp': 1.0, 'sys_len': 47, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.14893617021276595, 0.021739130434782608, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.35, 'translation_length': 47, 'reference_length': 20} Rouge: {'rouge1': 0.29411764705882354, 'rouge2': 0.06060606060606061, 'rougeL': 0.2058823529411765, 'rougeLsum': 0.2647058823529412} Sari: {'sari': 34.70403952966363} Flesh Reading Ease: 77.55 ---------------------------------------- Source: ['Rotkäppchen aber holte geschwind große Steine, damit füllten sie dem Wolf den Leib, und wie er aufwachte, wollte er fortspringen, aber die Steine waren so schwer, daß er gleich niedersank und sich totfiel.'] Prediction: ['Ein Wolf füllte eine Steine den Leib, wie er aufwachte, aber die Steine waren so schwer, daß er gleich niedersank und sich totfiel.\nDer Wolf war mit Rotkäppchen aufwachte, wie er aufwachte, aber die Steine waren so schwer, daß er gleich niedersank und sich totfiel.'] Label: [['Der Wolf fällt um.\nAber die Steine im Bauch vom Wolf sind sehr schwer.\nUnd will weg∙laufen.\nDer Wolf wacht auf.\nUnd der Jäger legt die Steine in den Bauch vom Wolf.\nDann holt Rot∙käppchen große Steine.']] Sacrebleu: {'score': 4.298807144691974, 'counts': [12, 4, 1, 0], 'totals': [53, 52, 51, 50], 'precisions': [22.641509433962263, 7.6923076923076925, 1.9607843137254901, 1.0], 'bp': 1.0, 'sys_len': 53, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.22641509433962265, 0.07692307692307693, 0.0196078431372549, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2325581395348837, 'translation_length': 53, 'reference_length': 43} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.11363636363636362, 'rougeL': 0.24444444444444444, 'rougeLsum': 0.2888888888888889} Sari: {'sari': 40.31526243482765} Flesh Reading Ease: 69.75 ---------------------------------------- Source: ['Und dann kam die alte Großmutter auch noch lebendig heraus und konnte kaum atmen.'] Prediction: ['Eine alte Großmutter kam noch lebendig heraus und konnte kaum atmen.\nDie alte Großmutter konnte noch lebendig herausgeben.\nDie alte Großmutter konnte kaum atmen.'] Label: [['Und auch die Groß·mutter lebt.\nUnd dann kommt auch die Groß·mutter aus dem Bauch vom Wolf.']] Sacrebleu: {'score': 1.6504045595709425, 'counts': [2, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [7.407407407407407, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.07407407407407407, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 27, 'reference_length': 18} Rouge: {'rouge1': 0.3111111111111111, 'rouge2': 0.0930232558139535, 'rougeL': 0.3111111111111111, 'rougeLsum': 0.26666666666666666} Sari: {'sari': 26.111111111111114} Flesh Reading Ease: 55.0 ---------------------------------------- Source: ["Wie er ein paar Schnitte gethan hatte, da sah er das rote Käppchen leuchten, und noch ein paar Schnitte, da sprang das Mädchen heraus und rief: »Ach, wie war ich erschrocken, wie war's so dunkel in dem Wolf seinem Leib!«"] Prediction: ['Ein Mädchen hatte einen Schnitte getan und sprang das Mädchen heraus und rief.\nWie er ein paar Schnitte getan hatte, sprang das Mädchen heraus und rief: "Ach, wie war ich erschrocken, wie war\'s so dunkel in dem Wolf seinem Leib!"'] Label: [['Rot·käppchen lebt.\nPlötzlich kommt Rot∙käppchen aus dem Bauch vom Wolf.']] Sacrebleu: {'score': 1.0009398039350847, 'counts': [3, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [6.25, 1.0638297872340425, 0.5434782608695652, 0.2777777777777778], 'bp': 1.0, 'sys_len': 48, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 48, 'reference_length': 12} Rouge: {'rouge1': 0.06779661016949153, 'rouge2': 0.0, 'rougeL': 0.06779661016949153, 'rougeLsum': 0.06779661016949153} Sari: {'sari': 35.71428571428572} Flesh Reading Ease: 78.1 ---------------------------------------- Source: ['schoß nicht, sondern nahm eine Schere und fing an dem schlafenden Wolf den Bauch aufzuschneiden.'] Prediction: ['Ein Wolf nahm eine Schere und fing an dem schlafenden Wolf den Bauch aufzuschneiden.\nDas hat eine Schere nicht gefunden, sondern nahm eine Schere und fing an dem Wolf den Bauch aufzuschneiden.'] Label: [['Und schneidet mit der Schere den Bauch vom Wolf auf.\nDer Jäger nimmt eine Schere.']] Sacrebleu: {'score': 3.551851328486764, 'counts': [8, 2, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [22.857142857142858, 5.882352941176471, 1.5151515151515151, 0.78125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.22857142857142856, 0.058823529411764705, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0588235294117645, 'translation_length': 35, 'reference_length': 17} Rouge: {'rouge1': 0.2916666666666667, 'rouge2': 0.08695652173913043, 'rougeL': 0.20833333333333334, 'rougeLsum': 0.20833333333333334} Sari: {'sari': 40.48913043478261} Flesh Reading Ease: 76.25 ---------------------------------------- Source: ['« Nun wollte er seine Büchse anlegen, da fiel ihm ein, der Wolf könnte die Großmutter gefressen haben, und sie wäre noch zu retten;'] Prediction: ['Ein Wolf könnte die Großmutter gefressen haben, und sie wäre noch zu retten.\nNun wollte er seine Büchse anlegen, da fiel ihm ein, der Wolf könnte die Großmutter gefressen haben, und sie wäre noch zu retten.'] Label: [['Und vielleicht kann ich die Groß∙mutter noch retten.\nVielleicht hat der Wolf die Groß∙mutter gefressen.\nAber der Jäger denkt: Der Jäger will den Wolf erschießen.']] Sacrebleu: {'score': 3.105957907531947, 'counts': [10, 2, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [23.80952380952381, 4.878048780487805, 1.25, 0.6410256410256411], 'bp': 1.0, 'sys_len': 42, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.23809523809523808, 0.04878048780487805, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4482758620689655, 'translation_length': 42, 'reference_length': 29} Rouge: {'rouge1': 0.35616438356164387, 'rouge2': 0.16901408450704225, 'rougeL': 0.30136986301369856, 'rougeLsum': 0.32876712328767127} Sari: {'sari': 39.52351412028832} Flesh Reading Ease: 68.4 ---------------------------------------- Source: ['»Finde ich dich hier, du alter Sünder,« sagte er, »ich habe dich lange gesucht.'] Prediction: ['Ein Sünder hat seine Sünder-Klasse aufgefordert.\nDie beiden waren nicht nur, sondern auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch'] Label: [['Der Jäger hat den Wolf nämlich schon lange Zeit gesucht.\nDer Jäger freut sich.']] Sacrebleu: {'score': 0.1906819104408704, 'counts': [2, 0, 0, 0], 'totals': [222, 221, 220, 219], 'precisions': [0.9009009009009009, 0.22624434389140272, 0.11363636363636363, 0.05707762557077625], 'bp': 1.0, 'sys_len': 222, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.009009009009009009, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 13.875, 'translation_length': 222, 'reference_length': 16} Rouge: {'rouge1': 0.008333333333333333, 'rouge2': 0.0, 'rougeL': 0.008333333333333333, 'rougeLsum': 0.008333333333333333} Sari: {'sari': 51.88191438191437} Flesh Reading Ease: 5.65 ---------------------------------------- Source: ['Da trat er in die Stube, und wie er vor das Bett kam, so sah er, daß der Wolf darin lag.'] Prediction: ['Ein Wolf trat in die Stube, wie er vor das Bett kam, und wie er vor das Bett kam, so sah er, daß der Wolf darin lag.\nDer Wolf trat in die Stube, wie er vor das Bett kam, und wie er vor das Bett kam, so sah er, daß der Wolf darin lag.'] Label: [['Im Bett liegt der Wolf.\nAber im Bett liegt nicht die Groß∙mutter.\nJetzt steht der Jäger vor dem Bett von der Groß·mutter.\nDer Jäger möchte nach der Groß∙mutter sehen.\nDer Jäger geht zum Haus von der Groß·mutter.']] Sacrebleu: {'score': 2.0607374396724594, 'counts': [11, 2, 0, 0], 'totals': [64, 63, 62, 61], 'precisions': [17.1875, 3.1746031746031744, 0.8064516129032258, 0.4098360655737705], 'bp': 1.0, 'sys_len': 64, 'ref_len': 42} Bleu: {'bleu': 0.0, 'precisions': [0.171875, 0.031746031746031744, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5238095238095237, 'translation_length': 64, 'reference_length': 42} Rouge: {'rouge1': 0.1818181818181818, 'rouge2': 0.020618556701030927, 'rougeL': 0.1414141414141414, 'rougeLsum': 0.1616161616161616} Sari: {'sari': 38.38751338751339} Flesh Reading Ease: 88.65 ---------------------------------------- Source: ['Der Jäger ging eben an dem Hause vorbei und dachte: »Wie die alte Frau schnarcht, du mußt doch sehen, ob ihr etwas fehlt.«'] Prediction: ['Ein Jäger hatte eine Frau vorbei und dachte: Sie sei eine alte Frau, ob ihr etwas fehlt.\nDie Frau wurde dabei von einem Frauenfahrer aufgefunden.\nDer Jäger ging eben an dem Hause vorbei und dachte: "Wie die alte Frau schnarcht, du mußt doch sehen, ob ihr etwas fehlt, ob ihr etwas fehlt".'] Label: [['Ich sehe lieber nach.\nVielleicht geht es der Groß∙mutter schlecht.\nDie Groß∙mutter schnarcht aber laut.\nDer Jäger denkt: Und wundert sich.\nDer Jäger kommt zum Haus von der Groß·mutter.\nEin Jäger hört das Schnarchen.']] Sacrebleu: {'score': 3.52210532626514, 'counts': [11, 4, 1, 0], 'totals': [63, 62, 61, 60], 'precisions': [17.46031746031746, 6.451612903225806, 1.639344262295082, 0.8333333333333334], 'bp': 1.0, 'sys_len': 63, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.1746031746031746, 0.06451612903225806, 0.01639344262295082, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5365853658536586, 'translation_length': 63, 'reference_length': 41} Rouge: {'rouge1': 0.20833333333333334, 'rouge2': 0.0851063829787234, 'rougeL': 0.14583333333333334, 'rougeLsum': 0.20833333333333334} Sari: {'sari': 39.60695594662986} Flesh Reading Ease: 74.95 ---------------------------------------- Source: ['Wie der Wolf sein Gelüsten gestillt hatte, legte er sich wieder ins Bett, schlief ein und fing an überlaut zu schnarchen.'] Prediction: ['Ein Wolf hatte seinen Gelüsten gestillt und fing an überlaut zu schnarchen.\nDer Wolf legte sich wieder ins Bett, schlief ein und fing an überlaut zu schnarchen.\nDer Wolf hatte seinen Gelüsten gestillt und fing an überlaut zu schnarchen.'] Label: [['Der Wolf schnarcht sehr laut.\nUnd schläft ein.\nDer Wolf legt sich wieder in das Bett von der Groß·mutter.\nUnd zufrieden.\nDann ist der Wolf satt.']] Sacrebleu: {'score': 5.335343825807726, 'counts': [12, 4, 1, 0], 'totals': [43, 42, 41, 40], 'precisions': [27.906976744186046, 9.523809523809524, 2.4390243902439024, 1.25], 'bp': 1.0, 'sys_len': 43, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.27906976744186046, 0.09523809523809523, 0.024390243902439025, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3870967741935485, 'translation_length': 43, 'reference_length': 31} Rouge: {'rouge1': 0.31884057971014496, 'rouge2': 0.08955223880597014, 'rougeL': 0.2898550724637681, 'rougeLsum': 0.2898550724637681} Sari: {'sari': 40.96757697905474} Flesh Reading Ease: 79.25 ---------------------------------------- Source: ['« Kaum hatte der Wolf das gesagt, so that er einen Satz aus dem Bett und verschlang das arme Rotkäppchen.'] Prediction: ['Am Sonntagabend gab es einen Satz aus dem Bett.\nKaum hatte den Wolf das gesagt, so that er einen Satz aus dem Bett verschlang das arme Rotkäppchen.'] Label: [['Und frisst auch Rot·käppchen.\nDa springt der Wolf aus dem Bett.']] Sacrebleu: {'score': 8.601325107393585, 'counts': [6, 3, 2, 1], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 10.344827586206897, 7.142857142857143, 3.7037037037037037], 'bp': 1.0, 'sys_len': 30, 'ref_len': 13} Bleu: {'bleu': 0.08601325107393584, 'precisions': [0.2, 0.10344827586206896, 0.07142857142857142, 0.037037037037037035], 'brevity_penalty': 1.0, 'length_ratio': 2.3076923076923075, 'translation_length': 30, 'reference_length': 13} Rouge: {'rouge1': 0.24390243902439027, 'rouge2': 0.10256410256410256, 'rougeL': 0.1951219512195122, 'rougeLsum': 0.24390243902439027} Sari: {'sari': 34.767252727779045} Flesh Reading Ease: 90.45 ---------------------------------------- Source: ['Aber, Großmutter, was hast du für ein entsetzlich großes Maul!« »Daß ich dich besser fressen kann.'] Prediction: ['Ein Maul, der ein entsetzlich großes Maul ist, ist immer wieder aufgefunden.\nDas ist ein entsetzlich großes Maul.\nDie Frau ist nicht das erste Mal, sondern auch der Chef des Gastrofilms.'] Label: [[': So kann ich dich besser fressen.\nUnd der Wolf antwortet mit tiefer Stimme: Warum hast du so einen großen Mund?\nUnd Rot∙käppchen fragt: Liebe Groß·mutter.']] Sacrebleu: {'score': 1.3113617852675474, 'counts': [3, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [8.108108108108109, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.08108108108108109, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1935483870967742, 'translation_length': 37, 'reference_length': 31} Rouge: {'rouge1': 0.0967741935483871, 'rouge2': 0.0, 'rougeL': 0.0967741935483871, 'rougeLsum': 0.0967741935483871} Sari: {'sari': 27.41596638655462} Flesh Reading Ease: 81.95 ---------------------------------------- Source: ['« »Daß ich dich besser packen kann.«'] Prediction: ['Die Welt ist ein Jahr nach dem Tod von über 100 Jahren gestorben.\nDie Welt ist eine Woche nach dem Tod von über 100 Jahren gestorben.\nDie Welt ist eine Woche nach dem Tod von über 100 Jahren gestorben.'] Label: [['Der Wolf antwortet: So kann ich dich besser packen.']] Sacrebleu: {'score': 0.8733042428534794, 'counts': [1, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [2.380952380952381, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.023809523809523808, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.8181818181818183, 'translation_length': 42, 'reference_length': 11} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 22.86706349206349} Flesh Reading Ease: 90.95 ---------------------------------------- Source: ['« »Ei, Großmutter, was hast du für große Hände!'] Prediction: ['Eine große Hände, die in der Schweiz einstecken, ist eine große Hände.\nDie Hände waren von einem großen Hände, der ein große Hände aus dem Gebiet wurde.\nDie Hände waren von einem großen Hände, der ein große Hände wurde.'] Label: [['Warum hast du so große Hände?\nGroß·mutter.\nLiebe Rot∙käppchen fragt.']] Sacrebleu: {'score': 1.8902516755638092, 'counts': [4, 1, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [8.695652173913043, 2.2222222222222223, 1.1363636363636365, 0.5813953488372093], 'bp': 1.0, 'sys_len': 46, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.022222222222222223, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5384615384615383, 'translation_length': 46, 'reference_length': 13} Rouge: {'rouge1': 0.14705882352941177, 'rouge2': 0.09090909090909091, 'rougeL': 0.14705882352941177, 'rougeLsum': 0.14705882352941177} Sari: {'sari': 58.067460317460316} Flesh Reading Ease: 73.4 ---------------------------------------- Source: ['»Ei, Großmutter, was hast du für große Augen!« »Daß ich dich besser sehen kann.'] Prediction: ['Eine Frau, die am Freitagabend in der Schweiz aufgefunden hat, ist eine Frau, die ihre Freunde aufgefunden hat.\nDie Frau war dabei, wie sie ihnen ihnen kann.\nDie Frau ist nach dem Interview mit ihrem Mann auf dem TV-Sender "Unchained" zu Gast.'] Label: [['So kann ich dich besser sehen.\nUnd der Wolf antwortet mit hoher Stimme: Warum hast du so große Augen?\nUnd Rot∙käppchen fragt: Liebe Groß·mutter.']] Sacrebleu: {'score': 1.0683243644556364, 'counts': [5, 0, 0, 0], 'totals': [51, 50, 49, 48], 'precisions': [9.803921568627452, 1.0, 0.5102040816326531, 0.2604166666666667], 'bp': 1.0, 'sys_len': 51, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.09803921568627451, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7586206896551724, 'translation_length': 51, 'reference_length': 29} Rouge: {'rouge1': 0.08450704225352113, 'rouge2': 0.0, 'rougeL': 0.05633802816901408, 'rougeLsum': 0.08450704225352113} Sari: {'sari': 28.24152631137925} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['« »Daß ich dich besser hören kann.«'] Prediction: ['Die Welt ist eine Woche nach dem Tod von 20 Jahren gestartet.\nDie Welt ist eine Woche nach dem Tod von 20 Jahren gestartet.\nDie Welt ist eine Woche nach dem Tod von 20 Jahren gestartet.'] Label: [['So kann ich dich besser hören.\nUnd der Wolf antwortet mit hoher Stimme:']] Sacrebleu: {'score': 0.9432284668356838, 'counts': [1, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [2.5641025641025643, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.02564102564102564, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6, 'translation_length': 39, 'reference_length': 15} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 22.86706349206349} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['»Ei, Großmutter, was hast du für große Ohren!'] Prediction: ['Eine Frau, Großmutter, was hast du für große Ohren geschehen.\nDie Frau, Großmutter, ist eine der besten Frauen der Schweiz.\nIst du das nicht nur, sondern, das nicht nur, sondern, das nicht nur, sondern, das nach wie vor Ort.'] Label: [['Warum hast du so große Ohren?\nDeshalb fragt Rot∙käppchen: Liebe Groß·mutter.']] Sacrebleu: {'score': 2.0943178884208566, 'counts': [5, 2, 0, 0], 'totals': [52, 51, 50, 49], 'precisions': [9.615384615384615, 3.9215686274509802, 1.0, 0.5102040816326531], 'bp': 1.0, 'sys_len': 52, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.09615384615384616, 0.0392156862745098, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.7142857142857144, 'translation_length': 52, 'reference_length': 14} Rouge: {'rouge1': 0.24137931034482765, 'rouge2': 0.14285714285714285, 'rougeL': 0.24137931034482765, 'rougeLsum': 0.24137931034482765} Sari: {'sari': 42.817460317460316} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['da lag die Großmutter, und hatte die Haube tief ins Gesicht gesetzt und sah so wunderlich aus.'] Prediction: ['Eine Großmutter hatte die Haube tief ins Gesicht gesetzt und sah so wunderlich aus.\nDie Großmutter hatte die Haube tief ins Gesicht gesetzt und sah so wunderlich aus.'] Label: [['Deshalb kann Rot∙käppchen das Gesicht vom Wolf nicht sehen.\nDer Wolf hat die Haube von der Groß·mutter auf.']] Sacrebleu: {'score': 3.1221929756173616, 'counts': [5, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 30, 'reference_length': 20} Rouge: {'rouge1': 0.19607843137254902, 'rouge2': 0.08163265306122448, 'rougeL': 0.1568627450980392, 'rougeLsum': 0.19607843137254902} Sari: {'sari': 37.857142857142854} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ['Darauf ging es zum Bett und zog die Vorhänge zurück;'] Prediction: ['Die Vorhänge zurück: Der Schweizer Stürmer hatte einen Spieler auf dem Bett geschossen.\nDer Schweizer hatte den Spieler zurückgezogen.'] Label: [['Rot∙käppchen geht zum Bett von der Groß·mutter.']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 22, 'reference_length': 8} Rouge: {'rouge1': 0.12121212121212122, 'rouge2': 0.0, 'rougeL': 0.12121212121212122, 'rougeLsum': 0.12121212121212122} Sari: {'sari': 43.96668755221387} Flesh Reading Ease: 65.2 ---------------------------------------- Source: ['« Es rief: »Guten Morgen,« bekam aber keine Antwort.'] Prediction: ['Die Schweizer Welt immer wieder auf den Markt.\nDie Schweizer Welt hatte sich mit einem Antwort auf den Markt gegeben.\nDie Schweizer Welt hatte sich mit einem Antwort auf den Markt gegeben.'] Label: [['Aber die Groß∙mutter antwortet nicht.\nGuten Morgen.\nUnd ruft: Liebe Groß·mutter.']] Sacrebleu: {'score': 1.389736936231864, 'counts': [3, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [8.571428571428571, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.08571428571428572, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 35, 'reference_length': 15} Rouge: {'rouge1': 0.044444444444444446, 'rouge2': 0.0, 'rougeL': 0.044444444444444446, 'rougeLsum': 0.044444444444444446} Sari: {'sari': 59.36868686868687} Flesh Reading Ease: 81.55 ---------------------------------------- Source: ["Es wunderte sich, daß die Thür aufstand, und wie es in die Stube trat, so kam es ihm so seltsam darin vor, daß es dachte: »Ei, du mein Gott, wie ängstlich wird mir's heute zu Mut, und bin sonst so gern bei der Großmutter!"] Prediction: ['Ein 20-Minuten-Radio-Podcast mit Host Stefan über 20 Fragen, die auf Social Media die besten Fragen der Radio-Section deiner 20-Minuten-App sowie auf Social Media zeigt.\nIn der Leiste wird der Direktstream-Podcast "Unchained" auf Spotify, Apple Podcasts und Tune In bei Spotify sowie auf iTunes sowie auf Spotify sowie auf Spotify sowie auf iTunes sowie auf Spotify sowie auf Spotify sowie auch auf Spotify sowie auf iTunes sowie auf Spotify sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie auf Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune In sowie Tune'] Label: [['Rot·käppchen bekommt Angst.\nUnd Rot∙käppchen wundert sich.\nDie Tür ist offen.\nRot·käppchen kommt zum Haus von der Groß·mutter.']] Sacrebleu: {'score': 0.1403843529905651, 'counts': [2, 0, 0, 0], 'totals': [301, 300, 299, 298], 'precisions': [0.6644518272425249, 0.16666666666666666, 0.08361204013377926, 0.04194630872483222], 'bp': 1.0, 'sys_len': 301, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.006644518272425249, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 13.681818181818182, 'translation_length': 301, 'reference_length': 22} Rouge: {'rouge1': 0.018461538461538463, 'rouge2': 0.0, 'rougeL': 0.01230769230769231, 'rougeLsum': 0.018461538461538463} Sari: {'sari': 62.24813779202377} Flesh Reading Ease: -65.46 ---------------------------------------- Source: ['Rotkäppchen aber war nach den Blumen herumgelaufen, und als es so viel zusammen hatte, daß es keine mehr tragen konnte, fiel ihm die Großmutter wieder ein und es machte sich auf den Weg zu ihr.'] Prediction: ['Ein Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Blumen-Bl'] Label: [['Und läuft jetzt schnell zum Haus von der Groß·mutter.\nRot·käppchen geht zurück zum Weg.\nNach einer Weile denkt Rot∙käppchen plötzlich wieder an die Groß∙mutter.\nRot∙käppchen hat viele Blumen gepflückt.\nRot∙käppchen ist immer noch auf der Wiese im Wald.']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [2, 1, 0, 0], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.2501528663867426e-09, 'sys_len': 2, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.2501528663867426e-09, 'length_ratio': 0.046511627906976744, 'translation_length': 2, 'reference_length': 43} Rouge: {'rouge1': 0.009852216748768473, 'rouge2': 0.0, 'rougeL': 0.009852216748768473, 'rougeLsum': 0.009852216748768473} Sari: {'sari': 56.380208333333336} Flesh Reading Ease: -8597.01 ---------------------------------------- Source: ['Dann that er ihre Kleider an, setzte ihre Haube auf, legte sich in ihr Bett und zog die Vorhänge vor.'] Prediction: ['Ein Mann hatte sich in einem Bett mit einem Haube aufgefunden und wurde dabei von seinem Haube aufgefunden.\nDas Bett war dabei, dass er ihre Haube aufgefunden hatte.\nDie Vorhänge zog die Vorhänge vor.'] Label: [['Der Wolf legt sich in das Bett von der Groß∙mutter.\nDann zieht der Wolf die Kleider von der Groß∙mutter an.']] Sacrebleu: {'score': 2.6510202602018675, 'counts': [7, 1, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [18.42105263157895, 2.7027027027027026, 1.3888888888888888, 0.7142857142857143], 'bp': 1.0, 'sys_len': 38, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.18421052631578946, 0.02702702702702703, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7272727272727273, 'translation_length': 38, 'reference_length': 22} Rouge: {'rouge1': 0.20689655172413793, 'rouge2': 0.07142857142857142, 'rougeL': 0.1724137931034483, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 38.93037518037518} Flesh Reading Ease: 69.25 ---------------------------------------- Source: ['« Der Wolf drückte auf die Klinke, die Thür sprang auf und er ging, ohne ein Wort zu sprechen, gerade zum Bett der Großmutter und verschluckte sie.'] Prediction: ['Ein Wolf hat auf einer Klinke einen Thür aufgefunden.\nDer Wolf wurde von einem Bett der Großmutter verschluckt.\nDie Thür sprang auf und er ging ohne ein Wort zu sprechen, gerade zum Bett der Großmutter.'] Label: [['Und der Wolf frisst die Groß∙mutter ganz schnell.\nDer Wolf geht zum Bett von der Groß∙mutter.']] Sacrebleu: {'score': 5.250307109942528, 'counts': [10, 3, 1, 0], 'totals': [39, 38, 37, 36], 'precisions': [25.641025641025642, 7.894736842105263, 2.7027027027027026, 1.3888888888888888], 'bp': 1.0, 'sys_len': 39, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.2564102564102564, 0.07894736842105263, 0.02702702702702703, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1666666666666665, 'translation_length': 39, 'reference_length': 18} Rouge: {'rouge1': 0.49122807017543857, 'rouge2': 0.1818181818181818, 'rougeL': 0.3157894736842105, 'rougeLsum': 0.42105263157894735} Sari: {'sari': 39.007556770714665} Flesh Reading Ease: 80.55 ---------------------------------------- Source: ['»Drück nur auf die Klinke,« rief die Großmutter, »ich bin zu schwach und kann nicht aufstehen.'] Prediction: ['Eine Großmutter hat einen eigenen Wohnungsdelikt aufgefunden.\nDie Großmutter rief die Großmutter, ihn bin zu schwach und kann nicht aufstehen.\nDie Frau war zuvor auf die Klinke, und ihn war nicht aufstehen.'] Label: [['Ich kann nicht aufstehen.\nDie Groß∙mutter sagt: Komm nur herein.']] Sacrebleu: {'score': 9.76287719528627, 'counts': [6, 4, 3, 2], 'totals': [37, 36, 35, 34], 'precisions': [16.216216216216218, 11.11111111111111, 8.571428571428571, 5.882352941176471], 'bp': 1.0, 'sys_len': 37, 'ref_len': 13} Bleu: {'bleu': 0.09762877195286271, 'precisions': [0.16216216216216217, 0.1111111111111111, 0.08571428571428572, 0.058823529411764705], 'brevity_penalty': 1.0, 'length_ratio': 2.8461538461538463, 'translation_length': 37, 'reference_length': 13} Rouge: {'rouge1': 0.26086956521739124, 'rouge2': 0.22727272727272727, 'rougeL': 0.17391304347826086, 'rougeLsum': 0.26086956521739124} Sari: {'sari': 44.66534205580597} Flesh Reading Ease: 69.85 ---------------------------------------- Source: ['»Rotkäppchen, das bringt Kuchen und Wein, mach auf.«'] Prediction: ['Rotkäppchen, das bringt Kuchen und Wein, mach auf.\nDie Welt ist ein grosser Schutz.'] Label: [['Ich bringe dir einen Korb von der Mutter.\nRot∙käppchen.']] Sacrebleu: {'score': 2.5540496664715904, 'counts': [2, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [11.11111111111111, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6363636363636365, 'translation_length': 18, 'reference_length': 11} Rouge: {'rouge1': 0.07692307692307691, 'rouge2': 0.0, 'rougeL': 0.07692307692307691, 'rougeLsum': 0.07692307692307691} Sari: {'sari': 35.0} Flesh Reading Ease: 96.95 ---------------------------------------- Source: ['»Wer ist draußen?«'] Prediction: ['Die Schweizer Welt ist eine öffentliche Welle.\nDie Schweizer Welt ist eine öffentliche Welle.\nDie Schweizer Welt ist eine öffentliche Welle.'] Label: [['Die Groß·mutter fragt: Wer ist da?']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 24, 'reference_length': 8} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.0, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 63.087606837606835} Flesh Reading Ease: 61.85 ---------------------------------------- Source: ['Der Wolf aber ging geradeswegs nach dem Hause der Großmutter und klopfte an die Thür.'] Prediction: ['Ein Wolf klopfte an die Thür und klopfte an die Thür.\nDer Wolf ging geradeswegs nach dem Hause der Großmutter und klopfte an die Thür.'] Label: [['Der Wolf klopft an die Tür.\nIn dieser Zeit geht der Wolf zum Haus von der Groß∙mutter.']] Sacrebleu: {'score': 4.668049023095242, 'counts': [8, 2, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [29.62962962962963, 7.6923076923076925, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.2962962962962963, 0.07692307692307693, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4210526315789473, 'translation_length': 27, 'reference_length': 19} Rouge: {'rouge1': 0.375, 'rouge2': 0.17391304347826086, 'rougeL': 0.375, 'rougeLsum': 0.375} Sari: {'sari': 39.941520467836256} Flesh Reading Ease: 85.6 ---------------------------------------- Source: ['Und wenn es eine gebrochen hatte, meinte es, weiter hinaus stände eine schönere, und lief danach, und geriet immer tiefer in den Wald hinein.'] Prediction: ['Ein Mann hatte immer wieder in einem Wald in den Wald hinein.\nWeiter hinaus stände eine schönere, und lief danach, und geriet immer tiefer in den Wald hinein.\nDie Polizei vermutet, dass er sich nicht zu einem gebrochenen gebrochen hatte.'] Label: [['Und dabei vergisst Rot∙käppchen die Zeit.\nRot∙käppchen möchte nämlich Blumen für die Groß∙mutter pflücken.']] Sacrebleu: {'score': 0.9451258377819046, 'counts': [2, 0, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [4.3478260869565215, 1.1111111111111112, 0.5681818181818182, 0.29069767441860467], 'bp': 1.0, 'sys_len': 46, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.043478260869565216, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.875, 'translation_length': 46, 'reference_length': 16} Rouge: {'rouge1': 0.061538461538461535, 'rouge2': 0.0, 'rougeL': 0.061538461538461535, 'rougeLsum': 0.061538461538461535} Sari: {'sari': 33.85840108401084} Flesh Reading Ease: 67.25 ---------------------------------------- Source: ['es ist so früh am Tage, daß ich doch zu rechter Zeit ankomme,« lief vom Wege ab in den Wald hinein und suchte Blumen.'] Prediction: ['Im Wald wurde einige Tage lang von einem Mann abgegeben.\nDie Polizei sucht nach dem Mann, dass er sich nicht nur in den Wald hinein und suchte Blumen.\nDie Polizei sucht nach dem Mann, dass er sich nicht nur in den Wald hinein und suchte Blumen lief.'] Label: [['Und geht zu der Wiese.\nDeshalb verlässt Rot∙käppchen den Weg.']] Sacrebleu: {'score': 0.9216168770877762, 'counts': [3, 0, 0, 0], 'totals': [52, 51, 50, 49], 'precisions': [5.769230769230769, 0.9803921568627451, 0.5, 0.25510204081632654], 'bp': 1.0, 'sys_len': 52, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.057692307692307696, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.333333333333333, 'translation_length': 52, 'reference_length': 12} Rouge: {'rouge1': 0.06666666666666667, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.06666666666666667} Sari: {'sari': 36.145833333333336} Flesh Reading Ease: 82.4 ---------------------------------------- Source: ['»Wenn ich der Großmutter einen frischen Strauß mitbringe, der wird ihr auch Freude machen:'] Prediction: ['Ein Freude aus dem Kanton Graubünden hat einen frischen Strauß mitbringen, der wird ihr auch Freude machen kann.\nDie Frau wird von ihr auch Freude machen.\nDie Frau wird von ihr Freude machen.'] Label: [['Groß∙mutter freut sich sicher über einen Blumen∙strauß.']] Sacrebleu: {'score': 1.184949136625139, 'counts': [2, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [5.405405405405405, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.05405405405405406, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.625, 'translation_length': 37, 'reference_length': 8} Rouge: {'rouge1': 0.09302325581395347, 'rouge2': 0.0, 'rougeL': 0.09302325581395347, 'rougeLsum': 0.09302325581395347} Sari: {'sari': 35.72567783094099} Flesh Reading Ease: 87.1 ---------------------------------------- Source: ['Rotkäppchen schlug die Augen auf, und als es sah wie die Sonnenstrahlen durch die Bäume hin und her tanzten, und alles voll schöner Blumen stand, dachte es:'] Prediction: ['Rotkäppchen schlug die Augen auf, als es sah wie die Sonnenstrahlen durch die Bäume hin und her tanzten, und alles voll schöner Blumen stand.\nDer Blumen-Käppchen-Käppchen-Käppchen-Käppchen-Käppchen schlug die Augen auf, als es sah wie die Sonnenstrahlen durch die Bäume hin und her tanzten, und alles voll schöner Blumen stand, dachte es es: Rotkäppchen-Käppchen-Käppchen-Käppchen-Käppchen-Käppchen-Käppchen-Käppchen-Käppchen-Käppchen.'] Label: [['Rot∙käppchen denkt: Und die Vögel singen.\nDie Sonne scheint zwischen den Bäumen.\nRot∙käppchen schaut sich um.']] Sacrebleu: {'score': 0.8404845444815474, 'counts': [4, 0, 0, 0], 'totals': [61, 60, 59, 58], 'precisions': [6.557377049180328, 0.8333333333333334, 0.423728813559322, 0.21551724137931033], 'bp': 1.0, 'sys_len': 61, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.06557377049180328, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.05, 'translation_length': 61, 'reference_length': 20} Rouge: {'rouge1': 0.14678899082568808, 'rouge2': 0.037383177570093455, 'rougeL': 0.12844036697247707, 'rougeLsum': 0.12844036697247707} Sari: {'sari': 35.59577677224736} Flesh Reading Ease: 36.5 ---------------------------------------- Source: ['»Rotkäppchen, sieh einmal die schönen Blumen, die ringsumher stehen, warum guckst du dich nicht um?'] Prediction: ['Einige Blumen, die sie in der Schweiz stehen, sind in der Schweiz nicht um.\nDie Welt ist ein grosser Schutz, die sie sind nicht um.\nDie Welt ist einige Blumen, die sie sind in der Schweiz zu sehen.'] Label: [['Schau dich einmal um.\nAuf der Wiese hier im Wald wachsen schöne Blumen.']] Sacrebleu: {'score': 2.0446749214858784, 'counts': [5, 1, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [11.11111111111111, 2.272727272727273, 1.1627906976744187, 0.5952380952380952], 'bp': 1.0, 'sys_len': 45, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.022727272727272728, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 45, 'reference_length': 15} Rouge: {'rouge1': 0.11538461538461539, 'rouge2': 0.0, 'rougeL': 0.07692307692307693, 'rougeLsum': 0.07692307692307693} Sari: {'sari': 45.17267267267266} Flesh Reading Ease: 97.1 ---------------------------------------- Source: ['ich glaube du hörst gar nicht, wie die Vöglein so lieblich singen?'] Prediction: ['Die Vöglein in der Schweiz sind so lieblich, wie die Vöglein so lieblich singen.\nWir glauben, wie die Vöglein so lieblich singen?'] Label: [['Und die Vögel singen.\nEs ist so schön hier im Wald.']] Sacrebleu: {'score': 3.435812002459847, 'counts': [4, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 26, 'reference_length': 13} Rouge: {'rouge1': 0.2105263157894737, 'rouge2': 0.05555555555555555, 'rougeL': 0.2105263157894737, 'rougeLsum': 0.2105263157894737} Sari: {'sari': 39.6780303030303} Flesh Reading Ease: 87.1 ---------------------------------------- Source: ['« Da ging er ein Weilchen neben Rotkäppchen her, dann sprach er:'] Prediction: ['Ein Weilchen neben Rotkäppchen her, dann sprach er: "Ich ging ein Weilchen neben Rotkäppchen her".\nDie beiden waren nicht nur einmal, sondern auch ein Weilchen.'] Label: [['Dann sagt der Wolf zu Rot∙käppchen: Also geht der Wolf ein Stück auf dem Weg mit Rot∙käppchen mit.']] Sacrebleu: {'score': 1.526608193588886, 'counts': [3, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [9.375, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.09375, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 32, 'reference_length': 20} Rouge: {'rouge1': 0.15999999999999998, 'rouge2': 0.0, 'rougeL': 0.12, 'rougeLsum': 0.12} Sari: {'sari': 37.59920634920635} Flesh Reading Ease: 79.75 ---------------------------------------- Source: ['du mußt es listig anfangen, damit du beide erschnappst.'] Prediction: ['Die Welt ist eine der besten Schweizerinnen und Schweizerinnen und Schweizerinnen und Schweizerinnen und Schweizer.\nDie Welt ist eine deutsche Welt, die sich auf dem Kanton Bern und Bern verhindern.\nDie Welt ist eine deutsche Welt, die sich auf dem Kanton Bern zu verhindern.'] Label: [['Aber dafür muss der Wolf schlau sein.\nUnd der Wolf will die Groß∙mutter fressen.\nDer Wolf will Rot∙käppchen fressen.\nDer Wolf hat eine Idee.']] Sacrebleu: {'score': 1.1652512227907519, 'counts': [6, 0, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [12.244897959183673, 1.0416666666666667, 0.5319148936170213, 0.2717391304347826], 'bp': 1.0, 'sys_len': 49, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.12244897959183673, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 49, 'reference_length': 28} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.0, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 65.9090909090909} Flesh Reading Ease: 71.7 ---------------------------------------- Source: ['Das junge zarte Ding, das ist ein fetter Bissen, der wird noch besser schmecken als die Alte; Der Wolf dachte bei sich: »'] Prediction: ['Ein fetter Bissen, der noch besser schmecken als die Alte, ist im Juni 2020 in einem Zentrum in der Nähe des Kantons Bern gestorben.\nDer Wolf dachte bei sich: Der junge zarte Ding, das ist ein fetter Bissen, der wird noch besser schmecken als die Alte.'] Label: [['Und Rot∙käppchen schmeckt sicher besser als die alte Groß∙mutter.\nRot∙käppchen schmeckt sicher gut.\nIch möchte Rot∙käppchen fressen.\nUnd zart.\nUnd denkt: Rot∙käppchen ist jung.\nDer Wolf ist sehr hungrig.']] Sacrebleu: {'score': 3.8222401165669746, 'counts': [10, 3, 1, 0], 'totals': [53, 52, 51, 50], 'precisions': [18.867924528301888, 5.769230769230769, 1.9607843137254901, 1.0], 'bp': 1.0, 'sys_len': 53, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.18867924528301888, 0.057692307692307696, 0.0196078431372549, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4722222222222223, 'translation_length': 53, 'reference_length': 36} Rouge: {'rouge1': 0.18604651162790697, 'rouge2': 0.07142857142857144, 'rougeL': 0.18604651162790697, 'rougeLsum': 0.18604651162790697} Sari: {'sari': 41.612508594147016} Flesh Reading Ease: 75.1 ---------------------------------------- Source: ['»Noch eine gute Viertelstunde weiter im Wald, unter den drei großen Eichbäumen, da steht ihr Haus, unten sind die Nußhecken, das wirst du ja wissen,« sagte Rotkäppchen.'] Prediction: ['Eine Viertelstunde weiter im Wald, unter den drei großen Eichbäumen, unten sind die Nußhecken, das wirst du ja wissen, sagt Rotkäppchen.\nDie Eichbäumen werden noch nicht nur eine Viertelstunde weitergelegt.'] Label: [['Das Haus steht unter den 3 Eichen.\nDann kommt das Haus von meiner Groß∙mutter.\nIch muss eine Viertel∙stunde gehen.\nRot∙käppchen antwortet:']] Sacrebleu: {'score': 2.6988233895132607, 'counts': [6, 1, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [16.666666666666668, 2.857142857142857, 1.4705882352941178, 0.7575757575757576], 'bp': 1.0, 'sys_len': 36, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.02857142857142857, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.44, 'translation_length': 36, 'reference_length': 25} Rouge: {'rouge1': 0.19999999999999998, 'rouge2': 0.034482758620689655, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 35.0796823810317} Flesh Reading Ease: 59.7 ---------------------------------------- Source: ['»Rotkäppchen, wo wohnt deine Großmutter?«'] Prediction: ['Eine Großmutter wohnt in der Nacht auf Sonntag ihre Wohnung.\nDie Frau wohnt auf dem Platz, wo sie ihnen nicht auf dem Platz kam, das sieht.\nDie Frau wohnt auf dem Platz, wo sie ihnen nicht auf dem Platz kam, das sieht.'] Label: [['Und fragt: Wo wohnt deine Groß∙mutter?\nDer Wolf ist neugierig.']] Sacrebleu: {'score': 0.8853994618255676, 'counts': [2, 0, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [4.081632653061225, 1.0416666666666667, 0.5319148936170213, 0.2717391304347826], 'bp': 1.0, 'sys_len': 49, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.04081632653061224, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.769230769230769, 'translation_length': 49, 'reference_length': 13} Rouge: {'rouge1': 0.18518518518518515, 'rouge2': 0.038461538461538464, 'rougeL': 0.11111111111111109, 'rougeLsum': 0.14814814814814814} Sari: {'sari': 38.69047619047619} Flesh Reading Ease: 95.8 ---------------------------------------- Source: ['»Kuchen und Wein, gestern haben wir gebacken, da soll sich die kranke und schwache Großmutter etwas zu gute thun und sich damit stärken.«'] Prediction: ['Eine Großmutter soll sich etwas zu gute thun stärken.\nDie kranke und schwache Großmutter soll sich damit stärken.\nDie kranke und schwache Großmutter soll sich damit stärken.'] Label: [['Meine Groß∙mutter soll wieder gesund werden.\nUnd schwach.\nMeine Groß∙mutter ist nämlich krank.\nBeides ist für Groß∙mutter.\nUnd Kuchen.\nRot∙käppchen antwortet: Wein.']] Sacrebleu: {'score': 1.7557381354086663, 'counts': [4, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [13.333333333333334, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0344827586206897, 'translation_length': 30, 'reference_length': 29} Rouge: {'rouge1': 0.2903225806451613, 'rouge2': 0.13333333333333333, 'rougeL': 0.2580645161290323, 'rougeLsum': 0.2903225806451613} Sari: {'sari': 34.48356807511737} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['« »Was trägst du unter der Schürze?«'] Prediction: ['Immer mehr als eine Woche ist es zu einem schweren Schürze gekommen.\nIm Interview mit der 20-Minuten-App spricht der Moderator über die Schürze.\nEr wollte sich mit dem Schürze aufmerksam machen.'] Label: [['Der Wolf fragt: Was hast du in deinem Korb?']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 36, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.272727272727273, 'translation_length': 36, 'reference_length': 11} Rouge: {'rouge1': 0.04444444444444444, 'rouge2': 0.0, 'rougeL': 0.04444444444444444, 'rougeLsum': 0.04444444444444444} Sari: {'sari': 58.88888888888889} Flesh Reading Ease: 64.4 ---------------------------------------- Source: ['»Zur Großmutter.'] Prediction: ['Die Schweizer Welt ist eine der besten Restaurants in der Schweiz.\nDie Welt ist eine deutsche Welt.\nDie Welt ist eine deutsche Welt.'] Label: [['Rot∙käppchen antwortet: Ich gehe zur Groß∙mutter.']] Sacrebleu: {'score': 1.4445809981770859, 'counts': [1, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [3.8461538461538463, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.038461538461538464, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.25, 'translation_length': 26, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 90.4 ---------------------------------------- Source: ['»Wohinaus so früh, Rotkäppchen?«'] Prediction: ['Ein Sportler soll einen Rotkäppchen aufgehoben sein.\nWir haben die Wissenschaftler aufgefordert, wie es sich um einen Sportler handeln kann.\nWir haben die Wissenschaftler aufgefordert, wie es sich um einen Sportler handeln kann.'] Label: [['Wohin gehst du?\nDer Wolf fragt Rot∙käppchen:']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 38, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.222222222222222, 'translation_length': 38, 'reference_length': 9} Rouge: {'rouge1': 0.04651162790697674, 'rouge2': 0.0, 'rougeL': 0.04651162790697674, 'rougeLsum': 0.04651162790697674} Sari: {'sari': 56.666666666666664} Flesh Reading Ease: 69.55 ---------------------------------------- Source: ['» »Guten Tag, Rotkäppchen,« sprach er.'] Prediction: ['Die Schweizer Weltmeisterschaft hat einen neuen Sport-Team.\nDer Team ist mit dem Sport-Team zu Gast.'] Label: [['Und sagt: Hallo Rot∙käppchen.\nDer Wolf sieht Rot·käppchen.']] Sacrebleu: {'score': 5.061867434834413, 'counts': [3, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [17.647058823529413, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 1.0, 'sys_len': 17, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0625, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5454545454545454, 'translation_length': 17, 'reference_length': 11} Rouge: {'rouge1': 0.06896551724137931, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 68.03232998885173} Flesh Reading Ease: 84.75 ---------------------------------------- Source: ['Rotkäppchen aber wußte nicht was das für ein böses Tier war und fürchtete sich nicht vor ihm.'] Prediction: ['Rotkäppchen wurde für ein böses Tier gefürchtet.\nDas Tier war nicht vor ihm.'] Label: [['Deshalb hat Rot∙käppchen auch keine Angst vor dem Wolf.\nAber das weiß Rot∙käppchen nicht.\nDer Wolf ist ein böses Tier.']] Sacrebleu: {'score': 7.092752623220316, 'counts': [7, 2, 1, 0], 'totals': [15, 14, 13, 12], 'precisions': [46.666666666666664, 14.285714285714286, 7.6923076923076925, 4.166666666666667], 'bp': 0.5866462195100317, 'sys_len': 15, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.4666666666666667, 0.14285714285714285, 0.07692307692307693, 0.0], 'brevity_penalty': 0.5866462195100318, 'length_ratio': 0.6521739130434783, 'translation_length': 15, 'reference_length': 23} Rouge: {'rouge1': 0.38095238095238104, 'rouge2': 0.15, 'rougeL': 0.2380952380952381, 'rougeLsum': 0.38095238095238104} Sari: {'sari': 44.12976886661097} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['Wie nun Rotkäppchen in den Wald kam, begegnete ihm der Wolf.'] Prediction: ['Ein Wolf kam in den Wald von Rotkäppchen in den Wald.\nDer Wolf begegnete ihm der Wolf.'] Label: [['Im Wald trifft Rot∙käppchen einen Wolf.\nDann geht Rot·käppchen in den Wald zur Groß·mutter.']] Sacrebleu: {'score': 10.307386760781874, 'counts': [7, 3, 1, 0], 'totals': [19, 18, 17, 16], 'precisions': [36.8421052631579, 16.666666666666668, 5.882352941176471, 3.125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.3684210526315789, 0.16666666666666666, 0.058823529411764705, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1875, 'translation_length': 19, 'reference_length': 16} Rouge: {'rouge1': 0.3243243243243243, 'rouge2': 0.17142857142857143, 'rougeL': 0.27027027027027023, 'rougeLsum': 0.3243243243243243} Sari: {'sari': 46.666666666666664} Flesh Reading Ease: 95.45 ---------------------------------------- Source: ['»Ich will schon alles gut machen,« sagte Rotkäppchen zur Mutter, und gab ihr die Hand darauf.'] Prediction: ['Rotkäppchen will sich mit seinem Hand gut machen.\nDie Mutter gab ihr die Hand darauf.'] Label: [['Das verspreche ich dir.\nUnd ich beeile mich. Ich bleibe auf dem Weg.\nLiebe Mutter.\nRot∙käppchen antwortet:']] Sacrebleu: {'score': 2.242872568617871, 'counts': [3, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [17.647058823529413, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.7451888170134805, 'sys_len': 17, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7451888170134805, 'length_ratio': 0.7727272727272727, 'translation_length': 17, 'reference_length': 22} Rouge: {'rouge1': 0.11428571428571428, 'rouge2': 0.0, 'rougeL': 0.05714285714285714, 'rougeLsum': 0.11428571428571428} Sari: {'sari': 34.672619047619044} Flesh Reading Ease: 90.6 ---------------------------------------- Source: ['Mach dich auf, bevor es heiß wird, und wenn du hinauskommst, so geh hübsch sittsam und lauf nicht vom Weg ab, sonst fällst du und zerbrichst das Glas und die Großmutter hat nichts.'] Prediction: ['Ein Glas ist in der Nacht auf Sonntag in der Nacht auf Sonntag in der Nacht auf Sonntag gestorben.\nDie Großmutter hat nichts.\nDie Welt ist nicht bekannt, sondern auch auch auch auf Sonntag in der Nacht auf Sonntag.'] Label: [['Und pass gut auf die Dinge im Korb auf.\nAber bleib auf dem Weg.\nAlso beeil dich.']] Sacrebleu: {'score': 1.3338359564519315, 'counts': [6, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [13.953488372093023, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.13953488372093023, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.15, 'translation_length': 43, 'reference_length': 20} Rouge: {'rouge1': 0.14035087719298245, 'rouge2': 0.0, 'rougeL': 0.14035087719298245, 'rougeLsum': 0.14035087719298245} Sari: {'sari': 35.85144927536233} Flesh Reading Ease: 90.95 ---------------------------------------- Source: ['sie ist krank und schwach und wird sich daran laben.'] Prediction: ['Die Schweizer Welt ist krank und schwach.\nDie Schweizer Welt ist krank und schwach.\nDie Schweizer Welt ist krank und schwach.'] Label: [['Und schnell gesund werden.\nDie Groß∙mutter soll wieder zu Kräften kommen.\nDie Groß∙mutter ist krank.']] Sacrebleu: {'score': 5.6641802272004975, 'counts': [7, 3, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [29.166666666666668, 13.043478260869565, 2.272727272727273, 1.1904761904761905], 'bp': 1.0, 'sys_len': 24, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.2916666666666667, 0.13043478260869565, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 24, 'reference_length': 18} Rouge: {'rouge1': 0.25641025641025644, 'rouge2': 0.05405405405405405, 'rougeL': 0.25641025641025644, 'rougeLsum': 0.25641025641025644} Sari: {'sari': 46.521989362546634} Flesh Reading Ease: 108.65 ---------------------------------------- Source: ['Eines Tages sprach seine Mutter zu ihm: »Komm, Rotkäppchen, da hast du ein Stück Kuchen und eine Flasche Wein, bring das der Großmutter hinaus;'] Prediction: ['Eine Mutter hat einen Tagesvideo auf ihrem Facebook-Accounts gegeben, das ihn zu ihm sei.\nDie Mutter sprach von ihm, Rotkäppchen und Rotkäppchen, da hast du ein Stück Kuchen und eine Flasche Wein bringen.'] Label: [['Bring den Korb zur Groß∙mutter.\nDann sagt die Mutter zu Rot∙käppchen: Und Kuchen.\nIn dem Korb ist Wein.\nAn einem Morgen gibt die Mutter Rot∙käppchen einen Korb.']] Sacrebleu: {'score': 1.6298158492058863, 'counts': [8, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [21.05263157894737, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1875, 'translation_length': 38, 'reference_length': 32} Rouge: {'rouge1': 0.2898550724637681, 'rouge2': 0.059701492537313425, 'rougeL': 0.20289855072463767, 'rougeLsum': 0.2898550724637681} Sari: {'sari': 36.56446540880503} Flesh Reading Ease: 69.9 ---------------------------------------- Source: ['Einmal schenkte sie ihm ein Käppchen von rotem Sammet und weil ihm das so wohl stand, und es nichts anderes mehr tragen wollte, hieß es nur das Rotkäppchen.'] Prediction: ['Einmal schenkte sie ihm ein Käppchen von rotem Sammet.\nDas so wohl stand, und es nichts anderes mehr tragen wollte, hieß es nur das Rotkäppchen.'] Label: [['Rot∙käppchen.\nDeshalb heißt das Mädchen: Und will das rote Käppchen immer tragen.\nDas Mädchen mag das rote Käppchen sehr.\nDie Groß∙mutter schenkt dem Mädchen ein rotes Käppchen.']] Sacrebleu: {'score': 3.17396192434926, 'counts': [7, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [24.137931034482758, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 0.9017226623630116, 'sys_len': 29, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.2413793103448276, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 0.9017226623630116, 'length_ratio': 0.90625, 'translation_length': 29, 'reference_length': 32} Rouge: {'rouge1': 0.25, 'rouge2': 0.03225806451612904, 'rougeL': 0.21875, 'rougeLsum': 0.21875} Sari: {'sari': 34.33691756272401} Flesh Reading Ease: 85.6 ---------------------------------------- Source: ["Von nun an getrauten sich die Räuber nicht weiter in das Haus, den vier Bremer Musikanten gefiel's aber so wohl darin, daß sie nicht wieder heraus wollten."] Prediction: ['Die Räuber Musikanten von Bremer Musikanten wollten sich nicht weiter in das Haus, den vier Bremer Musikanten gefielen wollten.\nDie Räuber wollten sich nicht wieder heraus wollten.'] Label: [['Deshalb wollen die 4 Tiere auch nicht mehr nach Bremen gehen.\nDie 4 Tiere fühlen sich sehr wohl in dem Haus.\nUnd die 4 Tiere bleiben in dem Haus.\nDer Esel und der Hund und die Katze und der Hahn sind froh.\nUnd die Räuber kommen nie mehr zu dem Haus zurück.\nDie Räuber laufen fort.\nJetzt haben auch die anderen Räuber Angst.']] Sacrebleu: {'score': 1.6460022660355231, 'counts': [10, 2, 1, 0], 'totals': [30, 29, 28, 27], 'precisions': [33.333333333333336, 6.896551724137931, 3.5714285714285716, 1.8518518518518519], 'bp': 0.2635971381157267, 'sys_len': 30, 'ref_len': 70} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.06896551724137931, 0.03571428571428571, 0.0], 'brevity_penalty': 0.2635971381157267, 'length_ratio': 0.42857142857142855, 'translation_length': 30, 'reference_length': 70} Rouge: {'rouge1': 0.20618556701030927, 'rouge2': 0.08421052631578947, 'rougeL': 0.14432989690721648, 'rougeLsum': 0.20618556701030927} Sari: {'sari': 38.418555443138544} Flesh Reading Ease: 61.2 ---------------------------------------- Source: ['Da machte ich, daß ich fortkam.'] Prediction: ['Die Welt ist ein Jahr nach dem US-Präsidenten Donald Trump auf dem Kanton St. Gallen gestorben.\nEr warnte sich in einem Interview mit dem US-Präsidenten und dem Präsidenten, der sich nicht verkündete, nachdem er sich das Leben verkündete.'] Label: [['Deshalb bin ich fortgelaufen.']] Sacrebleu: {'score': 0.8522452865706931, 'counts': [1, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [2.3255813953488373, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.023255813953488372, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 8.6, 'translation_length': 43, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 61.66666666666667} Flesh Reading Ease: 61.55 ---------------------------------------- Source: ['und oben auf dem Dache, da sitzt der Richter, der rief, bringt mir den Schelm her.'] Prediction: ['Ein Schelm-Richter sitzt in einem Restaurant in der Nähe von einem Restaurant.\nDer Richter rief, bringt den Schelm her.\nDie Polizei vermutet, dass der Richter den Schelm her bringt.'] Label: [['Der Polizist wollte mich fangen.\nUnd auf dem Dach sitzt ein Polizist.']] Sacrebleu: {'score': 1.5393730252811677, 'counts': [4, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [11.764705882352942, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4285714285714284, 'translation_length': 34, 'reference_length': 14} Rouge: {'rouge1': 0.13953488372093023, 'rouge2': 0.0, 'rougeL': 0.046511627906976744, 'rougeLsum': 0.09302325581395349} Sari: {'sari': 33.32547762694822} Flesh Reading Ease: 82.55 ---------------------------------------- Source: ['und auf dem Hof liegt ein schwarzes Ungetüm, das hat mit einer Holzkeule auf mich losgeschlagen;'] Prediction: ['Ein Ungetüm hat mit einer Holzkeule auf dem Hof losgeschlagen.\nDie Holzkeule hat mit einer Holzkeule auf mich losgeschlagen.'] Label: [['Das Monster hat mich getreten.\nUnd bei dem Mist∙haufen ist ein Monster.']] Sacrebleu: {'score': 2.7156804039319287, 'counts': [5, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [23.80952380952381, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.23809523809523808, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 21, 'reference_length': 14} Rouge: {'rouge1': 0.24242424242424246, 'rouge2': 0.0, 'rougeL': 0.12121212121212123, 'rougeLsum': 0.18181818181818185} Sari: {'sari': 36.560457516339866} Flesh Reading Ease: 65.2 ---------------------------------------- Source: ['und vor der Thür steht ein Mann mit einem Messer, der hat mich ins Bein gestochen;'] Prediction: ['Ein Mann mit einem Messer hat sich ins Bein gestochen.\nDer Mann hat mich ins Bein gestochen.'] Label: [['Mit dem Messer hat mir der Mann ins Bein gestochen.\nDer Mann hat ein Messer.\nUnd vor der Tür steht ein Mann.']] Sacrebleu: {'score': 26.156871679365914, 'counts': [11, 7, 5, 4], 'totals': [19, 18, 17, 16], 'precisions': [57.89473684210526, 38.888888888888886, 29.41176470588235, 25.0], 'bp': 0.729212952525235, 'sys_len': 19, 'ref_len': 25} Bleu: {'bleu': 0.2615687167936592, 'precisions': [0.5789473684210527, 0.3888888888888889, 0.29411764705882354, 0.25], 'brevity_penalty': 0.729212952525235, 'length_ratio': 0.76, 'translation_length': 19, 'reference_length': 25} Rouge: {'rouge1': 0.55, 'rouge2': 0.3684210526315789, 'rougeL': 0.45, 'rougeLsum': 0.55} Sari: {'sari': 46.36931714517922} Flesh Reading Ease: 89.6 ---------------------------------------- Source: ['« Da lief der Räuber, was er konnte, zu seinem Hauptmann zurück und sprach: »Ach; in dem Hause sitzt eine greuliche Hexe, die hat mich angehaucht und mit ihren langen Fingern mir das Gesicht zerkratzt;'] Prediction: ['Ein Räuber hat eine Hexe, die in seinem Hause angehaucht hat, zurückgezogen.\nDer Räuber hat sich mit ihren langen Fingern das Gesicht zerkratzt.'] Label: [['Die Hexe hat mir das Gesicht zerkratzt.\nIn dem Haus ist eine Hexe.\nDer Räuber erzählt mit einer ängstlichen Stimme: Der Räuber läuft zu den anderen Räubern.\nUnd der Räuber läuft davon.']] Sacrebleu: {'score': 10.390621835349549, 'counts': [12, 6, 3, 1], 'totals': [27, 26, 25, 24], 'precisions': [44.44444444444444, 23.076923076923077, 12.0, 4.166666666666667], 'bp': 0.6904785504771092, 'sys_len': 27, 'ref_len': 37} Bleu: {'bleu': 0.10390621835349549, 'precisions': [0.4444444444444444, 0.23076923076923078, 0.12, 0.041666666666666664], 'brevity_penalty': 0.6904785504771092, 'length_ratio': 0.7297297297297297, 'translation_length': 27, 'reference_length': 37} Rouge: {'rouge1': 0.4307692307692308, 'rouge2': 0.19047619047619047, 'rougeL': 0.2153846153846154, 'rougeLsum': 0.4} Sari: {'sari': 45.569595666363156} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['»Kikeriki! der Hahn aber, der vom Lärmen aus dem Schlaf geweckt und munter geworden war, rief vom Balken herab:'] Prediction: ['Ein Mann aus dem Schlaf geweckt und munter geworden war mit einem Messer aus dem Balken herab.\nDie Hahn wurde von einem Messer aus dem Lärmen geweckt und munter geworden.\nDie Hahn wurde von einem der besten Ländern aus dem Schlaf geweckt und munter geworden.'] Label: [['Der Hahn macht Krach.\nUnd so wird auch der Hahn wach.']] Sacrebleu: {'score': 1.137287189899225, 'counts': [5, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [10.416666666666666, 1.0638297872340425, 0.5434782608695652, 0.2777777777777778], 'bp': 1.0, 'sys_len': 48, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.10416666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6923076923076925, 'translation_length': 48, 'reference_length': 13} Rouge: {'rouge1': 0.13793103448275862, 'rouge2': 0.0, 'rougeL': 0.10344827586206895, 'rougeLsum': 0.10344827586206895} Sari: {'sari': 35.56353096794273} Flesh Reading Ease: 77.25 ---------------------------------------- Source: ['Da erschrak er gewaltig, lief und wollte zur Hinterthür hinaus, aber der Hund, der da lag, sprang auf und biß ihn ins Bein; und als er über den Hof an dem Miste vorbeirannte, gab ihm der Esel noch einen tüchtigen Schlag mit dem Hinterfuß;'] Prediction: ['Ein Hund biß ihn ins Bein.\nDer Hund, der da lag, sprang auf und biß ihn ins Bein.\nDer Esel gab ihm noch einen tüchtigen Schlag mit dem Hinterfuß.'] Label: [['Der Esel tritt den Räuber.\nAm Mist∙haufen wartet schon der Esel.\nDer Räuber rennt an dem Mist∙haufen vorbei.\nDer Räuber rennt aus dem Haus.\nDer Räuber schreit noch lauter.\nDer Hund beißt den Räuber ins Bein.\nAber vor der Tür liegt noch der Hund.\nDer Räuber rennt zur Tür.\nDer Räuber will schnell aus dem Haus laufen.\nUnd der Räuber schreit.\nJetzt hat der Räuber Angst.']] Sacrebleu: {'score': 2.583108999351381, 'counts': [13, 6, 2, 0], 'totals': [34, 33, 32, 31], 'precisions': [38.23529411764706, 18.181818181818183, 6.25, 1.6129032258064515], 'bp': 0.28232231990699064, 'sys_len': 34, 'ref_len': 77} Bleu: {'bleu': 0.0, 'precisions': [0.38235294117647056, 0.18181818181818182, 0.0625, 0.0], 'brevity_penalty': 0.28232231990699064, 'length_ratio': 0.44155844155844154, 'translation_length': 34, 'reference_length': 77} Rouge: {'rouge1': 0.21818181818181814, 'rouge2': 0.07407407407407407, 'rougeL': 0.14545454545454545, 'rougeLsum': 0.21818181818181814} Sari: {'sari': 38.4345786059782} Flesh Reading Ease: 105.95 ---------------------------------------- Source: ['Aber die Katze verstand keinen Spaß, sprang ihm ins Gesicht, spie und kratzte.'] Prediction: ['Eine Katze verstand keinen Spaß, sprang ihm ins Gesicht, spie und kratzte.\nAuf der Katze verstand keinen Spaß, sprang ihm ins Gesicht, spie und kratzte.'] Label: [['Und die Katze zerkratzt das Gesicht vom Räuber.\nDie Katze springt den Räuber an.']] Sacrebleu: {'score': 1.793443763338368, 'counts': [5, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [16.129032258064516, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.16129032258064516, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9375, 'translation_length': 31, 'reference_length': 16} Rouge: {'rouge1': 0.19512195121951217, 'rouge2': 0.0, 'rougeL': 0.14634146341463414, 'rougeLsum': 0.14634146341463414} Sari: {'sari': 28.703703703703702} Flesh Reading Ease: 85.6 ---------------------------------------- Source: ['Der Abgeschickte fand alles still, ging in die Küche, ein Licht anzuzünden, und weil er die glühenden, feurigen Augen der Katze für lebendige Kohlen ansah, hielt er ein Schwefelhölzchen daran, daß es Feuer fangen sollte.'] Prediction: ['Ein Schwefelhölzchen hielt ein Schwefelhölzchen daran, daß es Feuer fangen sollte.\nDer Abgeschickte fand alles still, ging in die Küche, ein Licht anzuzünden, weil er die glühenden, feurigen Augen der Katze für lebendige Kohlen ansah, hielt er ein Schwefelhölzchen daran, daß es Feuer fangen sollte.'] Label: [['Die Augen von der Katze leuchten wie 2 Stücken Kohle.\nDie Augen von der Katze leuchten im Dunkeln.\nDer Räuber denkt: Das ist die Kohle.\nIn der Küche sieht der Räuber 2 leuchtende Punkte.\nAlso geht der Räuber in die Küche.\nDer Räuber will das Licht anmachen.\nEs geht nur 1 Räuber in das Haus.\nAber die Räuber sind vorsichtig:']] Sacrebleu: {'score': 3.1254138102270264, 'counts': [11, 4, 1, 0], 'totals': [54, 53, 52, 51], 'precisions': [20.37037037037037, 7.547169811320755, 1.9230769230769231, 0.9803921568627451], 'bp': 0.7574651283969664, 'sys_len': 54, 'ref_len': 69} Bleu: {'bleu': 0.0, 'precisions': [0.2037037037037037, 0.07547169811320754, 0.019230769230769232, 0.0], 'brevity_penalty': 0.7574651283969664, 'length_ratio': 0.782608695652174, 'translation_length': 54, 'reference_length': 69} Rouge: {'rouge1': 0.19834710743801653, 'rouge2': 0.06722689075630252, 'rougeL': 0.13223140495867766, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 38.90829892224252} Flesh Reading Ease: 52.2 ---------------------------------------- Source: ['Als Mitternacht vorbei war und die Räuber von weitem sahen, daß kein Licht mehr im Hause brannte, auch alles ruhig schien, sprach der Hauptmann: »Wir hätten uns doch nicht sollen ins Bockshorn jagen lassen,« und hieß einen hingehen und das Haus untersuchen.'] Prediction: ['Ein Räuber wurde am Freitagabend von einem Bockshorn in der Nähe des Kantons Bern mit einem Messer aufgefunden.\nDie Räuber hätten nicht ins Bockshorn jagen lassen, hieß einen hingehen und das Haus untersuchen.'] Label: [['Lasst uns zurück zum Haus gehen.\nVielleicht war es doch kein Gespenst.\nWir haben uns geirrt.\nDeshalb sagt der Anführer von den Räubern: Alles ist ganz still.\nDas Licht im Haus ist aus.\nDie Räuber sehen: Aber die Räuber sind noch in der Nähe vom Haus.']] Sacrebleu: {'score': 4.423610766128608, 'counts': [10, 4, 2, 0], 'totals': [36, 35, 34, 33], 'precisions': [27.77777777777778, 11.428571428571429, 5.882352941176471, 1.5151515151515151], 'bp': 0.6065306597126334, 'sys_len': 36, 'ref_len': 54} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.11428571428571428, 0.058823529411764705, 0.0], 'brevity_penalty': 0.6065306597126334, 'length_ratio': 0.6666666666666666, 'translation_length': 36, 'reference_length': 54} Rouge: {'rouge1': 0.2696629213483146, 'rouge2': 0.13793103448275862, 'rougeL': 0.15730337078651685, 'rougeLsum': 0.22471910112359553} Sari: {'sari': 37.540898325212055} Flesh Reading Ease: 64.05 ---------------------------------------- Source: ['Der Esel legte sich auf den Mist, der Hund hinter die Thür, die Katze auf den Herd bei die warme Asche, und der Hahn setzte sich auf den Hahnenbalken, und weil sie müde waren von ihrem langen Wege, schliefen sie auch bald ein.'] Prediction: ['Ein Hahn hat eine Katze auf den Herd bei die warme Asche, der Hahn setzte sich auf den Hahnenbalken, und weil sie müde waren von ihrem langen Wege, schliefen sie auch bald ein.\nDer Hahn hatte sich auf den Mist, der Katze auf den Herd bei die warme Asche, und der Hahn setzte sich auf den Hahnenbalken.'] Label: [['Und die 4 Tiere schlafen ein.\nDas Licht ist aus.\nUnd der Hahn schläft auf einem Balken unter dem Dach.\nDie Katze schläft in der Küche.\nDer Hund schläft vor der Tür.\nDer Esel schläft bei dem Mist∙haufen.\nVor dem Haus ist ein Mist∙haufen.\nDer Esel geht vor das Haus.']] Sacrebleu: {'score': 2.3307334895967267, 'counts': [12, 3, 0, 0], 'totals': [64, 63, 62, 61], 'precisions': [18.75, 4.761904761904762, 0.8064516129032258, 0.4098360655737705], 'bp': 1.0, 'sys_len': 64, 'ref_len': 58} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.103448275862069, 'translation_length': 64, 'reference_length': 58} Rouge: {'rouge1': 0.25862068965517243, 'rouge2': 0.03508771929824561, 'rougeL': 0.15517241379310345, 'rougeLsum': 0.22413793103448276} Sari: {'sari': 32.27397289150277} Flesh Reading Ease: 69.6 ---------------------------------------- Source: ['Wie die vier Spielleute fertig waren, löschten sie das Licht aus und suchten sich eine Schlafstätte, jeder nach seiner Natur und Bequemlichkeit.'] Prediction: ['Die vier Spielleute waren fertig.\nSie waren das Licht ausgebrochen und suchten sich eine Schlafstätte.\nDie Schlafstätte wurde nach seiner Natur und Bequemlichkeit gesprochen.'] Label: [['Die 4 Tiere suchen sich einen Schlafplatz: Und werden müde.\nDann sind die 4 Tiere satt.']] Sacrebleu: {'score': 1.962672844874697, 'counts': [4, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [14.814814814814815, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.14814814814814814, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4210526315789473, 'translation_length': 27, 'reference_length': 19} Rouge: {'rouge1': 0.186046511627907, 'rouge2': 0.0, 'rougeL': 0.13953488372093026, 'rougeLsum': 0.186046511627907} Sari: {'sari': 36.04651162790697} Flesh Reading Ease: 55.0 ---------------------------------------- Source: ['Nun setzten sich die vier Gesellen an den Tisch, nahmen mit dem vorlieb, was übrig geblieben war, und aßen, als wenn sie vier Wochen hungern sollten.'] Prediction: ['Die vier Gesellen der Schweizer Woche sind in den letzten Wochen hungern.\nDie vier Gesellen waren nicht nur übrig geblieben, sondern auch auch auch auf die Tisch.\nDie vier Gesellen waren nur übrig geblieben, als wenn sie vier Wochen hungern sollten.'] Label: [['Die 4 Tiere essen und trinken.\nUnd setzen sich an den Tisch.\nDie 4 Tiere gehen in das Haus.']] Sacrebleu: {'score': 3.780503351127618, 'counts': [8, 2, 1, 0], 'totals': [46, 45, 44, 43], 'precisions': [17.391304347826086, 4.444444444444445, 2.272727272727273, 1.1627906976744187], 'bp': 1.0, 'sys_len': 46, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.044444444444444446, 0.022727272727272728, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.090909090909091, 'translation_length': 46, 'reference_length': 22} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.03448275862068966, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 35.14074741048425} Flesh Reading Ease: 72.7 ---------------------------------------- Source: ['Die Räuber fuhren bei dem entsetzlichen Geschrei in die Höhe, meinten nicht anders als ein Gespenst käme herein und flohen in größter Furcht in den Wald hinaus.'] Prediction: ['Ein Gespenst käme in den Wald hinaus.\nDie Räuber fuhren bei einem entsetzlichen Geschrei in die Höhe, meinten nicht anders als ein Gespenst.\nDie Räuber waren nicht anders als ein Gespenst, flohen in den Wald hinaus.'] Label: [['Und die Räuber laufen fort.\nDie Räuber bekommen Angst.\nNur Gespenster können so einen schrecklichen Lärm machen.\nDas ist ein Gespenst.\nDie Räuber denken: Und die Musik ist schrecklich.\nDie Musik von den 4 Tieren ist laut.']] Sacrebleu: {'score': 11.283863468928537, 'counts': [11, 6, 4, 2], 'totals': [41, 40, 39, 38], 'precisions': [26.829268292682926, 15.0, 10.256410256410257, 5.2631578947368425], 'bp': 0.9294421312368021, 'sys_len': 41, 'ref_len': 44} Bleu: {'bleu': 0.11283863468928539, 'precisions': [0.2682926829268293, 0.15, 0.10256410256410256, 0.05263157894736842], 'brevity_penalty': 0.9294421312368021, 'length_ratio': 0.9318181818181818, 'translation_length': 41, 'reference_length': 44} Rouge: {'rouge1': 0.26829268292682923, 'rouge2': 0.15, 'rougeL': 0.24390243902439024, 'rougeLsum': 0.26829268292682923} Sari: {'sari': 38.9354310406942} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['der Esel schrie, der Hund bellte, die Katze miaute und der Hahn krähte;'] Prediction: ['Ein Hund bellte, die Katze miaute und der Hahn krähte.\nDer Hund bellte, die Katze miaute und der Hahn krähte.\nDie Katze krähte und bellte, die Katze krähte.'] Label: [['• Und der Hahn kräht.\n• Die Katze miaut.\n• Der Hund bellt.\n• Der Esel schreit.']] Sacrebleu: {'score': 4.172941649841035, 'counts': [9, 3, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [26.470588235294116, 9.090909090909092, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.2647058823529412, 0.09090909090909091, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.619047619047619, 'translation_length': 34, 'reference_length': 21} Rouge: {'rouge1': 0.391304347826087, 'rouge2': 0.22727272727272727, 'rougeL': 0.30434782608695654, 'rougeLsum': 0.391304347826087} Sari: {'sari': 43.05348258706467} Flesh Reading Ease: 82.95 ---------------------------------------- Source: ['Wie das geschehen war, fingen sie auf ein Zeichen insgesamt an ihre Musik zu machen:'] Prediction: ['Eine der besten neuen Musikerinnen und Musikerinnen und Musiker auf ihre Musik wurde von einem Zeichen insgesamt an ihre Musik zu machen.\nDie beiden waren auf ein Zeichen insgesamt an ihre Musik zu machen.'] Label: [['Dann machen die 4 Tiere zusammen Musik:']] Sacrebleu: {'score': 1.2193311110766474, 'counts': [2, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [5.555555555555555, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.05555555555555555, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.5, 'translation_length': 36, 'reference_length': 8} Rouge: {'rouge1': 0.14634146341463417, 'rouge2': 0.05128205128205128, 'rougeL': 0.14634146341463417, 'rougeLsum': 0.14634146341463417} Sari: {'sari': 35.94663742690059} Flesh Reading Ease: 51.85 ---------------------------------------- Source: ['Der Esel mußte sich mit den Vorderfüßen auf das Fenster stellen, der Hund auf des Esels Rücken springen, die Katze auf den Hund klettern, und endlich flog der Hahn hinauf und setzte sich der Katze auf den Kopf.'] Prediction: ['Ein Hund auf dem Esel Rücken flog eine Katze auf den Kopf.\nDer Hahn flog der Katze hinauf und flog der Hahn hinauf.'] Label: [['Und der Hahn fliegt auf den Rücken von der Katze.\nDie Katze klettert auf den Rücken vom Hund.\nDer Hund springt auf den Rücken vom Esel.\nDer Esel stellt sich vor das Fenster.']] Sacrebleu: {'score': 4.287831563625279, 'counts': [14, 4, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [56.0, 16.666666666666668, 2.1739130434782608, 1.1363636363636365], 'bp': 0.6187833918061408, 'sys_len': 25, 'ref_len': 37} Bleu: {'bleu': 0.0, 'precisions': [0.56, 0.16666666666666666, 0.0, 0.0], 'brevity_penalty': 0.6187833918061408, 'length_ratio': 0.6756756756756757, 'translation_length': 25, 'reference_length': 37} Rouge: {'rouge1': 0.4666666666666666, 'rouge2': 0.13793103448275862, 'rougeL': 0.26666666666666666, 'rougeLsum': 0.43333333333333335} Sari: {'sari': 37.36497931984151} Flesh Reading Ease: 92.45 ---------------------------------------- Source: ['Da ratschlagten die Tiere wie sie es anfangen müßten, um die Räuber hinauszujagen und fanden endlich ein Mittel.'] Prediction: ['Ein Räuber hatte am Sonntag eine Räuber-Tote in einem Räuber-Bäumen gefunden.\nDie Tiere wurden dabei gestohlen.\nDie Tiere waren nicht mehr, sondern auch ein Mittel.'] Label: [['Dann haben die Tiere eine Idee: Die Tiere überlegen.']] Sacrebleu: {'score': 3.235912122544166, 'counts': [5, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [17.24137931034483, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6363636363636362, 'translation_length': 29, 'reference_length': 11} Rouge: {'rouge1': 0.25, 'rouge2': 0.10526315789473685, 'rougeL': 0.19999999999999998, 'rougeLsum': 0.15000000000000002} Sari: {'sari': 51.55797101449275} Flesh Reading Ease: 60.55 ---------------------------------------- Source: ['»Ja, ja, ach, wären wir da!« sagte der Esel.'] Prediction: ['Ein Esel hat einen ähnlichen Einblicke aufgefunden.\nDer Esel warnt vor einem Jahr, dass er sich nicht mehr überrascht.\nDie Welt ist noch unklar.'] Label: [['Der Esel stimmt zu.']] Sacrebleu: {'score': 2.955622941561161, 'counts': [3, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [10.714285714285714, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.10714285714285714, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.6, 'translation_length': 28, 'reference_length': 5} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.07692307692307691, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 65.47619047619048} Flesh Reading Ease: 90.1 ---------------------------------------- Source: ['»Das wäre was für uns,« sprach der Hahn.'] Prediction: ['Ein Hahn wäre für uns, das wäre für uns, wäre der Hahn.\nDie Hahn sprach der Hahn.'] Label: [['Wir wollen auch an dem Tisch sitzen.\nDer Hahn sagt zum Esel:']] Sacrebleu: {'score': 2.159701133933343, 'counts': [2, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [9.523809523809524, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.09523809523809523, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 21, 'reference_length': 14} Rouge: {'rouge1': 0.11764705882352942, 'rouge2': 0.0625, 'rougeL': 0.11764705882352942, 'rougeLsum': 0.11764705882352942} Sari: {'sari': 40.65656565656566} Flesh Reading Ease: 101.3 ---------------------------------------- Source: ["»Was ich sehe?« antwortete der Esel, »einen gedeckten Tisch mit schönem Essen und Trinken, und Räuber sitzen daran und lassen's sich wohl sein.«"] Prediction: ['Ein Räuber hat einen gedeckten Tisch mit schönem Essen und Trinken.\nDer Esel antwortete der Esel, dass er sich wohl sein sei.'] Label: [['Die Räuber essen und trinken.\nAn dem Tisch sitzen Räuber.\nDer Esel antwortet: Ich sehe einen großen Tisch.']] Sacrebleu: {'score': 7.164684238257436, 'counts': [8, 2, 1, 0], 'totals': [25, 24, 23, 22], 'precisions': [32.0, 8.333333333333334, 4.3478260869565215, 2.272727272727273], 'bp': 1.0, 'sys_len': 25, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.32, 0.08333333333333333, 0.043478260869565216, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1363636363636365, 'translation_length': 25, 'reference_length': 22} Rouge: {'rouge1': 0.39999999999999997, 'rouge2': 0.18604651162790697, 'rougeL': 0.3111111111111111, 'rougeLsum': 0.39999999999999997} Sari: {'sari': 44.18991058274358} Flesh Reading Ease: 87.1 ---------------------------------------- Source: ['»Was siehst du, Grauschimmel?« fragte der Hahn.'] Prediction: ['Im Alter von 99 Jahren wurde der Schweizer Grauschimmel in der Nacht auf Sonntag eine Frau entdeckt.\nDie Frau war mit dem Hahn auf dem Platz zum ersten Mal.\nDie Frau fragte ihre Hahn.'] Label: [['Was siehst du?\nDer Hahn fragt den Esel:']] Sacrebleu: {'score': 0.9964194812460634, 'counts': [1, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [2.7027027027027026, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.02702702702702703, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.7, 'translation_length': 37, 'reference_length': 10} Rouge: {'rouge1': 0.09523809523809523, 'rouge2': 0.0, 'rougeL': 0.09523809523809523, 'rougeLsum': 0.09523809523809523} Sari: {'sari': 47.31481481481482} Flesh Reading Ease: 86.8 ---------------------------------------- Source: ['Der Esel, als der größte, näherte sich dem Fenster und schaute hinein.'] Prediction: ['Ein Fenster näherte sich dem Fenster und schaute hinein.\nDer Esel, als der größte, näherte sich dem Fenster und schaute hinein.\nDer Esel, als der größte, näherte sich dem Fenster und schaute hinein.'] Label: [['Und der Esel schaut durch ein Fenster in das Haus.']] Sacrebleu: {'score': 1.2992493989257516, 'counts': [4, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [10.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6363636363636362, 'translation_length': 40, 'reference_length': 11} Rouge: {'rouge1': 0.20833333333333334, 'rouge2': 0.08695652173913043, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 42.5} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['Also machten sie sich auf den Weg nach der Gegend, wo das Licht war, und sahen es bald heller schimmern, und es ward immer größer, bis sie vor ein hell erleuchtetes Räuberhaus kamen.'] Prediction: ['Eine der besten Frauen wurde im Alter von 99 Jahren in einem Räuberhaus in der Nähe von St. Gallen gesucht.\nSie war dabei, dass sie sich auf den Weg nach der Gegend schimmern, bis sie vor ein hell erleuchtetes Räuberhaus kamen.\nDie Frauen wurde dabei von der Stadt aufgefunden, wo sie sich auf den Weg nach der Gegend sahen, bis sie sie sich auf den Weg schimmern, bis sie vor ein hell erleuchtetes Räuberhaus kamen.'] Label: [['Die Tiere kommen zu dem Haus.\nDas Licht wird immer heller.\nDie Tiere folgen dem Licht.\nDie Tiere machen sich auf den Weg zum Haus.']] Sacrebleu: {'score': 3.531173541091617, 'counts': [9, 4, 2, 1], 'totals': [84, 83, 82, 81], 'precisions': [10.714285714285714, 4.819277108433735, 2.4390243902439024, 1.2345679012345678], 'bp': 1.0, 'sys_len': 84, 'ref_len': 29} Bleu: {'bleu': 0.03531173541091616, 'precisions': [0.10714285714285714, 0.04819277108433735, 0.024390243902439025, 0.012345679012345678], 'brevity_penalty': 1.0, 'length_ratio': 2.896551724137931, 'translation_length': 84, 'reference_length': 29} Rouge: {'rouge1': 0.09615384615384616, 'rouge2': 0.058823529411764705, 'rougeL': 0.09615384615384616, 'rougeLsum': 0.09615384615384616} Sari: {'sari': 39.08473660522841} Flesh Reading Ease: 67.25 ---------------------------------------- Source: ['Ehe er einschlief, sah er sich noch einmal nach allen vier Winden um, da däuchte ihn, er sähe in der Ferne ein Fünkchen brennen und rief seinen Gesellen zu, es müßte nicht gar weit ein Haus sein, denn es scheine ein Licht.'] Prediction: ['Ein Fünkchen rief in der Ferne einen Fünkchen zu, ehe er einschlief, sah er sich noch einmal nach allen vier Winden um, da däuchte ihn, er sähe in der Ferne ein Fünkchen brennen und rief seinen Gesellen zu, es müsste nicht gar weit ein Haus sein, denn es scheine ein Licht.'] Label: [['Lasst uns zu dem Haus gehen.\nIch kann ein Haus sehen.\nDer Hahn sagt zu den anderen Tieren: Das Licht kommt von einem Haus.\nDer Hahn denkt: In der Nähe sieht der Hahn ein helles Licht brennen.\nDann schaut sich der Hahn um:']] Sacrebleu: {'score': 1.959112715219604, 'counts': [12, 1, 0, 0], 'totals': [58, 57, 56, 55], 'precisions': [20.689655172413794, 1.7543859649122806, 0.8928571428571429, 0.45454545454545453], 'bp': 1.0, 'sys_len': 58, 'ref_len': 50} Bleu: {'bleu': 0.0, 'precisions': [0.20689655172413793, 0.017543859649122806, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.16, 'translation_length': 58, 'reference_length': 50} Rouge: {'rouge1': 0.25742574257425743, 'rouge2': 0.0404040404040404, 'rougeL': 0.1386138613861386, 'rougeLsum': 0.21782178217821782} Sari: {'sari': 37.422506571442746} Flesh Reading Ease: 47.1 ---------------------------------------- Source: ['Der Esel und der Hund legten sich unter einen großen Baum, die Katze und der Hahn machten sich in die Äste, der Hahn aber flog bis in die Spitze, wo es am sichersten für ihn war.'] Prediction: ['Ein Esel und der Hund flog in die Äste, der Katze und der Hahn machten sich in die Äste, der Hahn aber flog bis in die Spitze.\nDer Esel und der Hund flog bis in die Spitze, wo es am sichersten für ihn war.'] Label: [['Der Hahn fliegt bis auf die Spitze vom Baum.\nUnd legt sich auf einen Ast.\nDie Katze klettert auf den Baum.\nDer Esel und der Hund legen sich unter einen großen Baum.']] Sacrebleu: {'score': 11.647848423800383, 'counts': [13, 6, 4, 3], 'totals': [49, 48, 47, 46], 'precisions': [26.53061224489796, 12.5, 8.51063829787234, 6.521739130434782], 'bp': 1.0, 'sys_len': 49, 'ref_len': 36} Bleu: {'bleu': 0.11647848423800383, 'precisions': [0.2653061224489796, 0.125, 0.0851063829787234, 0.06521739130434782], 'brevity_penalty': 1.0, 'length_ratio': 1.3611111111111112, 'translation_length': 49, 'reference_length': 36} Rouge: {'rouge1': 0.3589743589743589, 'rouge2': 0.15789473684210525, 'rougeL': 0.2564102564102564, 'rougeLsum': 0.3589743589743589} Sari: {'sari': 28.491684549104416} Flesh Reading Ease: 87.8 ---------------------------------------- Source: ['Sie konnten aber die Stadt Bremen in einem Tage nicht erreichen und kamen abends in einen Wald, wo sie übernachten wollten.'] Prediction: ['Eine Frau wurde in einen Wald in Bremen von einem Tod übernachten.\nSie konnte nicht erreichen und kamen abends in einen Wald, wo sie übernachten wollten.\nSie konnten aber nicht erreichen, wo sie übernachten wollten.'] Label: [['Die Tiere wollen im Wald schlafen.\nDie Tiere sind sehr müde.\nDie Tiere kommen in einen Wald.\nLangsam wird es dunkel.\nDie Tiere gehen den ganzen Tag.\nAber der Weg nach Bremen ist sehr weit:']] Sacrebleu: {'score': 4.2622375900138785, 'counts': [8, 2, 1, 0], 'totals': [40, 39, 38, 37], 'precisions': [20.0, 5.128205128205129, 2.6315789473684212, 1.3513513513513513], 'bp': 0.9753099120283327, 'sys_len': 40, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.05128205128205128, 0.02631578947368421, 0.0], 'brevity_penalty': 0.9753099120283325, 'length_ratio': 0.975609756097561, 'translation_length': 40, 'reference_length': 41} Rouge: {'rouge1': 0.16901408450704225, 'rouge2': 0.05797101449275362, 'rougeL': 0.14084507042253522, 'rougeLsum': 0.16901408450704225} Sari: {'sari': 37.461082271361335} Flesh Reading Ease: 80.55 ---------------------------------------- Source: ['« Der Hahn ließ sich den Vorschlag gefallen, und sie gingen alle viere zusammen fort.'] Prediction: ['Ein Mann aus dem Kanton Bern wurde von einem Vorschlag gefallen.\nDie vier Personen wurden dabei verletzt.\nSie gingen alle viere zusammen.'] Label: [['• Und der Hahn.\n• Die Katze.\n• Der Hund.\n• Der Esel.\nZusammen gehen die 4 Tiere nach Bremen: Und auch der Hahn kommt gerne mit.']] Sacrebleu: {'score': 1.5467507252299189, 'counts': [4, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [16.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.7261490370736908, 'sys_len': 25, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.16, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7261490370736908, 'length_ratio': 0.7575757575757576, 'translation_length': 25, 'reference_length': 33} Rouge: {'rouge1': 0.08888888888888888, 'rouge2': 0.0, 'rougeL': 0.08888888888888888, 'rougeLsum': 0.08888888888888888} Sari: {'sari': 32.91763791763792} Flesh Reading Ease: 73.25 ---------------------------------------- Source: ['»Ei was, du Rotkopf,« sagte der Esel, »zieh lieber mit uns fort, wir gehen nach Bremen, etwas Besseres als den Tod findest du überall;'] Prediction: ['Ein Esel aus Bremen geht nach Bremen, etwas Besseres als den Tod findest du überall.\nDer Esel ist ein ehemaliger Esel, der Rotkopf-Stück und seine Rotkopf-Klasse.'] Label: [['Willst du mitkommen?\nIn Bremen werden wir Stadt∙musikanten.\nWir gehen nach Bremen.\nDer Esel sagt zum Hahn.']] Sacrebleu: {'score': 6.535593760488662, 'counts': [8, 3, 1, 0], 'totals': [30, 29, 28, 27], 'precisions': [26.666666666666668, 10.344827586206897, 3.5714285714285716, 1.8518518518518519], 'bp': 1.0, 'sys_len': 30, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.10344827586206896, 0.03571428571428571, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4285714285714286, 'translation_length': 30, 'reference_length': 21} Rouge: {'rouge1': 0.2553191489361702, 'rouge2': 0.08888888888888889, 'rougeL': 0.21276595744680854, 'rougeLsum': 0.2553191489361702} Sari: {'sari': 37.54208754208754} Flesh Reading Ease: 73.4 ---------------------------------------- Source: ['Nun schrei ich aus vollem Hals, solange ich noch kann.«'] Prediction: ['Die Schweizerinin Andrea (34) ist auf dem Alter von 99 Jahren gestorben.\nDie Schweizerin schreibt aus vollem Hals und kann noch nicht mehr kommen.\nDie Schweizerinin hatte sich auf dem Hals zu schreiben.'] Label: [['Deshalb schreie ich so laut.\nAber ich will nicht sterben.']] Sacrebleu: {'score': 1.2753998269755913, 'counts': [3, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [7.894736842105263, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.07894736842105263, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1666666666666665, 'translation_length': 38, 'reference_length': 12} Rouge: {'rouge1': 0.04651162790697675, 'rouge2': 0.0, 'rougeL': 0.04651162790697675, 'rougeLsum': 0.04651162790697675} Sari: {'sari': 42.65046296296296} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['aber weil morgen zum Sonntag Gäste kommen, so hat die Hausfrau doch kein Erbarmen, und hat der Köchin gesagt, sie wollte mich morgen in der Suppe essen, und da soll ich mir heute abend den Kopf abschneiden lassen.'] Prediction: ['Die Hausfrau in der Suppe in der Suppe wollte am Sonntag morgen in der Suppe essen.\nDie Hausfrau hatte sich nach einem Erbarmen gesagt, sie wollte mich morgen in der Suppe essen, und da soll ich mir heute abend den Kopf abschneiden lassen.'] Label: [['Und essen.\nDann will mich meine Herrin braten.\nDer Hahn antwortet: Morgen ist ein großes Fest.']] Sacrebleu: {'score': 1.8486822913873464, 'counts': [4, 1, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [8.51063829787234, 2.1739130434782608, 1.1111111111111112, 0.5681818181818182], 'bp': 1.0, 'sys_len': 47, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.0851063829787234, 0.021739130434782608, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.35, 'translation_length': 47, 'reference_length': 20} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 35.83211143695015} Flesh Reading Ease: 70.75 ---------------------------------------- Source: ['»Du schreist einem durch Mark und Bein,« sprach der Esel »was hast du vor?«'] Prediction: ['Immer mehr als ein Jahr lang wurden die beiden im Alter von 99 Jahren über die Schweiz gegeben.\nIm Interview mit der 20-Minuten-App spricht der Schweizer über die Esel-Krise.\nIm Interview spricht er über die Welt und spricht von einem schweren öffentlichen Einblicke.'] Label: [['Warum schreist du so laut?\nDer Esel fragt den Hahn:']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 48, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 48, 'reference_length': 12} Rouge: {'rouge1': 0.07142857142857142, 'rouge2': 0.0, 'rougeL': 0.07142857142857142, 'rougeLsum': 0.07142857142857142} Sari: {'sari': 49.212184873949575} Flesh Reading Ease: 72.1 ---------------------------------------- Source: ['Darauf kamen die drei Landesflüchtigen an einem Hof vorbei, da saß auf dem Thor der Haushahn und schrie aus Leibeskräften.'] Prediction: ['Drei Landesflüchtige wurden am Sonntagabend in einem Hof in der Stadt Zürich von einem Leibeskräften gefunden.\nSie wurden dabei auf dem Thor der Haushahn gesichtet.\nSie waren aus Leibeskräften und waren dabei aus Leibeskräften.'] Label: [['Der Hahn schreit sehr laut.\nAuf dem Bauern∙hof treffen die Tiere einen Hahn.\nAuf ihrem Weg kommen die Tiere zu einem Bauern∙hof.\nUnd so gehen der Esel und der Hund und die Katze zusammen nach Bremen.']] Sacrebleu: {'score': 1.545260276917598, 'counts': [8, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [21.62162162162162, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 0.9221189220143736, 'sys_len': 37, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.21621621621621623, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9221189220143738, 'length_ratio': 0.925, 'translation_length': 37, 'reference_length': 40} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.02666666666666667, 'rougeL': 0.12987012987012986, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 39.84649122807017} Flesh Reading Ease: 57.55 ---------------------------------------- Source: ['« Die Katze hielt das für gut und ging mit.'] Prediction: ['Eine Katze hat sich mit einem grossen Trick für gut geschickt.\nDie Katze hielt das für gut und ging mit.\nDie Katze hielt das für gut und ging mit.'] Label: [['Die Katze kommt gerne mit.']] Sacrebleu: {'score': 3.2808945250121386, 'counts': [4, 2, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [12.5, 6.451612903225806, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.06451612903225806, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.333333333333333, 'translation_length': 32, 'reference_length': 6} Rouge: {'rouge1': 0.16216216216216214, 'rouge2': 0.05714285714285715, 'rougeL': 0.16216216216216214, 'rougeLsum': 0.16216216216216214} Sari: {'sari': 41.125541125541126} Flesh Reading Ease: 100.1 ---------------------------------------- Source: ['»Geh mit uns nach Bremen, du verstehst dich doch auf die Nachtmusik, da kannst du ein Stadtmusikant werden.'] Prediction: ['Die Schweizer Nachtmusik-Stars werden am Freitagabend in Bremen aufgefordert.\nDie beiden werden nach Bremen ein Stadtmusikant verstehst.\nDie beiden werden nach Bremen ein Stadtmusikant verstehst.'] Label: [['Willst du mitkommen?\nIn Bremen werden wir Stadt∙musikanten.\nWir gehen nach Bremen.\nDer Esel sagt zur Katze:']] Sacrebleu: {'score': 3.5148478313698046, 'counts': [6, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [21.428571428571427, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 28, 'reference_length': 21} Rouge: {'rouge1': 0.2272727272727273, 'rouge2': 0.09523809523809526, 'rougeL': 0.2272727272727273, 'rougeLsum': 0.18181818181818185} Sari: {'sari': 61.614496614496616} Flesh Reading Ease: 54.7 ---------------------------------------- Source: ["»Wer kann da lustig sein, wenn's einem an den Kragen geht,« antwortete die Katze, »weil ich nun zu Jahren komme, meine Zähne stumpf werden, und ich lieber hinter dem Ofen sitze und spinne, als nach Mäusen herumjage, hat mich meine Frau ersäufen wollen;"] Prediction: ['Die Katze hat sich nun zu Jahren zu einer Zähne stumpf werden.\nSie hatte sich nun zu Jahren zu einer Zähne stumpf werden, als nach Mäusen herumjage, hat mich meine Frau ersäufen wollen.'] Label: [['Deshalb will mein Herr mich töten.\nIch kann keine Mäuse mehr jagen.\nUnd ich bin schwach.\nDie Katze sagt: Ich bin alt.']] Sacrebleu: {'score': 2.5058623314122577, 'counts': [5, 1, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [13.513513513513514, 2.7777777777777777, 1.4285714285714286, 0.7352941176470589], 'bp': 1.0, 'sys_len': 37, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.13513513513513514, 0.027777777777777776, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3703703703703705, 'translation_length': 37, 'reference_length': 27} Rouge: {'rouge1': 0.13114754098360656, 'rouge2': 0.03389830508474576, 'rougeL': 0.06557377049180328, 'rougeLsum': 0.13114754098360656} Sari: {'sari': 35.920556481701986} Flesh Reading Ease: 75.75 ---------------------------------------- Source: ['»Nun, was ist dir in die Quere gekommen, alter Bartputzer?« sprach der Esel.'] Prediction: ['Die Quere ist eine Quere, die es zu einem Bartputzer ist.\nDie Esel ist in der Quere gekommen, alter Bartputzer.\nDie Esel-Frau ist nach dem Esel-Bartputzer in die Quere gekommen.'] Label: [['Warum bist du so traurig?\nDer Esel fragt die Katze:']] Sacrebleu: {'score': 1.2557690800697192, 'counts': [2, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [5.714285714285714, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.05714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.9166666666666665, 'translation_length': 35, 'reference_length': 12} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.0, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 34.52020202020202} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Es dauerte nicht lange, so saß da eine Katze an dem Wege und machte ein Gesicht wie drei Tage Regenwetter.'] Prediction: ['Eine Katze wurde im Wege von Regenwetter gefunden.\nEs dauerte nicht lange, so die Katze.\nEs dauerte nicht lange, so die Katze.'] Label: [['Die Katze sieht sehr traurig aus.\nAuf ihrem Weg treffen der Esel und der Hund eine Katze.']] Sacrebleu: {'score': 3.300809119141885, 'counts': [4, 1, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [14.814814814814815, 3.8461538461538463, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.14814814814814814, 0.038461538461538464, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4210526315789473, 'translation_length': 27, 'reference_length': 19} Rouge: {'rouge1': 0.20512820512820512, 'rouge2': 0.1081081081081081, 'rougeL': 0.15384615384615383, 'rougeLsum': 0.20512820512820512} Sari: {'sari': 40.46091163738223} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ["« Der Hund war's zufrieden, und sie gingen weiter."] Prediction: ["Ein Hund war's zufrieden, und sie gingen weiter.\nDie Polizei hatte den Hund zufrieden und sie gingen weiter.\nDie Polizei hatte den Hund zufrieden, und sie gingen weiter."] Label: [['Und so gehen der Esel und der Hund zusammen nach Bremen.']] Sacrebleu: {'score': 1.4780822562194806, 'counts': [3, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [9.090909090909092, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 33, 'reference_length': 12} Rouge: {'rouge1': 0.15, 'rouge2': 0.0, 'rougeL': 0.15, 'rougeLsum': 0.05} Sari: {'sari': 28.84615384615385} Flesh Reading Ease: 77.1 ---------------------------------------- Source: ['»Weißt du was,« sprach der Esel, »ich gehe nach Bremen und werde dort Stadtmusikant, geh mit und laß dich auch bei der Musik annehmen.'] Prediction: ['Die Schweizer Musikerin Andrea (34) ist ein neuer Stadtmusikant.\nDie Schweizerin hatte sich mit ihrem Esel und ihren Eseln aus dem Stadtbremen geäussert.\nDie Schweizerin hatte sich mit ihrem Eseln auf dem Platz zum Esel gebracht.'] Label: [['Willst du mitkommen?\nIn Bremen werde ich Stadt∙musikant.\nIch gehe nach Bremen.\nDer Esel sagt zum Hund.']] Sacrebleu: {'score': 1.3389812472744242, 'counts': [5, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [12.195121951219512, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.12195121951219512, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9523809523809523, 'translation_length': 41, 'reference_length': 21} Rouge: {'rouge1': 0.07272727272727272, 'rouge2': 0.0, 'rougeL': 0.07272727272727272, 'rougeLsum': 0.03636363636363636} Sari: {'sari': 41.35178093511427} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['auch auf der Jagd nicht mehr fort kann, hat mich mein Herr wollen totschlagen, da hab ich Reißaus genommen;'] Prediction: ['Einige Tage nach der Jagd hat sich auf der Jagd nicht mehr fort kommen, hat mich mein Herr wollen totschlagen, da hab ich Reißaus genommen hat.\nDie Tage nach der Jagd hat sich nicht mehr fort kommen, da hab sich Reißaus genommen.'] Label: [['Deshalb bin ich fortgelaufen.\nMein Herr wollte mich töten.\nIch kann meinem Herrn nicht mehr beim Jagen helfen.']] Sacrebleu: {'score': 2.126286556148234, 'counts': [7, 1, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [14.893617021276595, 2.1739130434782608, 1.1111111111111112, 0.5681818181818182], 'bp': 1.0, 'sys_len': 47, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.14893617021276595, 0.021739130434782608, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.238095238095238, 'translation_length': 47, 'reference_length': 21} Rouge: {'rouge1': 0.19047619047619047, 'rouge2': 0.06557377049180327, 'rougeL': 0.15873015873015872, 'rougeLsum': 0.15873015873015872} Sari: {'sari': 37.235867446393755} Flesh Reading Ease: 77.1 ---------------------------------------- Source: ['»Ach,« sagte der Hund, »weil ich alt bin und jeden Tag schwächer werde,'] Prediction: ['Ein Hund, der im Alter von 99 Jahren schwächer wird, ist immer wieder im Alter von 99 Jahren gestorben.\nDer Hund warnt vor einem Jahr, dass er sich nicht mehr schwächer wird.\nNun hat er sich auf dem Tag schwächert.'] Label: [['Und ich bin schwach.\nDer Hund antwortet: Ich bin alt.']] Sacrebleu: {'score': 3.1790117158178695, 'counts': [4, 2, 1, 0], 'totals': [46, 45, 44, 43], 'precisions': [8.695652173913043, 4.444444444444445, 2.272727272727273, 1.1627906976744187], 'bp': 1.0, 'sys_len': 46, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.044444444444444446, 0.022727272727272728, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5384615384615383, 'translation_length': 46, 'reference_length': 13} Rouge: {'rouge1': 0.07547169811320754, 'rouge2': 0.0392156862745098, 'rougeL': 0.07547169811320754, 'rougeLsum': 0.07547169811320754} Sari: {'sari': 56.483203557671644} Flesh Reading Ease: 90.65 ---------------------------------------- Source: ['»Nun, was jappst du so, Packan?« fragte der Esel.'] Prediction: ['Die Schweizer Weltbewerbschaft hat einen neuen Chef.\nDie Weltbewerbschaft hat einen Chef-Konkurrenten.\nDie Woche hatte er sich mit dem Chef-Konkurrenten Packan über die Weltbewerbschaft aufgezeichnet.'] Label: [['Warum bist du so traurig?\nDer Esel fragt den Hund:']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 28, 'reference_length': 12} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 44.93006993006993} Flesh Reading Ease: 54.7 ---------------------------------------- Source: ['Als er ein Weilchen fortgegangen war, fand er einen Jagdhund auf dem Wege liegen, der jappte wie einer, der sich müde gelaufen hat.'] Prediction: ['Ein Jagdhund auf dem Wege liegt im Alter von einem Jahr einen Weilchen.\nAls er ein Weilchen fortgegangen war, fand er einen Jagdhund auf dem Wege liegen, der sich müde gelaufen hat.'] Label: [['Der Hund sieht sehr traurig aus.\nNach einer Weile trifft der Esel einen Hund.']] Sacrebleu: {'score': 1.4500372328365223, 'counts': [4, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [11.11111111111111, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 36, 'reference_length': 16} Rouge: {'rouge1': 0.0851063829787234, 'rouge2': 0.0, 'rougeL': 0.0425531914893617, 'rougeLsum': 0.0851063829787234} Sari: {'sari': 32.0} Flesh Reading Ease: 76.25 ---------------------------------------- Source: ['Da dachte der Herr daran, ihn aus dem Futter zu schaffen, aber der Esel merkte, daß kein guter Wind wehte, lief fort und machte sich auf den Weg nach Bremen: dort, meinte er, könnte er ja Stadtmusikant werden.'] Prediction: ['Ein Esel hatte sich auf den Weg nach Bremen mit einem guter Wind auf den Weg nach Bremen gefunden.\nDer Herr könnte ja Stadtmusikant werden.\nDie Welt ist derzeit nicht nur, sondern auch der Stadtmusikant.'] Label: [['So läuft der Esel fort.\nIn Bremen will der Esel ein Stadt∙musikant werden.\nDer Esel will nach Bremen gehen.\nDeshalb will der Esel fortlaufen.\nDas merkt der Esel.\nDeshalb will der Mann den Esel töten.\nAber der Mann möchte keinen alten und schwachen Esel.']] Sacrebleu: {'score': 2.795045034510438, 'counts': [11, 3, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [28.205128205128204, 7.894736842105263, 1.3513513513513513, 0.6944444444444444], 'bp': 0.7351414805916845, 'sys_len': 39, 'ref_len': 51} Bleu: {'bleu': 0.0, 'precisions': [0.28205128205128205, 0.07894736842105263, 0.0, 0.0], 'brevity_penalty': 0.7351414805916845, 'length_ratio': 0.7647058823529411, 'translation_length': 39, 'reference_length': 51} Rouge: {'rouge1': 0.21428571428571427, 'rouge2': 0.024390243902439022, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.1904761904761905} Sari: {'sari': 39.3663186850572} Flesh Reading Ease: 80.55 ---------------------------------------- Source: ['Es hatte ein Mann einen Esel, der schon lange Jahre die Säcke unverdrossen zur Mühle getragen hatte, dessen Kräfte aber nun zu Ende gingen, sodaß er zur Arbeit immer untauglicher ward.'] Prediction: ['Ein Mann hatte lange Jahre die Säcke unverdrossen zur Mühle getragen.\nNun hatte er einen Esel, der sich nun zu Ende gingen hatte, einen Esel zur Arbeit immer untauglicher ward.'] Label: [['Und schwach.\nMit den Jahren wird der Esel alt.\nDer Esel trägt viele Jahre lang Getreide∙säcke zur Mühle.\nDer Mann hat auch einen Esel.\nEin Mann hat eine Mühle.']] Sacrebleu: {'score': 4.387628572310223, 'counts': [11, 3, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [32.35294117647059, 9.090909090909092, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.3235294117647059, 0.09090909090909091, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 34, 'reference_length': 34} Rouge: {'rouge1': 0.3636363636363636, 'rouge2': 0.15625, 'rougeL': 0.27272727272727276, 'rougeLsum': 0.3636363636363636} Sari: {'sari': 39.736102098204626} Flesh Reading Ease: 71.4 ---------------------------------------- Source: ['und also bekam des Teufels rußiger Bruder die Königstochter, und als der alte König gestorben war, auch das ganze Reich.'] Prediction: ['Der rußige Bruder bekam immer wieder die Königstochter.\nDer rußige Bruder war seit Beginn der Woche auf der Königstochter.\nDer Bruder war seit Beginn der Woche auf der Königstochter gestorben.'] Label: [['Hans ist jetzt der neue König.\nHans wird sein Nachfolger.\nNach einigen Jahren stirbt der König.\nUnd Hans heiratet die jüngste Tochter vom König.']] Sacrebleu: {'score': 1.7577459356554812, 'counts': [6, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [18.181818181818183, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1785714285714286, 'translation_length': 33, 'reference_length': 28} Rouge: {'rouge1': 0.19047619047619047, 'rouge2': 0.032786885245901634, 'rougeL': 0.15873015873015875, 'rougeLsum': 0.19047619047619047} Sari: {'sari': 52.88461538461539} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ["« Da gab ihm der König die jüngste, die wollt's ihrem Vater zuliebe gern thun;"] Prediction: ['Ein Vater wollte ihren Vater zuliebe gern thun, wollte ihm ihren Vater zuliebe gern thun.\nDie Täter wollten ihnen ihren Vater zuliebe gern thun, wie ihm ihm ihm ihm ihm wollte.\nDie Täter wollten ihnen ihren Vater zuliebe gern thun, wie ihnen ihnen ihnen ihnen ihnen kam.'] Label: [['Die jüngste Tochter vom König stimmt zu.\nDann kannst du meine jüngste Tochter heiraten.']] Sacrebleu: {'score': 0.9037128794596342, 'counts': [3, 0, 0, 0], 'totals': [53, 52, 51, 50], 'precisions': [5.660377358490566, 0.9615384615384616, 0.49019607843137253, 0.25], 'bp': 1.0, 'sys_len': 53, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.05660377358490566, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3125, 'translation_length': 53, 'reference_length': 16} Rouge: {'rouge1': 0.030303030303030304, 'rouge2': 0.0, 'rougeL': 0.030303030303030304, 'rougeLsum': 0.030303030303030304} Sari: {'sari': 32.69804097977473} Flesh Reading Ease: 64.85 ---------------------------------------- Source: ['Als die aber hörte, daß sie so einen gemeinen Kerl im weißen Kittel heiraten sollte, sprach sie: »Ehe ich das thät, wollt ich lieber ins tiefste Wasser gehen.'] Prediction: ['Eine Frau, die im Weißen Kittel heiraten sollte, wollte sie einen gemeinen Kerl im Weißen Kittel heiraten.\nAls sie so einen gemeinen Kerl heiraten sollte, sprach sie: "Ehe ich das thät, wollt ich lieber ins tiefste Wasser gehen".'] Label: [['Aber die älteste Tochter vom König möchte Hans nicht heiraten.']] Sacrebleu: {'score': 1.7203927233010683, 'counts': [3, 1, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [6.382978723404255, 2.1739130434782608, 1.1111111111111112, 0.5681818181818182], 'bp': 1.0, 'sys_len': 47, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.06382978723404255, 0.021739130434782608, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.2727272727272725, 'translation_length': 47, 'reference_length': 11} Rouge: {'rouge1': 0.07547169811320753, 'rouge2': 0.0, 'rougeL': 0.07547169811320753, 'rougeLsum': 0.07547169811320753} Sari: {'sari': 33.61516357206012} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ['Es war aber ein alter König im Land, vor dem mußte er spielen, und der geriet darüber in solche Freude, daß er dem Hans seine älteste Tochter zur Ehe versprach.'] Prediction: ['Im Land wurde ein alter König im Land gefunden.\nDer Hans war ein alter König im Land, vor dem mußte er spielen, und der geriet darüber in solche Freude.\nDer Hans sei ein alter König im Land, vor dem seine älteste Tochter zur Ehe versprach.'] Label: [['Du kannst meine älteste Tochter heiraten.\nSo sagt der König zu Hans: Der König mag die Musik von Hans.\nUnd auf seiner Reise macht Hans sogar für den König Musik.\nIm Land gibt es einen König.']] Sacrebleu: {'score': 2.763901977621811, 'counts': [14, 2, 0, 0], 'totals': [51, 50, 49, 48], 'precisions': [27.45098039215686, 4.0, 1.0204081632653061, 0.5208333333333334], 'bp': 1.0, 'sys_len': 51, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.27450980392156865, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2439024390243902, 'translation_length': 51, 'reference_length': 41} Rouge: {'rouge1': 0.3296703296703297, 'rouge2': 0.11235955056179775, 'rougeL': 0.2417582417582418, 'rougeLsum': 0.3076923076923077} Sari: {'sari': 36.586105336105334} Flesh Reading Ease: 77.25 ---------------------------------------- Source: ['Hans machte sich auf den Weg heim zu seinem Vater, kaufte sich einen schlechten Linnenkittel auf den Leib, ging herum und machte Musik, denn das hatte er beim Teufel in der Hölle gelernt.'] Prediction: ['Der Vater Hans (34) hatte am Sonntag einen schlechten Linnenkittel auf den Leib geschossen.\nDas hatte er beim Teufel in der Hölle gelernt.\nDas hatte er beim Teufel in der Hölle gelernt.'] Label: [['Auf seiner Reise macht Hans Musik.\nUnd reist durch das Land.\nHans kauft sich ein Hemd für wenig Geld.']] Sacrebleu: {'score': 1.4091499441909465, 'counts': [4, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [10.81081081081081, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.10810810810810811, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6818181818181819, 'translation_length': 37, 'reference_length': 22} Rouge: {'rouge1': 0.11111111111111112, 'rouge2': 0.0, 'rougeL': 0.07407407407407408, 'rougeLsum': 0.11111111111111112} Sari: {'sari': 34.05555555555556} Flesh Reading Ease: 81.55 ---------------------------------------- Source: ['und Hans war nun ein reicher Mann.'] Prediction: ['Im Alter von 99 Jahren ist ein Mann auf dem Kanton Bern gestorben.\nEr war ein reicher Mann.\nNun wurde er von einem reichen Mann aufgefunden.'] Label: [['Jetzt ist Hans reich.']] Sacrebleu: {'score': 1.5301683686839007, 'counts': [2, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [6.896551724137931, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.06896551724137931, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.8, 'translation_length': 29, 'reference_length': 5} Rouge: {'rouge1': 0.06666666666666668, 'rouge2': 0.0, 'rougeL': 0.06666666666666668, 'rougeLsum': 0.06666666666666668} Sari: {'sari': 32.12719298245614} Flesh Reading Ease: 83.55 ---------------------------------------- Source: ['« Da gab ihm der Wirt das Gold und noch mehr dazu, und bat ihn nur still davon zu sein;'] Prediction: ['Ein Wirt hat seinen Gold und noch mehr dazu, und bat ihn nur still davon zu sein.\nDie Wirt-Wirt-Wirt-Wirt-Wirt-Wirt-Wirt-Wirt wurde das Gold und noch mehr dazu gab ihn nur still davon zu sein.'] Label: [['So große Angst hat der Wirt.\nDer Wirt gibt Hans sogar noch mehr Gold dazu.\nUnd der Wirt gibt Hans das Gold zurück.\nDer Wirt hat Angst.']] Sacrebleu: {'score': 4.035682266239977, 'counts': [10, 3, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [27.77777777777778, 8.571428571428571, 1.4705882352941178, 0.7575757575757576], 'bp': 1.0, 'sys_len': 36, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.08571428571428572, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1612903225806452, 'translation_length': 36, 'reference_length': 31} Rouge: {'rouge1': 0.34782608695652173, 'rouge2': 0.11940298507462686, 'rougeL': 0.2318840579710145, 'rougeLsum': 0.2898550724637681} Sari: {'sari': 39.66512519642003} Flesh Reading Ease: 81.6 ---------------------------------------- Source: ["»Du hast mein Gold gestohlen, giebst du's nicht wieder, so kommst du in die Hölle an meinen Platz, und sollst aussehen so greulich wie ich. « Hans ging hinauf und sprach zum Wirt:"] Prediction: ['Immer mehr Gold und Gold-Platz: Hans und Hans ging hinauf und sprach zum Wirt: Hans ging hinauf und sprach zum Wirt:'] Label: [['Und du wirst so schrecklich aussehen wie ich ausgesehen habe.\nSonst holt dich der Teufel.\nGib mir mein Gold zurück.\nUnd sagt: Du hast mein Gold gestohlen.\nHans geht in die Stadt zu dem Wirt.']] Sacrebleu: {'score': 1.0957197329960702, 'counts': [4, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [16.666666666666668, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 0.4924642876754098, 'sys_len': 24, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 0.4924642876754097, 'length_ratio': 0.5853658536585366, 'translation_length': 24, 'reference_length': 41} Rouge: {'rouge1': 0.20689655172413793, 'rouge2': 0.0, 'rougeL': 0.1724137931034483, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 31.208233413269387} Flesh Reading Ease: 88.8 ---------------------------------------- Source: ['»Geh hin und sage dem Wirt, er sollte dir dein Gold wieder herausgeben, sonst wollt ich kommen und ihn abholen, und er sollte an deinem Platz das Feuer schüren.'] Prediction: ['Ein Wirt sollte ein Gold wieder herausgeben, sonst wollt ich kommen und ihn abholen.\nDer Wirt sollte das Feuer schüren, und er sollte das Feuer schüren.'] Label: [['Und hole mir den Wirt.\nSonst komme ich.\nDer Wirt soll dir dein Gold zurück·geben.\nDann sagt der Teufel: Geh zu dem Wirt vom Gasthaus.']] Sacrebleu: {'score': 5.71168499906942, 'counts': [7, 2, 1, 0], 'totals': [30, 29, 28, 27], 'precisions': [23.333333333333332, 6.896551724137931, 3.5714285714285716, 1.8518518518518519], 'bp': 1.0, 'sys_len': 30, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.23333333333333334, 0.06896551724137931, 0.03571428571428571, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 30, 'reference_length': 30} Rouge: {'rouge1': 0.2545454545454545, 'rouge2': 0.03773584905660377, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.2545454545454545} Sari: {'sari': 34.371595860566444} Flesh Reading Ease: 79.25 ---------------------------------------- Source: ['Der Teufel sagte: »Setze dich, ich will dich waschen, kämmen, schnippen, die Haare und Nägel schneiden und die Augen auswischen,« und als er mit ihm fertig war, gab er ihm den Ranzen wieder voll Kehrdreck und sprach:'] Prediction: ['Ein Teufel aus dem Kanton Graubünden hat seinen Ranzen wieder voll Kehrdreck geschickt.\nDer Teufel sagte: "Ich will dich waschen, kämmen, schnippen, die Haare und Nägel schneiden und die Augen auswischen,« und sprach ihm den Ranzen wieder voll Kehrdreck und sprach:'] Label: [['Der Teufel gibt Hans wieder einen Rucksack mit Dreck.\nUnd der Teufel wischt Hans die Augen aus.\nUnd der Teufel putzt Hans die Nase.\nUnd die Nägel.\nUnd der Teufel schneidet Hans die Haare.\nUnd der Teufel kämmt Hans.\nDer Teufel wäscht Hans.']] Sacrebleu: {'score': 4.466623795804549, 'counts': [11, 4, 1, 0], 'totals': [50, 49, 48, 47], 'precisions': [22.0, 8.16326530612245, 2.0833333333333335, 1.0638297872340425], 'bp': 1.0, 'sys_len': 50, 'ref_len': 50} Bleu: {'bleu': 0.0, 'precisions': [0.22, 0.08163265306122448, 0.020833333333333332, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 50, 'reference_length': 50} Rouge: {'rouge1': 0.3555555555555555, 'rouge2': 0.13636363636363635, 'rougeL': 0.24444444444444444, 'rougeLsum': 0.2888888888888889} Sari: {'sari': 40.35675676980024} Flesh Reading Ease: 65.9 ---------------------------------------- Source: ['Er faßte sich aber kurz, dachte: »Du bist ohne Schuld unglücklich gewesen,« und kehrte wieder um, geradezu in die Hölle, da klagte er dem alten Teufel seine Not und bat ihn um Hilfe.'] Prediction: ['Ein alten Teufel wurde in der Nacht auf Sonntag von einem 20-Minuten-Radio-Interview veröffentlicht.\nDer 20-Minuten-Radio-Host berichtet, dass er sich nicht zu seiner Not verlängert hatte.\nEr wurde von der beiden überrascht und bat ihn um Hilfe.'] Label: [['Kannst du mir helfen?\nDer Wirt vom Gasthaus hat meinen Rucksack mit dem Gold gestohlen.\nHans sagt zum Teufel: Also geht Hans wieder zum Teufel.\nHans ist traurig.']] Sacrebleu: {'score': 1.2443969494386207, 'counts': [5, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [11.363636363636363, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.11363636363636363, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 44, 'reference_length': 33} Rouge: {'rouge1': 0.05555555555555555, 'rouge2': 0.0, 'rougeL': 0.027777777777777776, 'rougeLsum': 0.05555555555555555} Sari: {'sari': 34.5223063973064} Flesh Reading Ease: 56.85 ---------------------------------------- Source: ['Wie nun Hans am anderen Morgen aufstand, den Wirt, bezahlen und weitergehen wollte, da war sein Ranzen weg.'] Prediction: ['Im Tessin wurde ein Wirt aufgefunden, den Wirt, bezahlen und weitergehen.\nNun wurde ein Rücktritt aufgefunden, das sein Ranzen weg.\nNun wurde ein Rücktritt aufgefunden, den Wirt, bezahlen und weitergehen wollte.'] Label: [['Aber der Rucksack mit dem Gold ist weg.\nHans will für das Zimmer bezahlen.\nAm Morgen steht Hans auf.']] Sacrebleu: {'score': 2.482716946958931, 'counts': [6, 1, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [15.384615384615385, 2.6315789473684212, 1.3513513513513513, 0.6944444444444444], 'bp': 1.0, 'sys_len': 39, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.02631578947368421, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7727272727272727, 'translation_length': 39, 'reference_length': 22} Rouge: {'rouge1': 0.15094339622641512, 'rouge2': 0.0, 'rougeL': 0.11320754716981132, 'rougeLsum': 0.15094339622641512} Sari: {'sari': 35.33459595959596} Flesh Reading Ease: 58.55 ---------------------------------------- Source: ['Dem Wirt aber stand der Ranzen voll Gold vor Augen und ließ ihm keine Ruhe, bis er in der Nacht hinschlich und ihn wegstahl.'] Prediction: ['Der Wirt des Ranzen ist seit Beginn der Woche nicht mehr Gold und Bronze.\nDer Wirt liegt keine Ruhe und liegt ihm wegstahl.'] Label: [['Und klaut den Rucksack mit dem Gold.\nDer Wirt geht leise in das Zimmer von Hans.\nEs ist mitten in der Nacht.']] Sacrebleu: {'score': 6.929454830889541, 'counts': [7, 2, 1, 0], 'totals': [25, 24, 23, 22], 'precisions': [28.0, 8.333333333333334, 4.3478260869565215, 2.272727272727273], 'bp': 1.0, 'sys_len': 25, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.28, 0.08333333333333333, 0.043478260869565216, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 25, 'reference_length': 25} Rouge: {'rouge1': 0.2666666666666666, 'rouge2': 0.046511627906976744, 'rougeL': 0.17777777777777776, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 45.18984434426498} Flesh Reading Ease: 92.45 ---------------------------------------- Source: ['Da ließ sich Hans die beste Stube geben und köstlich aufwarten, aß und trank sich satt, wusch sich aber nicht und kämmte sich nicht, wie ihm der Teufel geheißen hatte und legte sich endlich schlafen.'] Prediction: ['Im Juni wurde ein Teufel von Hans geheißen.\nDer Teufel war ein Teufel geheißen und kam aufwarten.\nHans kämmte sich nicht, wie ihm der Teufel geheißen hatte.'] Label: [['Dann geht Hans schlafen.\nUnd Hans kämmt sich nicht.\nAber Hans wäscht sich nicht.\nUnd trinkt.\nHans isst.\nUnd das beste Essen.\nHans bekommt das beste Zimmer.']] Sacrebleu: {'score': 3.5417774577676604, 'counts': [7, 2, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [22.580645161290324, 6.666666666666667, 1.7241379310344827, 0.8928571428571429], 'bp': 0.9077609612738833, 'sys_len': 31, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.22580645161290322, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 0.9077609612738833, 'length_ratio': 0.9117647058823529, 'translation_length': 31, 'reference_length': 34} Rouge: {'rouge1': 0.19999999999999998, 'rouge2': 0.0689655172413793, 'rougeL': 0.19999999999999998, 'rougeLsum': 0.19999999999999998} Sari: {'sari': 35.7415729292444} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['« Nun wollte der Wirt ihn nicht einlassen, wie er ihm aber das Gold zeigte, ging er und klinkte selber die Thür auf.'] Prediction: ['Ein Wirt klinkte selber die Thür auf.\nDer Wirt wollte ihn nicht einlassen, wie er ihm aber das Gold zeigte, ging er und klinkte selber die Thür auf.'] Label: [['Und lässt Hans sehr gerne in sein Gasthaus.\nDer Wirt staunt.\nDeshalb zeigt Hans dem Wirt das Gold in seinem Rucksack.\nJetzt hat der Wirt Angst.']] Sacrebleu: {'score': 5.905947656676037, 'counts': [7, 3, 1, 0], 'totals': [32, 31, 30, 29], 'precisions': [21.875, 9.67741935483871, 3.3333333333333335, 1.7241379310344827], 'bp': 1.0, 'sys_len': 32, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.21875, 0.0967741935483871, 0.03333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0666666666666667, 'translation_length': 32, 'reference_length': 30} Rouge: {'rouge1': 0.2105263157894737, 'rouge2': 0.07272727272727274, 'rougeL': 0.14035087719298248, 'rougeLsum': 0.2105263157894737} Sari: {'sari': 39.367862151873375} Flesh Reading Ease: 89.95 ---------------------------------------- Source: ['»Dem Teufel sein rußiger Bruder und mein König auch.'] Prediction: ['Immer mehr Bruder und mein König auch während der Corona-Pandemie aufmerksam.\nDie Polizei hatte den Mann auf den Fluchtstücken einen rußigen Bruder und mein König aufmerksam.\nDie Polizei hatte den Mann auf den Fluchtstücken einen grossen Teil der Polizei.'] Label: [['Und ich bin ein freier Mann.\nHans sagt: Ich bin des Teufels rußiger Bruder.']] Sacrebleu: {'score': 1.2350387043213578, 'counts': [4, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [9.523809523809524, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.09523809523809523, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4705882352941178, 'translation_length': 42, 'reference_length': 17} Rouge: {'rouge1': 0.13114754098360656, 'rouge2': 0.0, 'rougeL': 0.13114754098360656, 'rougeLsum': 0.13114754098360656} Sari: {'sari': 35.20061728395061} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['»Wer bist du?«'] Prediction: ['Die Schweizer Welt hat einen neuen Schritt aufgefunden.\nDer Mann hat einen ähnlichen Schritt aufgefunden.\nDie Schweizer Welt hat einen Schritt aufgefunden.'] Label: [['Und der Wirt fragt: Wer bist du?']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 25, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7777777777777777, 'translation_length': 25, 'reference_length': 9} Rouge: {'rouge1': 0.06896551724137931, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 30.648148148148145} Flesh Reading Ease: 79.1 ---------------------------------------- Source: ['»Aus der Hölle.«'] Prediction: ['Einige von ihnen waren im Alter von 99 Jahren gestorben.\nSie waren von der Hölle auf der Hölle.\nDie Frau ist nicht nur mit der Hölle, sondern von der Hölle.'] Label: [['Hans sagt: Ich komme aus der Hölle.']] Sacrebleu: {'score': 4.05185766962521, 'counts': [3, 2, 1, 0], 'totals': [34, 33, 32, 31], 'precisions': [8.823529411764707, 6.0606060606060606, 3.125, 1.6129032258064515], 'bp': 1.0, 'sys_len': 34, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.08823529411764706, 0.06060606060606061, 0.03125, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.7777777777777777, 'translation_length': 34, 'reference_length': 9} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.1, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['Er rief ihn an und fragte: »Woher kommst du?«'] Prediction: ['Ein Mann rief ihn an und fragte, wie er ihn kommst.\nEr rief ihn an und fragte: "Woher kommst du?\nWir kommst du?"'] Label: [['Woher kommst du?\nDeshalb fragt der Wirt Hans:']] Sacrebleu: {'score': 8.218074077265651, 'counts': [5, 3, 2, 1], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 10.344827586206897, 7.142857142857143, 3.7037037037037037], 'bp': 1.0, 'sys_len': 30, 'ref_len': 10} Bleu: {'bleu': 0.08218074077265651, 'precisions': [0.16666666666666666, 0.10344827586206896, 0.07142857142857142, 0.037037037037037035], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 30, 'reference_length': 10} Rouge: {'rouge1': 0.19354838709677416, 'rouge2': 0.13793103448275862, 'rougeL': 0.19354838709677416, 'rougeLsum': 0.19354838709677416} Sari: {'sari': 47.019480519480524} Flesh Reading Ease: 107.95 ---------------------------------------- Source: ['Vor dem Wirtshause stand der Wirt, und wie ihn der herankommen sah, erschrak er, weil Hans so entsetzlich aussah, ärger als eine Vogelscheuche.'] Prediction: ['Im Wirtshause stand ein Wirt, der sich eine Vogelscheuche erschrak.\nDer Wirt erschrak den Wirt, wie ihn der herankommen sah, weil Hans so entsetzlich aussah, ärger als eine Vogelscheuche.'] Label: [['Und lange Haare.\nUnd hat lange Nägel.\nHans ist schmutzig.\nHans sieht nämlich schrecklich aus: Aber der Wirt lässt Hans nicht herein.\nHans will im Gasthaus schlafen.\nIn der Stadt ist ein Gasthaus.']] Sacrebleu: {'score': 1.4889658178065592, 'counts': [7, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [20.0, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 0.8668778997501817, 'sys_len': 35, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8668778997501817, 'length_ratio': 0.875, 'translation_length': 35, 'reference_length': 40} Rouge: {'rouge1': 0.18461538461538463, 'rouge2': 0.031746031746031744, 'rougeL': 0.09230769230769231, 'rougeLsum': 0.15384615384615385} Sari: {'sari': 36.05355665839537} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['»Das hätte ich mir nicht gedacht,« sprach er, war vergnügt und ging in die Stadt hinein.'] Prediction: ['Ein Mann hat in der Stadt Zürich eine Stadt-Stadt-Bundesstaat geschlossen.\nEr war nicht gedacht, sondern auf der Strasse.\nDie Stadt-Bundesstaat Zürich hatte ihn nicht gedacht, dass er sich nicht gedacht hatte.'] Label: [['Hans geht in die Stadt.\nJetzt ist Hans glücklich.']] Sacrebleu: {'score': 1.4500372328365223, 'counts': [4, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [11.11111111111111, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.272727272727273, 'translation_length': 36, 'reference_length': 11} Rouge: {'rouge1': 0.13043478260869565, 'rouge2': 0.04545454545454545, 'rougeL': 0.13043478260869565, 'rougeLsum': 0.13043478260869565} Sari: {'sari': 45.32428355957768} Flesh Reading Ease: 76.1 ---------------------------------------- Source: ['wie er ihn aber öffnete, so war der Kehrdreck pures Gold geworden.'] Prediction: ['Ein Kehrdreck wurde pures Gold geworden.\nDer Kehrdreck war pures Gold geworden.\nDer Kehrdreck war nicht öffnet, sondern auch der Gold-Konzern.'] Label: [['Im Rucksack ist Gold: Aber im Rucksack ist kein Dreck.\nHans macht den Rucksack auf:']] Sacrebleu: {'score': 1.7911710595643588, 'counts': [2, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [8.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.08, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3888888888888888, 'translation_length': 25, 'reference_length': 18} Rouge: {'rouge1': 0.05405405405405406, 'rouge2': 0.0, 'rougeL': 0.05405405405405406, 'rougeLsum': 0.05405405405405406} Sari: {'sari': 34.974747474747474} Flesh Reading Ease: 73.55 ---------------------------------------- Source: ['Sobald er nun wieder oben im Walde war, hob er seinen Ranzen vom Rücken und wollte ihn ausschütten;'] Prediction: ['Ein Mann wurde im Walde von einem Rücken von einem Ranzen ausschütten.\nDer Ranzen wurde von einem Rücken ausschütten und wollte ihn ausschütten.\nDie Polizei vermutete den Mann nicht, dass er sich nicht ausschütten wollte.'] Label: [['Hans will den Dreck aus dem Rucksack schütten.\nHans kommt im Wald an.']] Sacrebleu: {'score': 1.3339264902154053, 'counts': [4, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [10.256410256410257, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.10256410256410256, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6, 'translation_length': 39, 'reference_length': 15} Rouge: {'rouge1': 0.1090909090909091, 'rouge2': 0.0, 'rougeL': 0.07272727272727274, 'rougeLsum': 0.1090909090909091} Sari: {'sari': 36.130536130536136} Flesh Reading Ease: 68.85 ---------------------------------------- Source: ['Der Soldat schwieg still und that, was der Teufel sagte, aber er war mit seinem Lohn gar nicht zufrieden.'] Prediction: ['Ein Soldat schwieg still und wurde mit seinem Lohn gar nicht zufrieden.\nDer Soldat schwieg still und wurde dabei nicht zufrieden.'] Label: [['Aber Hans wundert sich über seinen Lohn.\nUnd geht los.']] Sacrebleu: {'score': 2.1671320168371846, 'counts': [3, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [13.043478260869565, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.13043478260869565, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9166666666666667, 'translation_length': 23, 'reference_length': 12} Rouge: {'rouge1': 0.12903225806451613, 'rouge2': 0.0, 'rougeL': 0.12903225806451613, 'rougeLsum': 0.12903225806451613} Sari: {'sari': 35.53240740740741} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['auch.‹« Du sollst auch gehen ungewaschen und ungekämmt, mit langen Haaren am Kopf und am Bart, mit ungeschnittenen Nägeln und mit trüben Augen, und wenn du gefragt wirst, woher du kämst, sollst du sagen: ›Aus der Hölle,‹ und wenn du gefragt wirst, wer du wärst, sollst du sagen: ›Des Teufels rußiger Bruder und mein König'] Prediction: ['Du sollst auch gehen ungewaschen und ungekämmt, mit langen Haaren am Kopf und am Bart, mit ungeschnittenen Nägeln und mit trüben Augen, und wenn du gefragt wirst, woher du kämst, sollst du sagen: ‹Aus der Hölle,‹ und wenn du gefragt wirst, wer du wärst, sollst du sagen: ›Des Teufels rußiger Bruder und mein König'] Label: [['Und ich bin ein freier Mann.\nIch bin des Teufels rußiger Bruder.\nDann sagst du: Wer bist du?\nUnd fragt dich jemand: Ich komme aus der Hölle.\nDann sagst du: Woher kommst du?\nFragt dich jemand: Und du darfst deine Augen nicht auswischen.\nUnd auch nicht die Nägel.\nUnd dir nicht die Haare schneiden.\nUnd nicht kämmen.\nAber du darfst dich nicht waschen.']] Sacrebleu: {'score': 2.8520805985170123, 'counts': [15, 3, 1, 0], 'totals': [65, 64, 63, 62], 'precisions': [23.076923076923077, 4.6875, 1.5873015873015872, 0.8064516129032258], 'bp': 0.8314240008260071, 'sys_len': 65, 'ref_len': 77} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.046875, 0.015873015873015872, 0.0], 'brevity_penalty': 0.8314240008260071, 'length_ratio': 0.8441558441558441, 'translation_length': 65, 'reference_length': 77} Rouge: {'rouge1': 0.41860465116279066, 'rouge2': 0.11023622047244094, 'rougeL': 0.18604651162790695, 'rougeLsum': 0.3875968992248062} Sari: {'sari': 34.469744526241705} Flesh Reading Ease: 38.25 ---------------------------------------- Source: ["« Sprach der Teufel: »Damit du deinen verdienten Lohn kriegst, geh und raffe dir deinen Ranzen voll Kehrdreck und nimm's mit nach Haus."] Prediction: ['Immer mehr wieder kriegst du deinen verdienten Lohn.\nImmer mehr wieder kriegst du, wie du einen Ranzen kriegst.\nWir haben dir einen verdienten Lohn und einen Ranzen mit nach Haus.'] Label: [['Und nimm den Rucksack mit nach Hause.\nFüll einen Rucksack mit Dreck.\nIch gebe dir den Lohn für deine Arbeit:']] Sacrebleu: {'score': 2.977665307178987, 'counts': [7, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [20.58823529411765, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.20588235294117646, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4782608695652173, 'translation_length': 34, 'reference_length': 23} Rouge: {'rouge1': 0.23076923076923075, 'rouge2': 0.04, 'rougeL': 0.11538461538461538, 'rougeLsum': 0.23076923076923075} Sari: {'sari': 40.309427414690575} Flesh Reading Ease: 88.1 ---------------------------------------- Source: ['jetzt ist deine Zeit herum, willst du wieder heim?«'] Prediction: ['Immer mehr Zeit, wie es sich um die Schweizerin geht, ist nicht mehr zu sehen.\nIm Interview mit der 20-Minuten-App spricht der Moderator über die Ärgerin über die Schweizerin und der Schweizerin.\nIm Interview spricht er über die Ärgerin über die Schweizerin und die Schweizerin.'] Label: [['Du kannst nach Hause gehen.\nDeine Arbeit ist jetzt zu Ende.']] Sacrebleu: {'score': 0.9903417847796372, 'counts': [4, 0, 0, 0], 'totals': [52, 51, 50, 49], 'precisions': [7.6923076923076925, 0.9803921568627451, 0.5, 0.25510204081632654], 'bp': 1.0, 'sys_len': 52, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 52, 'reference_length': 13} Rouge: {'rouge1': 0.06896551724137931, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 58.916900093370685} Flesh Reading Ease: 71.4 ---------------------------------------- Source: ['dein Glück ist, daß du noch Holz zugelegt hast, sonst war dein Leben verloren;'] Prediction: ['Ein Glück ist, daß du noch Holz zugelegt hast, sonst war dein Leben verloren.\nDas ist ein Glück, da du noch Holz zugelegt hast, sonst war dein Leben verloren.'] Label: [['Deshalb werde ich dich nicht bestrafen.\nDas war richtig.\nAber du hast Holz zum Feuer gelegt.\nDas hatte ich dir verboten!']] Sacrebleu: {'score': 2.8886790607758566, 'counts': [7, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [20.0, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 35, 'reference_length': 25} Rouge: {'rouge1': 0.1923076923076923, 'rouge2': 0.0, 'rougeL': 0.11538461538461538, 'rougeLsum': 0.15384615384615383} Sari: {'sari': 39.16197303294078} Flesh Reading Ease: 89.45 ---------------------------------------- Source: ['»Aber du hast auch in die Kessel geguckt:'] Prediction: ['Im Kanton Bern ist es zu einem schweren Verkehrsunfall gekommen.\nEinige Frauen wurden dabei aufgefunden, die sie sind nicht mehr gefunden.\nDie Frauen waren dabei, sondern auch auch in die Kessel geguckt.'] Label: [['Du hast aber auch in die Kessel geguckt.']] Sacrebleu: {'score': 12.276168155242136, 'counts': [6, 5, 4, 3], 'totals': [37, 36, 35, 34], 'precisions': [16.216216216216218, 13.88888888888889, 11.428571428571429, 8.823529411764707], 'bp': 1.0, 'sys_len': 37, 'ref_len': 9} Bleu: {'bleu': 0.12276168155242136, 'precisions': [0.16216216216216217, 0.1388888888888889, 0.11428571428571428, 0.08823529411764706], 'brevity_penalty': 1.0, 'length_ratio': 4.111111111111111, 'translation_length': 37, 'reference_length': 9} Rouge: {'rouge1': 0.25, 'rouge2': 0.2105263157894737, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 60.144993894993895} Flesh Reading Ease: 64.0 ---------------------------------------- Source: ['»Ich habe das Feuer unter den Kesseln geschürt, ich habe gekehrt und den Kehrdreck hinter die Thür getragen.«'] Prediction: ['Ein Mann hat in der Nacht auf Sonntag einen Kehrdreck bei einem Kesseln geschürt.\nDer Kehrdreck wurde dabei von der Polizei getragen.\nDie Polizei sucht Zeugen.'] Label: [['Und ich habe den Dreck hinaus·gebracht.\nIch habe sauber gemacht.\nHans sagt: Ich habe Feuer unter den Kesseln gemacht.']] Sacrebleu: {'score': 1.8196871111910016, 'counts': [4, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2608695652173914, 'translation_length': 29, 'reference_length': 23} Rouge: {'rouge1': 0.0425531914893617, 'rouge2': 0.0, 'rougeL': 0.0425531914893617, 'rougeLsum': 0.0425531914893617} Sari: {'sari': 28.378505023241864} Flesh Reading Ease: 77.7 ---------------------------------------- Source: ['Als nun die Zeit vollends herum war, kam der Teufel und sagte: »Nun, Hans, was hast du gemacht?«'] Prediction: ['Immer mehr als die Zeit vollends herum war, kam der Teufel zu seinem Teufel.\nAls er die Zeit vollends herum war, kam der Teufel und sagte: "Nun, Hans, was hast du gemacht?"'] Label: [['Was hast du gemacht?\nDer Teufel fragt Hans: Und der Teufel kommt zurück.\nDie 7 Jahre vergehen.']] Sacrebleu: {'score': 7.5744217586349345, 'counts': [10, 4, 2, 1], 'totals': [41, 40, 39, 38], 'precisions': [24.390243902439025, 10.0, 5.128205128205129, 2.6315789473684212], 'bp': 1.0, 'sys_len': 41, 'ref_len': 21} Bleu: {'bleu': 0.07574421758634935, 'precisions': [0.24390243902439024, 0.1, 0.05128205128205128, 0.02631578947368421], 'brevity_penalty': 1.0, 'length_ratio': 1.9523809523809523, 'translation_length': 41, 'reference_length': 21} Rouge: {'rouge1': 0.44000000000000006, 'rouge2': 0.20833333333333331, 'rougeL': 0.16, 'rougeLsum': 0.36} Sari: {'sari': 48.775888704932036} Flesh Reading Ease: 87.95 ---------------------------------------- Source: ['Also that er sieben Jahre seinen Dienst in der Hölle, wusch sich nicht, kämmte sich nicht, schnippte sich nicht, schnitt sich die Nägel und Haare nicht und wischte sich kein Wasser aus den Augen;'] Prediction: ['Ein Dienst wurde in der Hölle von der Stadt Zürich in der Nähe von der Stadt Zürich aufgefunden.\nEr wurde dabei nicht, schnippte sich nicht, schnitt sich die Nägel und Haare nicht und wischte sich kein Wasser aus den Augen.'] Label: [['Und wischt sich nicht die Augen aus.\nUnd auch nicht die Nägel.\nUnd schneidet sich nicht die Haare.\nUnd putzt sich nicht die Nase.\nUnd kämmt sich nicht.\nUnd Hans wäscht sich nicht.\nSo arbeitet Hans 7 Jahre lang für den Teufel.']] Sacrebleu: {'score': 2.87360318021474, 'counts': [14, 2, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [31.818181818181817, 4.651162790697675, 1.1904761904761905, 0.6097560975609756], 'bp': 0.8925824723203238, 'sys_len': 44, 'ref_len': 49} Bleu: {'bleu': 0.0, 'precisions': [0.3181818181818182, 0.046511627906976744, 0.0, 0.0], 'brevity_penalty': 0.8925824723203238, 'length_ratio': 0.8979591836734694, 'translation_length': 44, 'reference_length': 49} Rouge: {'rouge1': 0.32967032967032966, 'rouge2': 0.11235955056179774, 'rougeL': 0.24175824175824176, 'rougeLsum': 0.3076923076923077} Sari: {'sari': 37.283959504547745} Flesh Reading Ease: 78.1 ---------------------------------------- Source: ['Du hast mich gehabt, jetzt hab ich dich,« holte den Blasbalg und ließ das Höllenfeuer recht unter ihm flackern.'] Prediction: ['Ein Blasbalg hatte am Sonntag einen Blasbalg aufgefunden.\nDer Blasbalg war dabei recht unter ihm flackern.\nDie beiden waren dabei nicht mehr, sondern auch der Blasbalg.'] Label: [['Das Feuer wird stärker.\nUnd legt viele große Holz·stücke zum Feuer.\nHans macht den Deckel wieder zu.\nJetzt bestimme ich über dich.\nHans sagt: Früher hast du über mich bestimmt.']] Sacrebleu: {'score': 1.3377229003341602, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 0.8187307530779819, 'sys_len': 30, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8187307530779819, 'length_ratio': 0.8333333333333334, 'translation_length': 30, 'reference_length': 36} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 29.626225490196077} Flesh Reading Ease: 77.7 ---------------------------------------- Source: ["Nun wollte er auch sehen, wer im dritten Kessel säße, da war's gar ein General: »Aha, Vogel, treff' ich dich hier?"] Prediction: ['Ein General wollte im dritten Kessel säße, da war\'s gar ein General: "Aha, Vogel, treff\' ich dich hier".\nWir haben die beiden im dritten Kessel ein gemeinsames Video auf Social Media veröffentlicht, wie er sich dabei war.'] Label: [['Und Hans kennt auch diesen Soldaten von früher.\nAuch in diesem Kessel sitzt ein Soldat.\nUnd guckt in den Kessel: Also hebt Hans vorsichtig den Deckel vom 3.\nKessel an.\nJetzt will Hans auch in den 3.\nKessel gucken.']] Sacrebleu: {'score': 1.2438555540747176, 'counts': [6, 0, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [13.043478260869565, 1.1111111111111112, 0.5681818181818182, 0.29069767441860467], 'bp': 1.0, 'sys_len': 46, 'ref_len': 46} Bleu: {'bleu': 0.0, 'precisions': [0.13043478260869565, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 46, 'reference_length': 46} Rouge: {'rouge1': 0.075, 'rouge2': 0.0, 'rougeL': 0.075, 'rougeLsum': 0.075} Sari: {'sari': 34.62367578221237} Flesh Reading Ease: 67.9 ---------------------------------------- Source: ["Du hast mich gehabt, jetzt hab' ich dich,« machte den Deckel wieder zu und trug noch einen Klotz herbei, der sollte ihm erst recht heiß machen."] Prediction: ['Ein Deckel machte den Deckel wieder zu und trug noch einen Klotz herbei.\nDer Deckel sollte ihm erst recht heiß machen.\nDie Verantwortlichen sind sich über den Deckel gefragt.'] Label: [['Das Feuer wird stärker.\nUnd legt ein großes Stück Holz zum Feuer.\nHans macht den Deckel wieder zu.\nJetzt bestimme ich über dich.\nHans sagt: Früher hast du über mich bestimmt.']] Sacrebleu: {'score': 7.386591217945007, 'counts': [8, 3, 2, 1], 'totals': [32, 31, 30, 29], 'precisions': [25.0, 9.67741935483871, 6.666666666666667, 3.4482758620689653], 'bp': 0.8553453273074225, 'sys_len': 32, 'ref_len': 37} Bleu: {'bleu': 0.07386591217945007, 'precisions': [0.25, 0.0967741935483871, 0.06666666666666667, 0.034482758620689655], 'brevity_penalty': 0.8553453273074225, 'length_ratio': 0.8648648648648649, 'translation_length': 32, 'reference_length': 37} Rouge: {'rouge1': 0.21875000000000003, 'rouge2': 0.0967741935483871, 'rougeL': 0.1875, 'rougeLsum': 0.1875} Sari: {'sari': 38.8894366810326} Flesh Reading Ease: 82.55 ---------------------------------------- Source: ["Danach ging er zum zweiten Kessel, hob den Deckel auch ein wenig auf und guckte, da saß sein Fähnrich darin: »Aha, Vogel, treff' ich dich hier?"] Prediction: ['Ein Deckel wurde zum zweiten Kessel in der Nacht auf Sonntag aufgefunden.\nDer Deckel wurde auch ein wenig auf und guckte, da saß sein Fähnrich darin: "Aha, Vogel, treff\' ich dich hier".'] Label: [['Und Hans kennt auch diesen Soldaten von früher.\nAuch in diesem Kessel sitzt ein Soldat.\nUnd guckt in den Kessel: Also hebt Hans vorsichtig den Deckel vom 2.\nKessel an.\nJetzt will Hans auch in die anderen Kessel gucken.']] Sacrebleu: {'score': 1.3635253396709117, 'counts': [8, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [20.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 0.8824969025845955, 'sys_len': 40, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8824969025845955, 'length_ratio': 0.8888888888888888, 'translation_length': 40, 'reference_length': 45} Rouge: {'rouge1': 0.16438356164383564, 'rouge2': 0.0, 'rougeL': 0.10958904109589042, 'rougeLsum': 0.13698630136986303} Sari: {'sari': 36.02403343782654} Flesh Reading Ease: 76.25 ---------------------------------------- Source: ["Du hast mich gehabt, jetzt hab' ich dich,« ließ geschwind den Deckel fallen, schürte das Feuer und legte noch frisch zu."] Prediction: ['Ein Feuer wurde von einem Deckel aufgefunden.\nDie Deckel-Fälle wurde noch frisch zu sein.\nDie Feuer-Fälle wurde noch nicht bekannt.'] Label: [['Das Feuer wird stärker.\nUnd legt mehr Holz zum Feuer.\nHans macht den Deckel wieder zu.\nJetzt bestimme ich über dich.\nUnd sagt: Früher hast du über mich bestimmt.']] Sacrebleu: {'score': 1.5295174704622967, 'counts': [6, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [26.08695652173913, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 0.5934874977560278, 'sys_len': 23, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.2608695652173913, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5934874977560278, 'length_ratio': 0.6571428571428571, 'translation_length': 23, 'reference_length': 35} Rouge: {'rouge1': 0.14545454545454548, 'rouge2': 0.0, 'rougeL': 0.10909090909090909, 'rougeLsum': 0.14545454545454548} Sari: {'sari': 39.92181540808543} Flesh Reading Ease: 68.0 ---------------------------------------- Source: ["Da sah er seinen ehemaligen Unteroffizier darin sitzen: »Aha, Vogel,« sprach er, »treff' ich dich hier?"] Prediction: ['Ein ehemaliger Unteroffizier hat seinen ehemaligen Unteroffizier darin sitzen: Im Interview spricht er, wie er sich darin sitzen konnte.\nDie beiden waren seit einem Jahrzehnten in der Schweiz.'] Label: [['Hans kennt den Soldaten von früher.\nDer Soldat ist ein böser Mensch.\nIm Kessel sitzt ein Soldat.']] Sacrebleu: {'score': 1.526608193588886, 'counts': [3, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [9.375, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.09375, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 32, 'reference_length': 20} Rouge: {'rouge1': 0.1276595744680851, 'rouge2': 0.0, 'rougeL': 0.0851063829787234, 'rougeLsum': 0.1276595744680851} Sari: {'sari': 35.23809523809524} Flesh Reading Ease: 49.0 ---------------------------------------- Source: ['endlich konnte er sich nicht mehr anhalten, hob vom ersten Kessel ein klein bißchen den Deckel auf und guckte hinein.'] Prediction: ['Ein bißchen bißchen hat einen Deckel aufgestellt.\nDer Deckel konnte nicht mehr anhalten, wurde aber nicht mehr anhalten.'] Label: [['Und guckt in den Kessel: Trotzdem hebt Hans vorsichtig den Deckel von einem Kessel an.']] Sacrebleu: {'score': 2.159701133933343, 'counts': [2, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [9.523809523809524, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.09523809523809523, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2352941176470589, 'translation_length': 21, 'reference_length': 17} Rouge: {'rouge1': 0.05714285714285715, 'rouge2': 0.0, 'rougeL': 0.05714285714285715, 'rougeLsum': 0.05714285714285715} Sari: {'sari': 33.32824582824583} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Er hätte für sein Leben gern hineingeschaut, wenn es ihm der Teufel nicht so streng verboten hätte:'] Prediction: ['Ein Teufel der Teufel wurde nicht so streng verboten.\nEr hätte für sein Leben gern hineingeschaut, wenn es ihm der Teufel nicht so streng verboten hätte.'] Label: [['Aber der Teufel hat es ihm verboten.\nHans will unbedingt in die Kessel gucken.\nJetzt ist Hans neugierig:']] Sacrebleu: {'score': 4.632431878544845, 'counts': [7, 3, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [24.137931034482758, 10.714285714285714, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.2413793103448276, 0.10714285714285714, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.380952380952381, 'translation_length': 29, 'reference_length': 21} Rouge: {'rouge1': 0.21276595744680854, 'rouge2': 0.08888888888888889, 'rougeL': 0.21276595744680854, 'rougeLsum': 0.1276595744680851} Sari: {'sari': 32.08590770404272} Flesh Reading Ease: 79.25 ---------------------------------------- Source: ['Wie der alte Teufel wieder kam, sah er nach, ob alles geschehen war, zeigte sich zufrieden und ging zum zweitenmal fort.'] Prediction: ['Ein Mann wurde im Alter von 99 Jahren alte Teufel wieder aufgefunden.\nDer alte Teufel war wieder zu sehen, zeigte sich zufrieden und ging zum zweitenmal fort.\nDie Polizei vermutete den Mann nach, ob er alles geschehen war.'] Label: [['Und geht wieder weg.\nDeshalb ist der Teufel zufrieden.\nNach einiger Zeit kommt der Teufel zurück.']] Sacrebleu: {'score': 1.386242207953302, 'counts': [7, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [16.27906976744186, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.16279069767441862, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.263157894736842, 'translation_length': 43, 'reference_length': 19} Rouge: {'rouge1': 0.2545454545454545, 'rouge2': 0.0, 'rougeL': 0.1818181818181818, 'rougeLsum': 0.2545454545454545} Sari: {'sari': 37.654320987654316} Flesh Reading Ease: 67.85 ---------------------------------------- Source: ['« Da ging nun der alte Teufel wieder hinaus auf seine Wanderung und der Soldat trat seinen Dienst an, legte Feuer zu, kehrte und trug den Kehrdreck hinter die Thür, alles wie es befohlen war.'] Prediction: ['Ein Soldat trat am Sonntagabend seinen Dienst an, legte Feuer zu, kehrte und trug den Kehrdreck hinter die Thür.\nDie Thür ging nun wieder hinaus auf seine Wanderung.\nDie Soldat ging nun wieder hinaus auf seine Wanderung und trug den Kehrdreck hinter die Thür, alles wie es befohlen war.'] Label: [['Und Hans bringt den Dreck hinaus.\nUnd Hans macht sauber.\nHans macht Feuer unter den Kesseln.\nAlso beginnt Hans mit der Arbeit: Und geht weg.\nDas sagt der Teufel zu Hans.']] Sacrebleu: {'score': 1.1116513189759736, 'counts': [8, 0, 0, 0], 'totals': [55, 54, 53, 52], 'precisions': [14.545454545454545, 0.9259259259259259, 0.4716981132075472, 0.2403846153846154], 'bp': 1.0, 'sys_len': 55, 'ref_len': 37} Bleu: {'bleu': 0.0, 'precisions': [0.14545454545454545, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4864864864864864, 'translation_length': 55, 'reference_length': 37} Rouge: {'rouge1': 0.1686746987951807, 'rouge2': 0.0, 'rougeL': 0.12048192771084337, 'rougeLsum': 0.1686746987951807} Sari: {'sari': 32.592592592592595} Flesh Reading Ease: 75.95 ---------------------------------------- Source: ['aber guckte er ein einziges Mal in die Kessel hinein, so würde es ihm schlimm ergehen.'] Prediction: ['Ein Mann hatte ein einziges Mal in die Kessel hinein, so würde es ihm schlimm ergehen.\nDer Mann wurde dabei schwerm ergehen.\nDie Polizei vermutet, dass er sich nicht mehr schlimm war.'] Label: [['Sonst werde ich dich bestrafen.\nAber du darfst nicht in die Kessel gucken.']] Sacrebleu: {'score': 4.410877697328769, 'counts': [6, 2, 1, 0], 'totals': [37, 36, 35, 34], 'precisions': [16.216216216216218, 5.555555555555555, 2.857142857142857, 1.4705882352941178], 'bp': 1.0, 'sys_len': 37, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.16216216216216217, 0.05555555555555555, 0.02857142857142857, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.466666666666667, 'translation_length': 37, 'reference_length': 15} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.09090909090909091, 'rougeL': 0.13043478260869568, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 36.372655122655125} Flesh Reading Ease: 81.55 ---------------------------------------- Source: ['er müßte das Feuer schüren unter den Kesseln, wo die Höllenbraten drin säßen, das Haus rein halten, den Kehrdreck hinter die Thür tragen und überall auf Ordnung sehen;'] Prediction: ['Ein Kehrdreck hat in der Thür einen Kehrdreck hinter die Thür tragen und überall auf Ordnung sehen.\nDie Höllenbraten sind dabei, das Haus rein halten, den Kehrdreck hinter die Thür tragen und überall auf Ordnung sehen.'] Label: [['Und den Dreck hinaus·bringen.\nUnd sauber machen.\nDu musst Feuer unter den Kesseln machen.']] Sacrebleu: {'score': 1.2090878038257866, 'counts': [3, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [7.5, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.075, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3529411764705883, 'translation_length': 40, 'reference_length': 17} Rouge: {'rouge1': 0.10909090909090907, 'rouge2': 0.0, 'rougeL': 0.10909090909090907, 'rougeLsum': 0.10909090909090907} Sari: {'sari': 31.583585496628974} Flesh Reading Ease: 74.25 ---------------------------------------- Source: ['Dann sagte es ihm, was er zu thun hätte:'] Prediction: ['Ein Mann sagte, was er zu thun hätte, was er zu thun hätte.\nEr sagte, was er zu thun hätte, was er zu thun hätte.'] Label: [['Der Teufel sagt zu Hans:']] Sacrebleu: {'score': 1.199348129252962, 'counts': [1, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [3.225806451612903, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.03225806451612903, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.166666666666667, 'translation_length': 31, 'reference_length': 6} Rouge: {'rouge1': 0.0588235294117647, 'rouge2': 0.0, 'rougeL': 0.0588235294117647, 'rougeLsum': 0.0588235294117647} Sari: {'sari': 33.101851851851855} Flesh Reading Ease: 97.3 ---------------------------------------- Source: ["»Frisch dran, wenn's nicht anders sein kann,« und ging mit dem Männchen fort, das führte ihn geradeswegs in die Hölle hinein. « Der Soldat sprach:"] Prediction: ['Ein Männchen führte in die Hölle einen Männchen.\nDer Soldat sprach von einem öffentlichen Männchen.\nDie Männer wollten sich nicht anders sein, sondern auch auf einen Männchen.'] Label: [['Hans und der Teufel kommen in der Hölle an.\nUnd Hans geht mit dem Teufel in die Hölle.\nHans überlegt und stimmt zu.']] Sacrebleu: {'score': 5.30918756028263, 'counts': [6, 2, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [19.35483870967742, 6.666666666666667, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.1935483870967742, 0.06666666666666667, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1923076923076923, 'translation_length': 31, 'reference_length': 26} Rouge: {'rouge1': 0.16949152542372883, 'rouge2': 0.10526315789473685, 'rougeL': 0.13559322033898305, 'rougeLsum': 0.16949152542372883} Sari: {'sari': 51.59556878306879} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Aber eins sag ich dir, du darfst dich nicht waschen, nicht kämmen, nicht schnippen, keine Nägel und Haare abschneiden und kein Wasser aus den Augen wischen.'] Prediction: ['Einige der beiden waren nicht bekannt, sondern auch auch auf der Kippe.\nDie beiden waren nicht bekannt, sondern auch auf der Kippe.\nDie beiden waren nicht bekannt, sondern auch auf der Kippe.'] Label: [['Und du darfst dir nicht die Augen auswischen.\nUnd auch nicht die Nägel.\nUnd dir nicht die Haare schneiden.\nUnd dir nicht die Nase putzen.\nUnd nicht kämmen.\nAber in den 7 Jahren darfst du dich nicht waschen.']] Sacrebleu: {'score': 1.3460702849321604, 'counts': [7, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [18.42105263157895, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 0.8539396656235351, 'sys_len': 38, 'ref_len': 44} Bleu: {'bleu': 0.0, 'precisions': [0.18421052631578946, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8539396656235351, 'length_ratio': 0.8636363636363636, 'translation_length': 38, 'reference_length': 44} Rouge: {'rouge1': 0.16666666666666663, 'rouge2': 0.0, 'rougeL': 0.16666666666666663, 'rougeLsum': 0.11111111111111112} Sari: {'sari': 40.5349956600647} Flesh Reading Ease: 81.55 ---------------------------------------- Source: ['sieben Jahre sollst du mir dienen, hernach bist du wieder frei. Der Teufel sagte: »Willst du dich bei mir vermieten und mein Knecht sein, so sollst du für dein Lebtag genug haben;'] Prediction: ['Die 20-Minuten-App ist auf Spotify, Apple Podcasts und Tune In.\nIn der Leiste ist der Direktstream über die Woche zu Gast, die auf Spotify und Apple Podcasts verfügbar sein.\nIn der Leiste ist der Direktstream zum Podcast "Unchained" auf Spotify, Apple Podcasts und Tune In.'] Label: [['Danach bist du ein freier Mann.\nDer Teufel sagt: Du kannst für mich arbeiten: 7 Jahre lang.']] Sacrebleu: {'score': 0.7860561859628806, 'counts': [2, 0, 0, 0], 'totals': [55, 54, 53, 52], 'precisions': [3.6363636363636362, 0.9259259259259259, 0.4716981132075472, 0.2403846153846154], 'bp': 1.0, 'sys_len': 55, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.03636363636363636, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.619047619047619, 'translation_length': 55, 'reference_length': 21} Rouge: {'rouge1': 0.030303030303030304, 'rouge2': 0.0, 'rougeL': 0.030303030303030304, 'rougeLsum': 0.030303030303030304} Sari: {'sari': 41.33241758241758} Flesh Reading Ease: 65.55 ---------------------------------------- Source: ['« Da sprach der Soldat: »Ich habe Hunger, aber kein Geld.«'] Prediction: ['Ein Soldat aus den USA hat sich mit Hunger vorgesehen.\nDie Schweizerin sprach von Hunger, aber kein Geld.'] Label: [['Aber ich habe kein Geld.\nHans sagt: Ich habe Hunger.']] Sacrebleu: {'score': 7.681104116622756, 'counts': [5, 2, 1, 0], 'totals': [21, 20, 19, 18], 'precisions': [23.80952380952381, 10.0, 5.2631578947368425, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.23809523809523808, 0.1, 0.05263157894736842, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6153846153846154, 'translation_length': 21, 'reference_length': 13} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.07692307692307691, 'rougeL': 0.21428571428571427, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 42.68518518518518} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['Du siehst ja so trübselig aus. Das Männchen sagte zu ihm: »Was fehlt dir?'] Prediction: ['Du siehst ja so trübselig aus?\nDas Männchen sagte zu ihm: "Was fehlt dir?\nDu siehst ja so trübselig aus".'] Label: [['Warum bist du so traurig?\nDer Teufel fragt Hans:']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3636363636363638, 'translation_length': 26, 'reference_length': 11} Rouge: {'rouge1': 0.125, 'rouge2': 0.0, 'rougeL': 0.125, 'rougeLsum': 0.125} Sari: {'sari': 36.66666666666667} Flesh Reading Ease: 97.25 ---------------------------------------- Source: ['Da ging er hinaus in den Wald und als er ein Weilchen gegangen war, begegnete ihm ein kleines Männchen, das war aber der Teufel.'] Prediction: ['Ein Männchen wurde in einem Wald in den Wald gefangen.\nDer Teufel war aber der Teufel.\nDer Männchen war ein kleines Männchen, das war aber der Teufel.'] Label: [['Der kleine Mann ist der Teufel.\nIm Wald trifft Hans einen kleinen Mann.\nHans kommt zu einem Wald.']] Sacrebleu: {'score': 6.502400235712174, 'counts': [9, 3, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [29.032258064516128, 10.0, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.2903225806451613, 0.1, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4761904761904763, 'translation_length': 31, 'reference_length': 21} Rouge: {'rouge1': 0.25, 'rouge2': 0.08695652173913043, 'rougeL': 0.125, 'rougeLsum': 0.25} Sari: {'sari': 43.21378179063189} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['Ein abgedankter Soldat hatte nichts zu leben und wußte sich nicht mehr zu helfen.'] Prediction: ['Ein abgedankter Soldat hatte nichts zu leben und wußte sich nicht mehr zu helfen.\nDer abgedankte Soldat wurde nicht mehr zu helfen.'] Label: [['Und denkt: Was soll ich jetzt tun?\nDeshalb ist Hans traurig.\nUnd hat kein Geld zum Leben.\nHans arbeitet nicht mehr.\nEin Soldat kommt aus dem Krieg zurück.']] Sacrebleu: {'score': 2.7300086204579035, 'counts': [6, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [25.0, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 0.6592406302004437, 'sys_len': 24, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 0.6592406302004439, 'length_ratio': 0.7058823529411765, 'translation_length': 24, 'reference_length': 34} Rouge: {'rouge1': 0.23076923076923075, 'rouge2': 0.04, 'rougeL': 0.15384615384615385, 'rougeLsum': 0.19230769230769232} Sari: {'sari': 40.0} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['Also erhielt er die Krone und hat lange in Weisheit geherrscht.'] Prediction: ['Ein Mann hat lange in Weisheit geherrscht.\nEr war mit dem Krone aufgefunden und hat lange in Weisheit geherrscht.'] Label: [['So wird der Dummling der neue König.']] Sacrebleu: {'score': 1.8160849415439309, 'counts': [1, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [4.761904761904762, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.047619047619047616, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.625, 'translation_length': 21, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 35.0} Flesh Reading Ease: 82.75 ---------------------------------------- Source: ['Darauf sprang das schöne Fräulein, das der Dummling mitgebracht hatte, und sprang so leicht hindurch wie ein Reh, und aller Widerspruch mußte aufhören.'] Prediction: ['Ein Dummling hatte einen Fräulein, das der Dummling mitgebracht hatte, und sprang so leicht hindurch wie ein Reh, und aller Widerspruch mußte aufhören.\nDer Dummling sprang so leicht hindurch wie ein Reh, und aller Widerspruch mußte aufhören.'] Label: [['Und die Frau vom Dummling schafft es.\nDie Frau vom Dummling springt so leicht wie eine Feder.\nDann springt die Frau vom Dummling durch den Reifen.']] Sacrebleu: {'score': 2.4105136854736378, 'counts': [8, 1, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [18.6046511627907, 2.380952380952381, 1.2195121951219512, 0.625], 'bp': 1.0, 'sys_len': 43, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.18604651162790697, 0.023809523809523808, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4827586206896552, 'translation_length': 43, 'reference_length': 29} Rouge: {'rouge1': 0.20588235294117643, 'rouge2': 0.030303030303030304, 'rougeL': 0.17647058823529413, 'rougeLsum': 0.17647058823529413} Sari: {'sari': 37.68568033273916} Flesh Reading Ease: 67.9 ---------------------------------------- Source: ['Da sprangen die zwei Bauernweiber, sprangen auch durch den Ring, waren aber so plump, daß sie fielen und ihre groben Arme und Beine entzwei brachen.'] Prediction: ['Zwei Bauernweiber sprangen durch den Ring, sprangen auch durch den Ring, waren aber so plump, daß sie fielen und ihre groben Arme und Beine entzwei brachen.\nDie zwei Bauernweiber sprangen auch durch den Ring, waren aber so plump, daß sie fielen und ihre groben Arme und Beine entzwei brachen.'] Label: [['Und die Frauen fallen hin.\nAber die Frauen sind zu schwer.\nZuerst springen die Frauen von den 2 Brüdern durch den Reifen.']] Sacrebleu: {'score': 1.6317924442010885, 'counts': [5, 1, 0, 0], 'totals': [56, 55, 54, 53], 'precisions': [8.928571428571429, 1.8181818181818181, 0.9259259259259259, 0.4716981132075472], 'bp': 1.0, 'sys_len': 56, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.08928571428571429, 0.01818181818181818, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.24, 'translation_length': 56, 'reference_length': 25} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.028571428571428574, 'rougeL': 0.11111111111111112, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 37.08170360712733} Flesh Reading Ease: 67.75 ---------------------------------------- Source: ['Sie dachten: »Die Bauernweiber können das wohl, die sind stark genug, aber das zarte Fräulein springt sich tot.«'] Prediction: ['Die Bauernweiber können das wohl, die sind stark genug, aber das zarte Fräulein springt sich tot.\nDie Bauernweiber können das wohl, die sind stark genug, aber das zarte Fräulein springt sich tot.'] Label: [['Die Frau vom Dummling schafft diese Aufgabe nicht.\nUnd schwach.\nAber die Frau vom Dummling ist dünn.\nUnsere Frauen können durch den Reifen springen.\nDie Brüder vom Dummling denken: Unsere Frauen sind stark.']] Sacrebleu: {'score': 3.1749707622921095, 'counts': [8, 2, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [21.05263157894737, 5.405405405405405, 1.3888888888888888, 0.7142857142857143], 'bp': 0.9740274534203012, 'sys_len': 38, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.05405405405405406, 0.0, 0.0], 'brevity_penalty': 0.9740274534203012, 'length_ratio': 0.9743589743589743, 'translation_length': 38, 'reference_length': 39} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.05714285714285714, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.19444444444444445} Sari: {'sari': 37.430614757980486} Flesh Reading Ease: 82.1 ---------------------------------------- Source: ["Aber die zwei ältesten betäubten die Ohren des Königs aufs neue mit ihrem Geschrei, »wir können's nicht zugeben, daß der Dummling König wird,« und verlangten, der sollte den Vorzug haben, dessen Frau durch einen Ring springen könnte, der da mitten in dem Saal hing."] Prediction: ['Eine Frau wurde durch einen Ring springen, der da mitten in dem Saal hing.\nDie Ohren des Dummling Königs waren zwei ältesten ältesten.\nDie Ohren des Königs waren zwei ältesten ältesten.'] Label: [['Dann wird dieser Sohn König.\nSchafft es die Frau von einem Sohn?\nJetzt sollen die Frauen durch einen Reifen springen.\nDer König ist einverstanden: Deshalb bitten die Brüder vom Dummling den König um eine letzte Aufgabe.']] Sacrebleu: {'score': 2.5162094987526444, 'counts': [8, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [22.857142857142858, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 0.8424604416167714, 'sys_len': 35, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.22857142857142856, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 0.8424604416167714, 'length_ratio': 0.8536585365853658, 'translation_length': 35, 'reference_length': 41} Rouge: {'rouge1': 0.3013698630136986, 'rouge2': 0.056338028169014086, 'rougeL': 0.21917808219178084, 'rougeLsum': 0.27397260273972607} Sari: {'sari': 38.05988529014845} Flesh Reading Ease: 76.1 ---------------------------------------- Source: ['»Dem jüngsten gehört das Reich nach meinem Tode.«'] Prediction: ['Das jüngste gehört das Reich nach meinem Tode.\nDie Schweiz hatte sich nach meinem Tode geschlossen.\nDie Schweiz hatte sich nach meinem Tode geschlossen.'] Label: [['Der Dummling wird König.']] Sacrebleu: {'score': 1.387819277861591, 'counts': [1, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [3.7037037037037037, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.037037037037037035, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.4, 'translation_length': 27, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Als der König sie erblickte, sprach er:'] Prediction: ['Eine Frau wurde von der Königsängerin aufgefunden, als sie sie sie erblickte, sprach er: Als sie sie erblickte, sprach er: Als sie sie sie erblickte, sprach er: Als sie sie sie erblickte, sprach er:'] Label: [['Da sagt der König:']] Sacrebleu: {'score': 1.0134961585174012, 'counts': [2, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [4.651162790697675, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.046511627906976744, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 8.6, 'translation_length': 43, 'reference_length': 5} Rouge: {'rouge1': 0.09756097560975609, 'rouge2': 0.05128205128205128, 'rougeL': 0.09756097560975609, 'rougeLsum': 0.09756097560975609} Sari: {'sari': 25.252525252525253} Flesh Reading Ease: 58.25 ---------------------------------------- Source: ['Seine Brüder kamen nach, die hatten sich gar keine Mühe gegeben, eine schöne Frau zu suchen, sondern die ersten besten Bauernweiber mitgenommen.'] Prediction: ['Seine Brüder kamen nach, die sich gar keine Mühe gegeben haben, eine schöne Frau zu suchen.\nDie Brüder waren nach, sondern die ersten besten Bauernweiber mitgenommen.'] Label: [['Aber die Brüder haben es sich wieder leicht gemacht: Auch die Brüder vom Dummling bringen ihre Frauen zum Schloss.']] Sacrebleu: {'score': 1.9508315563589549, 'counts': [7, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [22.580645161290324, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.22580645161290322, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4761904761904763, 'translation_length': 31, 'reference_length': 21} Rouge: {'rouge1': 0.3137254901960784, 'rouge2': 0.12244897959183673, 'rougeL': 0.23529411764705882, 'rougeLsum': 0.19607843137254902} Sari: {'sari': 37.495112004915924} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Da küßte er sie, jagte mit den Pferden davon und brachte sie zu dem König.'] Prediction: ['Ein Mann küßte mit den Pferden davon und brachte sie zu dem König.\nDie Pferden konnten sie davon küßen und brachten sie zu dem König.\nDie beiden konnten sie sich mit den Pferden davon küßen und brachten sie zu dem König.'] Label: [['Der Dummling fährt mit der schönen Frau in der Kutsche zum Schloss.']] Sacrebleu: {'score': 0.9896324688555468, 'counts': [2, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [4.545454545454546, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.045454545454545456, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3846153846153846, 'translation_length': 44, 'reference_length': 13} Rouge: {'rouge1': 0.032786885245901634, 'rouge2': 0.0, 'rougeL': 0.032786885245901634, 'rougeLsum': 0.032786885245901634} Sari: {'sari': 35.714285714285715} Flesh Reading Ease: 84.4 ---------------------------------------- Source: ['« Da griff er auf Geratewohl eine aus dem Kreise und setzte sie in die gelbe Kutsche, aber kaum saß sie darin, so ward sie zu einem wunderschönen Fräulein, die Rübe zur Kutsche, und die sechs Mäuschen zu Pferden.'] Prediction: ['Eine Kutsche-Kutsche-Kutsche-Kutsche wurde in einem Kreise in die gelbe Kutsche gefunden.\nDie Rübe zur Kutsche, die sechs Mäuschen zu Pferden, wurde von einem wunderschönen Fräulein aus dem Kreise gefunden.\nDie Kutsche konnten sich in die gelbe Kutsche und in die gelbe Kutsche gefunden werden.'] Label: [['Und die kleine Kröte wird zu einer schönen Frau.\nUnd die 6 Mäuse werden zu Pferden.\nPlötzlich wird die Rübe zu einer Kutsche.\nDer Dummling setzt eine kleine Kröte in die Rübe.']] Sacrebleu: {'score': 2.8274672839246016, 'counts': [13, 2, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [26.53061224489796, 4.166666666666667, 1.0638297872340425, 0.5434782608695652], 'bp': 1.0, 'sys_len': 49, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.2653061224489796, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3611111111111112, 'translation_length': 49, 'reference_length': 36} Rouge: {'rouge1': 0.33333333333333337, 'rouge2': 0.0909090909090909, 'rougeL': 0.20000000000000004, 'rougeLsum': 0.33333333333333337} Sari: {'sari': 39.40460443786973} Flesh Reading Ease: 60.0 ---------------------------------------- Source: ['Die Itsche antwortete: »Setze nur eine von meinen kleinen Itschen hinein.'] Prediction: ['Die Itsche ist eine von meinen kleinen Itschen hinein.\nDie Schweizer Nati verliert nur eine von meinen kleinen Itschen.\nDie Partie hatte sich mit einem kleinen Spiel geschlossen.'] Label: [['Setze eine kleine Kröte in die Rübe.\nDie dicke Kröte antwortet:']] Sacrebleu: {'score': 2.6545937801413144, 'counts': [3, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [9.67741935483871, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 1.0, 'sys_len': 31, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.0967741935483871, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3846153846153846, 'translation_length': 31, 'reference_length': 13} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.0, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 34.70169677066228} Flesh Reading Ease: 71.25 ---------------------------------------- Source: ['»Was soll ich damit anfangen?« Da sprach der Dummling ganz traurig:'] Prediction: ['Der Dummling ist im Alter von 99 Jahren gestorben.\nEr wurde von einem Dummling aufgefunden.\nEr sprach der Dummling ganz traurig: Er ist derzeit derzeit derzeit derzeit derzeit derzeit derzeit aufgefunden.'] Label: [['Und sagt: Was soll ich damit?\nDer Dummling ist traurig.']] Sacrebleu: {'score': 4.674499231292217, 'counts': [6, 2, 1, 0], 'totals': [35, 34, 33, 32], 'precisions': [17.142857142857142, 5.882352941176471, 3.0303030303030303, 1.5625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.17142857142857143, 0.058823529411764705, 0.030303030303030304, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6923076923076925, 'translation_length': 35, 'reference_length': 13} Rouge: {'rouge1': 0.1951219512195122, 'rouge2': 0.10256410256410256, 'rougeL': 0.1951219512195122, 'rougeLsum': 0.14634146341463414} Sari: {'sari': 35.77050264550265} Flesh Reading Ease: 70.25 ---------------------------------------- Source: ['« Sie gab ihm eine ausgehöhlte gelbe Rübe mit sechs Mäuschen bespannt.'] Prediction: ['Eine Frau wurde in der Nacht auf Sonntag mit sechs Mäuschen bespannt.\nSie gab ihm eine ausgehöhlte gelbe Rübe mit sechs Mäuschen bespannt.\nDie Frau war mit sechs Mäuschen bespannt.'] Label: [['Vor die Rübe sind 6 Mäuse gespannt.\nDie Rübe ist innen hohl.\nDie dicke Kröte gibt dem Dummling eine Rübe.']] Sacrebleu: {'score': 2.9561645124389617, 'counts': [6, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [18.181818181818183, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.434782608695652, 'translation_length': 33, 'reference_length': 23} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.034482758620689655, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 37.8963548528766} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['die ist nicht gleich zur Hand, aber du sollst sie doch haben. »Ei,« antwortete die Itsche, »die schönste Frau!'] Prediction: ['Eine schönste Frau sollst sie doch haben.\nDie Frau ist nicht gleich zur Hand, aber du sollst sie doch haben.\nDie Frau ist nicht gleich zur Hand, aber du sollst sie doch haben.'] Label: [['Aber du bekommst die schönste Frau.\nDas ist schwer.\nDie dicke Kröte antwortet:']] Sacrebleu: {'score': 3.152612155448425, 'counts': [7, 2, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [18.42105263157895, 5.405405405405405, 1.3888888888888888, 0.7142857142857143], 'bp': 1.0, 'sys_len': 38, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.18421052631578946, 0.05405405405405406, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.375, 'translation_length': 38, 'reference_length': 16} Rouge: {'rouge1': 0.326530612244898, 'rouge2': 0.1276595744680851, 'rougeL': 0.20408163265306123, 'rougeLsum': 0.28571428571428564} Sari: {'sari': 41.55394524959742} Flesh Reading Ease: 98.8 ---------------------------------------- Source: ['Da ging der Dummling ohne weiteres hinab zu der dicken Itsche und sprach: »Ich soll die schönste Frau heimbringen.«'] Prediction: ['Ein Dummling hat eine schönste Frau heimbringen.\nDie Frau soll ihn heimbringen.\nDie Frau soll die schönste Frau heimbringen.'] Label: [['Ich soll die schönste Frau nach Hause bringen.\nDer Dummling sagt zu der dicken Kröte: Und der Dummling geht wieder zu der dicken Kröte.']] Sacrebleu: {'score': 9.908379639313347, 'counts': [7, 3, 2, 1], 'totals': [22, 21, 20, 19], 'precisions': [31.818181818181817, 14.285714285714286, 10.0, 5.2631578947368425], 'bp': 0.7967034698934615, 'sys_len': 22, 'ref_len': 27} Bleu: {'bleu': 0.09908379639313347, 'precisions': [0.3181818181818182, 0.14285714285714285, 0.1, 0.05263157894736842], 'brevity_penalty': 0.7967034698934615, 'length_ratio': 0.8148148148148148, 'translation_length': 22, 'reference_length': 27} Rouge: {'rouge1': 0.25, 'rouge2': 0.17391304347826086, 'rougeL': 0.20833333333333334, 'rougeLsum': 0.25} Sari: {'sari': 47.01099339257234} Flesh Reading Ease: 85.95 ---------------------------------------- Source: ['Die drei Federn blies er nochmals in die Luft, und sie flogen wie die vorigen Male.'] Prediction: ['Die drei Federn blieben nochmals in die Luft.\nSie flogen wie die vorigen Male.\nDie drei Federn blieben nochmals in die Luft.'] Label: [['Und die Federn fliegen wieder an dieselben Orte.\nDer König pustet 3 Federn in die Luft.\nDer König und seine 3 Söhne gehen wieder vor das Schloss.']] Sacrebleu: {'score': 9.455055920749635, 'counts': [9, 3, 2, 1], 'totals': [25, 24, 23, 22], 'precisions': [36.0, 12.5, 8.695652173913043, 4.545454545454546], 'bp': 0.8187307530779819, 'sys_len': 25, 'ref_len': 30} Bleu: {'bleu': 0.09455055920749636, 'precisions': [0.36, 0.125, 0.08695652173913043, 0.045454545454545456], 'brevity_penalty': 0.8187307530779819, 'length_ratio': 0.8333333333333334, 'translation_length': 25, 'reference_length': 30} Rouge: {'rouge1': 0.23076923076923075, 'rouge2': 0.08, 'rougeL': 0.23076923076923075, 'rougeLsum': 0.23076923076923075} Sari: {'sari': 41.60890126728407} Flesh Reading Ease: 84.95 ---------------------------------------- Source: ['Die zwei ältesten ließen nicht ab, den König zu quälen, bis er noch eine dritte Bedingung machte und den Ausspruch that, der sollte das Reich haben, der die schönste Frau heimbrächte.'] Prediction: ['Die zwei ältesten Frauen wurden in der Schweiz heimbrächt.\nSie wurden dabei nicht abgelehnt, bis sie noch eine dritte Bedingung machten.\nDie Frau war zuvor auf der Königstrecke, die sie sich auf der Königstrecke heimbrächten.'] Label: [['Der Sohn mit der schönsten Frau wird König.\nDa sagt der König: Sucht die schönste Frau.\nUnd die Brüder vom Dummling bitten den König um eine neue Aufgabe.\nDer Dummling darf nicht König sein.\nDer Dummling ist dumm.\nAber die Brüder vom Dummling sagen zum König:']] Sacrebleu: {'score': 1.149720956406517, 'counts': [9, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [22.5, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 0.7225273536420722, 'sys_len': 40, 'ref_len': 53} Bleu: {'bleu': 0.0, 'precisions': [0.225, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7225273536420722, 'length_ratio': 0.7547169811320755, 'translation_length': 40, 'reference_length': 53} Rouge: {'rouge1': 0.23404255319148937, 'rouge2': 0.021739130434782608, 'rougeL': 0.1702127659574468, 'rougeLsum': 0.2127659574468085} Sari: {'sari': 35.0967431612593} Flesh Reading Ease: 68.85 ---------------------------------------- Source: ['»Ihm gehört das Reich.'] Prediction: ['Im Alter von 99 Jahren gehört das Reich.\nIm Alter von 99 Jahren gehört das Reich.\nIm Alter von 99 Jahren gehört das Reich.'] Label: [['Der Dummling wird König.']] Sacrebleu: {'score': 1.387819277861591, 'counts': [1, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [3.7037037037037037, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.037037037037037035, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.4, 'translation_length': 27, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 36.66666666666667} Flesh Reading Ease: 90.1 ---------------------------------------- Source: ['Als aber der Dummling seinen goldenen Ring vorzeigte, so sprach der Vater abermals:'] Prediction: ['Der Dummling ist seit einem Jahr seinen goldenen Ring vorzeigt.\nDer Vater sprach abermals: Der Dummling ist seinen goldenen Ring vorzeigt.'] Label: [['Da sagt der König: Und der Dummling bringt dem König seinen schönen Ring.']] Sacrebleu: {'score': 2.352622489487909, 'counts': [5, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [20.833333333333332, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.20833333333333334, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 24, 'reference_length': 15} Rouge: {'rouge1': 0.27027027027027023, 'rouge2': 0.05714285714285715, 'rougeL': 0.27027027027027023, 'rougeLsum': 0.27027027027027023} Sari: {'sari': 51.587301587301596} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['Die zwei ältesten lachten über den Dummling, der einen goldenen Ring suchen wollte, gaben sich gar keine Mühe, sondern schlugen einem alten Wagenring die Nägel aus und brachten ihn dem König.'] Prediction: ['Ein Dummling, der einen goldenen Ring suchen wollte, gaben sich gar keine Mühe, sondern schlugen einem alten Wagenring die Nägel aus.\nDer Dummling brachte ihn dem König.'] Label: [['Die Brüder bringen dem König die alten Ringe.\nUnd die Brüder suchen nicht weiter.\nDie Brüder finden alte Ringe auf dem Weg.\nDeshalb machen wir es uns leicht.\nDer Dummling findet nichts.\nDie Brüder vom Dummling denken: Der Dummling ist dumm.']] Sacrebleu: {'score': 3.9162268677429806, 'counts': [10, 3, 1, 0], 'totals': [32, 31, 30, 29], 'precisions': [31.25, 9.67741935483871, 3.3333333333333335, 1.7241379310344827], 'bp': 0.6065306597126334, 'sys_len': 32, 'ref_len': 48} Bleu: {'bleu': 0.0, 'precisions': [0.3125, 0.0967741935483871, 0.03333333333333333, 0.0], 'brevity_penalty': 0.6065306597126334, 'length_ratio': 0.6666666666666666, 'translation_length': 32, 'reference_length': 48} Rouge: {'rouge1': 0.26315789473684204, 'rouge2': 0.08108108108108109, 'rougeL': 0.13157894736842102, 'rougeLsum': 0.23684210526315788} Sari: {'sari': 36.7302821292183} Flesh Reading Ease: 67.05 ---------------------------------------- Source: ['Sie ließ sich gleich ihre große Schachtel holen, und gab ihm daraus einen Ring, der glänzte von Edelsteinen und war so schön, daß ihn kein Goldschmied auf der Erde hätte machen können.'] Prediction: ['Eine Frau wurde von Edelsteinen auf der Erde von ihrem Ring gefangen.\nSie war dabei, dass ihn kein Goldschmied auf der Erde hätte machen können.\nDie Frau wurde dabei von ihm auf der Erde gefangen, dass ihn kein Goldschmied auf der Erde hätte.'] Label: [['Der Ring ist schöner als alle Ringe auf der Welt.\nUnd der Ring hat viele Edel·steine.\nDer Ring glänzt.\nDie dicke Kröte gibt dem Dummling den Ring.\nUnd holt einen Ring heraus.\nDie dicke Kröte macht die Schachtel auf.\nDie kleine Kröte bringt eine große Schachtel.\nBring mir die große Schachtel!\nDie dicke Kröte sagt zu einer kleinen Kröte:']] Sacrebleu: {'score': 1.7368496889508807, 'counts': [9, 2, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [18.75, 4.25531914893617, 1.0869565217391304, 0.5555555555555556], 'bp': 0.6592406302004437, 'sys_len': 48, 'ref_len': 68} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.0425531914893617, 0.0, 0.0], 'brevity_penalty': 0.6592406302004439, 'length_ratio': 0.7058823529411765, 'translation_length': 48, 'reference_length': 68} Rouge: {'rouge1': 0.1565217391304348, 'rouge2': 0.017699115044247787, 'rougeL': 0.10434782608695652, 'rougeLsum': 0.1565217391304348} Sari: {'sari': 35.600427350427346} Flesh Reading Ease: 77.95 ---------------------------------------- Source: ['Da stieg er wieder hinab zu der dicken Itsche und sagte ihr, daß er den schönsten Ring brauchte.'] Prediction: ['Ein Mann hatte am Sonntag seine Schwangerschaft mit einem schönsten Ring aufgefunden.\nDer Ring war nicht nur einmal, sondern auch ein schönster Ring.\nDas kam zu seinem schönsten Ring.'] Label: [['Ich brauche den schönsten Ring.\nDer Dummling sagt zu der dicken Kröte: Und der Dummling geht wieder zu der dicken Kröte.']] Sacrebleu: {'score': 5.502042119161771, 'counts': [6, 3, 1, 0], 'totals': [33, 32, 31, 30], 'precisions': [18.181818181818183, 9.375, 3.225806451612903, 1.6666666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.09375, 0.03225806451612903, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.375, 'translation_length': 33, 'reference_length': 24} Rouge: {'rouge1': 0.17857142857142858, 'rouge2': 0.07407407407407407, 'rougeL': 0.17857142857142858, 'rougeLsum': 0.17857142857142858} Sari: {'sari': 46.774349988635706} Flesh Reading Ease: 82.55 ---------------------------------------- Source: ['Die zwei ältesten zogen wieder nach Osten und Westen, und für den Dummling flog die Feder geradeaus und fiel neben der Erdthür nieder.'] Prediction: ['Die zwei ältesten ältesten zogen wieder nach Osten und Westen.\nFür den Dummling flog die Feder geradeaus und fiel neben der Erdthür nieder.\nDie zwei ältesten zogen wieder nach Osten und Westen.'] Label: [['Nur die Feder vom Dummling fliegt wieder gerade∙aus neben die Fall∙tür.\nUnd eine Feder fliegt wieder nach Westen.\nEine Feder fliegt wieder nach Osten.']] Sacrebleu: {'score': 7.131290370839495, 'counts': [13, 5, 1, 0], 'totals': [35, 34, 33, 32], 'precisions': [37.142857142857146, 14.705882352941176, 3.0303030303030303, 1.5625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.37142857142857144, 0.14705882352941177, 0.030303030303030304, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2962962962962963, 'translation_length': 35, 'reference_length': 27} Rouge: {'rouge1': 0.4262295081967213, 'rouge2': 0.13559322033898305, 'rougeL': 0.2622950819672131, 'rougeLsum': 0.36065573770491804} Sari: {'sari': 42.13578088578089} Flesh Reading Ease: 69.85 ---------------------------------------- Source: ['Da sagte der Vater: »Der soll das Reich erben, der mir den schönsten Ring bringt,« führte die drei Brüder hinaus, und blies drei Federn in die Luft, denen sie nachgehen sollten.'] Prediction: ['Ein Vater führte drei Brüder hinaus, und blies drei Federn in die Luft, denen sie nachgehen sollten.\nDie drei Federn blieben in die Luft, denen sie nachgehen sollten.'] Label: [['Folgt den Federn!\nDann sagt der König zu seinen 3 Söhnen: Der König pustet 3 Federn in die Luft.\nDer König und seine 3 Söhne gehen wieder vor das Schloss.\nDer Sohn mit dem schönsten Ring wird König.\nDa sagt der König: Sucht den schönsten Ring.']] Sacrebleu: {'score': 4.5610498169805, 'counts': [8, 3, 2, 1], 'totals': [33, 32, 31, 30], 'precisions': [24.242424242424242, 9.375, 6.451612903225806, 3.3333333333333335], 'bp': 0.5454955638202436, 'sys_len': 33, 'ref_len': 53} Bleu: {'bleu': 0.045610498169804996, 'precisions': [0.24242424242424243, 0.09375, 0.06451612903225806, 0.03333333333333333], 'brevity_penalty': 0.5454955638202434, 'length_ratio': 0.6226415094339622, 'translation_length': 33, 'reference_length': 53} Rouge: {'rouge1': 0.16470588235294117, 'rouge2': 0.07228915662650602, 'rougeL': 0.11764705882352942, 'rougeLsum': 0.16470588235294117} Sari: {'sari': 36.765657203855525} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['« Aber die zwei anderen ließen dem Vater keine Ruhe und sprachen, unmöglich könnte der Dummling, dem es in allen Dingen an Verstand fehlte, König werden, und baten ihn, er möchte eine neue Bedingung machen.'] Prediction: ['Ein Dummling, dem es in allen Dingen an Verstand fehlte, König werden, baten ihn, möchte eine neue Bedingung machen.\nDer Vater, der es in allen Dingen an Verstand fehlte, König werden, baten ihn, möchte eine neue Bedingung machen.'] Label: [['Und die Brüder vom Dummling bitten den König um eine neue Aufgabe.\nDer Dummling darf nicht König sein.\nDer Dummling ist dumm.\nAber die Brüder vom Dummling sagen zum König:']] Sacrebleu: {'score': 2.5581743419597536, 'counts': [8, 2, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [16.666666666666668, 4.25531914893617, 1.0869565217391304, 0.5555555555555556], 'bp': 1.0, 'sys_len': 48, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0425531914893617, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.411764705882353, 'translation_length': 48, 'reference_length': 34} Rouge: {'rouge1': 0.23376623376623376, 'rouge2': 0.08, 'rougeL': 0.23376623376623376, 'rougeLsum': 0.23376623376623376} Sari: {'sari': 35.46739939972759} Flesh Reading Ease: 61.55 ---------------------------------------- Source: ['Zu derselben Zeit kam auch der Dummling zurück und brachte seinen schönen Teppich, und als der König den sah, erstaunte er und sprach: »Wenn es dem Recht nach gehen soll, so gehört dem jüngsten das Königreich.'] Prediction: ['Ein Dummling hat seinen schönen Teppich und sprach mit seinem Recht.\nDer jüngste Königreich soll einen Recht nach gehen soll, so gehört dem jüngsten das Königreich.'] Label: [['Und sagt: Der Dummling wird König.\nDer König staunt.\nUnd der Dummling bringt dem König seinen schönen Teppich.']] Sacrebleu: {'score': 6.773638670879234, 'counts': [8, 3, 1, 0], 'totals': [29, 28, 27, 26], 'precisions': [27.586206896551722, 10.714285714285714, 3.7037037037037037, 1.9230769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.27586206896551724, 0.10714285714285714, 0.037037037037037035, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3181818181818181, 'translation_length': 29, 'reference_length': 22} Rouge: {'rouge1': 0.3703703703703703, 'rouge2': 0.11538461538461538, 'rougeL': 0.18518518518518515, 'rougeLsum': 0.3703703703703703} Sari: {'sari': 38.706345924087856} Flesh Reading Ease: 79.25 ---------------------------------------- Source: ['»Was sollen wir uns mit Suchen große Mühe geben,« sprachen sie, nahmen dem ersten besten Schäfersweib, das ihnen begegnete, die groben Tücher vom Leib und trugen sie dem König heim.'] Prediction: ['Einige groben Tücher trugen ihre große Mühe.\nSie trugen ihnen dem König heim.'] Label: [['Die Brüder bringen dem König die alten Tücher.\nUnd die Brüder suchen nicht weiter.\nDie Brüder finden alte Tücher auf dem Weg.\nDeshalb machen wir es uns leicht.']] Sacrebleu: {'score': 2.127813785531979, 'counts': [5, 1, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [33.333333333333336, 7.142857142857143, 3.8461538461538463, 2.0833333333333335], 'bp': 0.3219582715376759, 'sys_len': 15, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.07142857142857142, 0.0, 0.0], 'brevity_penalty': 0.3219582715376759, 'length_ratio': 0.46875, 'translation_length': 15, 'reference_length': 32} Rouge: {'rouge1': 0.19607843137254904, 'rouge2': 0.12244897959183672, 'rougeL': 0.11764705882352942, 'rougeLsum': 0.19607843137254904} Sari: {'sari': 37.01298701298701} Flesh Reading Ease: 68.2 ---------------------------------------- Source: ['Die beiden anderen hatten aber ihren jüngsten Bruder für so albern gehalten, daß sie glaubten, er würde gar nichts finden und aufbringen.'] Prediction: ['Die beiden anderen hatten ihren jüngsten Bruder für so albern gehalten, daß sie glaubten, er würde gar nichts finden und aufbringen.\nDie beiden anderen hatten aber ihren jüngsten Bruder für so albern gehalten, daß sie glaubten, er würde gar nichts finden und aufbringen.'] Label: [['Der Dummling findet nichts.\nDie Brüder vom Dummling denken: Der Dummling ist dumm.']] Sacrebleu: {'score': 1.7707989236511352, 'counts': [4, 1, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [8.16326530612245, 2.0833333333333335, 1.0638297872340425, 0.5434782608695652], 'bp': 1.0, 'sys_len': 49, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.08163265306122448, 0.020833333333333332, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0625, 'translation_length': 49, 'reference_length': 16} Rouge: {'rouge1': 0.06349206349206349, 'rouge2': 0.0, 'rougeL': 0.06349206349206349, 'rougeLsum': 0.06349206349206349} Sari: {'sari': 36.226851851851855} Flesh Reading Ease: 59.05 ---------------------------------------- Source: ['Da dankte er ihr und stieg wieder hinauf.'] Prediction: ['Ein Mann hatte sich im Alter von 99 Jahren einen Sieg aufgefunden.\nEr stieg wieder hinauf und stieg wieder hinauf.\nDie Polizei vermutete den Mann und erzählt, dass er sich nicht mehr dankte.'] Label: [['Und der Dummling geht zurück zum Schloss.\nDer Dummling bedankt sich bei der Kröte.']] Sacrebleu: {'score': 1.3113617852675474, 'counts': [3, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [8.108108108108109, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.08108108108108109, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3125, 'translation_length': 37, 'reference_length': 16} Rouge: {'rouge1': 0.07999999999999999, 'rouge2': 0.0, 'rougeL': 0.07999999999999999, 'rougeLsum': 0.07999999999999999} Sari: {'sari': 37.57467144563919} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['Die junge Itsche holte die Schachtel, und die dicke Itsche machte sie auf und gab dem Dummling einen Teppich daraus, so schön und so fein, wie oben auf der Erde keiner konnte gewebt werden.'] Prediction: ['Eine junge Itsche holte die Schachtel, und die dicke Itsche machte sie auf und gab dem Dummling einen Teppich daraus.\nDie junge Itsche holte die Schachtel und gab dem Dummling einen Teppich daraus, so schön und so fein, wie oben auf der Erde keiner konnte gewebt werden.'] Label: [['Der Teppich ist schöner als alle Teppiche auf der Welt.\nDie dicke Kröte gibt dem Dummling den Teppich.\nUnd holt einen Teppich heraus.\nDie dicke Kröte macht die Schachtel auf.\nDie kleine Kröte bringt eine große Schachtel.']] Sacrebleu: {'score': 3.465835278616914, 'counts': [15, 5, 0, 0], 'totals': [52, 51, 50, 49], 'precisions': [28.846153846153847, 9.803921568627452, 1.0, 0.5102040816326531], 'bp': 1.0, 'sys_len': 52, 'ref_len': 42} Bleu: {'bleu': 0.0, 'precisions': [0.28846153846153844, 0.09803921568627451, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2380952380952381, 'translation_length': 52, 'reference_length': 42} Rouge: {'rouge1': 0.39999999999999997, 'rouge2': 0.11363636363636365, 'rougeL': 0.22222222222222224, 'rougeLsum': 0.3777777777777778} Sari: {'sari': 41.13934651073236} Flesh Reading Ease: 68.75 ---------------------------------------- Source: ["»Jungfer grün und klein, Hutzelbein, Hutzelbeins Hündchen, Hutzel hin und her, bring' mir die große Schachtel her.«"] Prediction: ['Immer mehr als 20 Minuten Radio diskutieren im Direktstream, drei Direktstream, drei Spotify, drei Tune In, drei Tune In, drei Spotify-Starts und drei Tune In.\nWir zeigen dir jeden Donnerstag die besten Direktstream-Neustarts und drei Direktstream-Starts.'] Label: [['Bring mir die große Schachtel!']] Sacrebleu: {'score': 0.8522452865706931, 'counts': [1, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [2.3255813953488373, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.023255813953488372, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.166666666666667, 'translation_length': 43, 'reference_length': 6} Rouge: {'rouge1': 0.044444444444444446, 'rouge2': 0.0, 'rougeL': 0.044444444444444446, 'rougeLsum': 0.044444444444444446} Sari: {'sari': 31.284271284271288} Flesh Reading Ease: 56.7 ---------------------------------------- Source: ['« Da rief sie eine junge und sprach:'] Prediction: ['Eine junge Frau wurde von einem Mann aufgefunden und sprach von einem Messer.\nDie Frau war zuvor aufgefunden und wurde dabei von ihnen verletzt.\nDie Frau war zuvor aufgefunden und wurde dabei von ihnen verletzt.'] Label: [['Die dicke Kröte sagt zu einer kleinen Kröte:']] Sacrebleu: {'score': 0.969094302009921, 'counts': [1, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [2.6315789473684212, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.02631578947368421, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.222222222222222, 'translation_length': 38, 'reference_length': 9} Rouge: {'rouge1': 0.04444444444444444, 'rouge2': 0.0, 'rougeL': 0.04444444444444444, 'rougeLsum': 0.04444444444444444} Sari: {'sari': 49.12698412698413} Flesh Reading Ease: 68.85 ---------------------------------------- Source: ['Er antwortete: »Ich hätte gern den schönsten und feinsten Teppich.'] Prediction: ['Ein 20-Minuten-Radio-Host hatte am Freitagabend seinen ersten Leben bekannt gegeben, dass er sich im Internet bei einem schönsten und feinsten Teppich bekommt.\nEr hatte sich mit dem Leben gefunden und gefährlichen Teppich geschickt.'] Label: [['Ich brauche den schönsten Teppich.\nDer Dummling sagt zu der dicken Kröte:']] Sacrebleu: {'score': 1.2753998269755913, 'counts': [3, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [7.894736842105263, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.07894736842105263, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7142857142857144, 'translation_length': 38, 'reference_length': 14} Rouge: {'rouge1': 0.11538461538461539, 'rouge2': 0.04, 'rougeL': 0.11538461538461539, 'rougeLsum': 0.11538461538461539} Sari: {'sari': 33.01767676767677} Flesh Reading Ease: 52.35 ---------------------------------------- Source: ['Die dicke Itsche fragte, was sein Begehren wäre.'] Prediction: ['Die Schweizer Nati hat einen neuen Begehren.\nDie dicke Itsche fragte, was sein Begehren wäre.\nDie dicke Itsche fragte, was sein Begehren wäre.'] Label: [['Die dicke Kröte fragt: Was willst du?']] Sacrebleu: {'score': 2.6707068119098882, 'counts': [2, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [7.142857142857143, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.111111111111111, 'translation_length': 28, 'reference_length': 9} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.06451612903225806, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 38.84615384615385} Flesh Reading Ease: 72.85 ---------------------------------------- Source: ['Die Thür that sich auf und er sah eine große Itsche (Kröte) sitzen und rings um sie eine Menge kleiner Itschen.'] Prediction: ['Eine große Itsche (Kröte) ist eine Menge kleiner Itschen.\nDie Thür That sich auf und er sah eine große Itsche (Kröte) sitzen und rings um sie eine Menge kleiner Itschen.\nDie Thür That-Thröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-Kröte-K'] Label: [['Und um die dicke Kröte herum sitzen viele kleine Kröten.\nUnd dick.\nDie Kröte ist groß.\nDer Dummling sieht eine Kröte.\nDie Tür geht auf.']] Sacrebleu: {'score': 3.43554045043224, 'counts': [11, 2, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [28.205128205128204, 5.2631578947368425, 1.3513513513513513, 0.6944444444444444], 'bp': 1.0, 'sys_len': 39, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.28205128205128205, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3, 'translation_length': 39, 'reference_length': 30} Rouge: {'rouge1': 0.16363636363636366, 'rouge2': 0.03669724770642201, 'rougeL': 0.09090909090909091, 'rougeLsum': 0.14545454545454545} Sari: {'sari': 39.202565913371004} Flesh Reading Ease: -182.01 ---------------------------------------- Source: ['Da kam er vor eine andere Thür, klopfte an, und hörte, wie es inwendig rief:'] Prediction: ['Ein Mann hat vor einer andere Thür eine andere Thür gefunden.\nDer Mann klopfte an und hörte, wie es inwendig rief.\nDie Thür wurde von der Thür gefunden.'] Label: [['Der Dummling klopft an die Tür.\nUnten ist eine Tür.']] Sacrebleu: {'score': 1.7345617945636578, 'counts': [5, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [15.625, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.15625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 32, 'reference_length': 12} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.0, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 38.33333333333333} Flesh Reading Ease: 82.95 ---------------------------------------- Source: ['Er hob sie in die Höhe, fand eine Treppe und stieg hinab.'] Prediction: ['Eine Frau wurde von einem Mann in die Höhe von einem Treppe gefunden.\nDie Frau war in der Höhe, fand eine Treppe und stieg hinab.\nDie Frau war in der Höhe, fand eine Treppe und stieg hinab.'] Label: [['Der Dummling geht die Treppe hinunter.\nUnter der Fall∙tür ist eine Treppe.\nDer Dummling öffnet die Fall∙tür.']] Sacrebleu: {'score': 2.4700774086427155, 'counts': [8, 1, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [19.047619047619047, 2.4390243902439024, 1.25, 0.6410256410256411], 'bp': 1.0, 'sys_len': 42, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.19047619047619047, 0.024390243902439025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1, 'translation_length': 42, 'reference_length': 20} Rouge: {'rouge1': 0.22950819672131145, 'rouge2': 0.033898305084745756, 'rougeL': 0.1967213114754098, 'rougeLsum': 0.22950819672131145} Sari: {'sari': 40.33459595959596} Flesh Reading Ease: 85.8 ---------------------------------------- Source: ['Da bemerkte er auf einmal, daß neben der Feder eine Fallthür lag.'] Prediction: ['Ein Schweizer hat eine schwierige Frau auf eine Fallthür gefunden.\nDer Mann bemerkte nicht einmal, da er eine Fallthür lag.\nDie Frau bemerkte nach dem Fall einmal, da er sich nicht bemerkte.'] Label: [['Neben der Feder ist eine Fall∙tür.\nPlötzlich sieht der Dummling:']] Sacrebleu: {'score': 1.184949136625139, 'counts': [2, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [5.405405405405405, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.05405405405405406, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0833333333333335, 'translation_length': 37, 'reference_length': 12} Rouge: {'rouge1': 0.1702127659574468, 'rouge2': 0.0, 'rougeL': 0.12765957446808512, 'rougeLsum': 0.1702127659574468} Sari: {'sari': 28.217592592592595} Flesh Reading Ease: 75.7 ---------------------------------------- Source: ['Der Dummling setzte sich nieder und war traurig.'] Prediction: ['Der Dummling setzte sich nieder und war traurig.\nDer Dummling setzte sich nieder und war traurig.'] Label: [['Und ist traurig.\nDer Dummling setzt sich hin.']] Sacrebleu: {'score': 14.879641171245488, 'counts': [6, 3, 2, 1], 'totals': [18, 17, 16, 15], 'precisions': [33.333333333333336, 17.647058823529413, 12.5, 6.666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 10} Bleu: {'bleu': 0.1487964117124549, 'precisions': [0.3333333333333333, 0.17647058823529413, 0.125, 0.06666666666666667], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 18, 'reference_length': 10} Rouge: {'rouge1': 0.4166666666666667, 'rouge2': 0.18181818181818182, 'rougeL': 0.4166666666666667, 'rougeLsum': 0.4166666666666667} Sari: {'sari': 50.41666666666668} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Nun ging der eine Bruder rechts, der andere ging links, und sie lachten den Dummling aus, der bei der dritten Feder, da, wo sie niedergefallen war, bleiben mußte.'] Prediction: ['Eine Bruder wurde von einem Dummling niedergefallen.\nDie Bruder lachten den Dummling aus, da sie niedergefallen war.'] Label: [['Deshalb lachen seine Brüder über den Dummling.\nNur der Dummling muss bei der 3.\nFeder bleiben.\nEin Sohn folgt der Feder nach Westen.\nEin Sohn folgt der Feder nach Osten.']] Sacrebleu: {'score': 2.2744316340621986, 'counts': [5, 1, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 5.2631578947368425, 2.7777777777777777, 1.4705882352941178], 'bp': 0.4723665527410147, 'sys_len': 20, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 0.4723665527410147, 'length_ratio': 0.5714285714285714, 'translation_length': 20, 'reference_length': 35} Rouge: {'rouge1': 0.125, 'rouge2': 0.04347826086956522, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.125} Sari: {'sari': 34.717171717171716} Flesh Reading Ease: 60.35 ---------------------------------------- Source: ['Die eine Feder flog nach Osten, die andere nach Westen, die dritte flog aber gerade aus und flog nicht weit, sondern fiel bald zur Erde.'] Prediction: ['Die Schweizer Feder flog nach Osten aus und flog nicht weit.\nDie dritte flog aber gerade aus und flog nicht weit.\nDie Schweizer fiel bald zur Erde.'] Label: [['Und fällt auf den Boden.\nNur die 3.\nFeder fliegt gerade∙aus.\nUnd eine Feder fliegt links nach Westen.\nEine Feder fliegt rechts nach Osten.']] Sacrebleu: {'score': 3.2677968802443296, 'counts': [6, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0344827586206897, 'translation_length': 30, 'reference_length': 29} Rouge: {'rouge1': 0.3018867924528302, 'rouge2': 0.11764705882352941, 'rougeL': 0.18867924528301885, 'rougeLsum': 0.3018867924528302} Sari: {'sari': 32.08426368952685} Flesh Reading Ease: 94.95 ---------------------------------------- Source: ['»Wie die fliegen, so sollt ihr ziehen.«'] Prediction: ['Eine Frau sollte am Freitagabend eine sexuelle Frau aufgefunden haben.\nDie Frau sollte ihr ziehen, wie sie ihr ziehen.\nDie Frau sollte ihr ziehen.'] Label: [['Folgt den Federn!']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 4} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.0, 'translation_length': 28, 'reference_length': 4} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 41.66666666666667} Flesh Reading Ease: 72.55 ---------------------------------------- Source: ['Und damit es keinen Streit unter ihnen gab, führte er sie vor sein Schloß, blies drei Federn in die Luft und sprach:'] Prediction: ['Ein Spieler führte sich vor seinem Schloß, blies drei Federn in die Luft und sprach: Er führte sie sie vor seinem Schloß, blies drei Federn in die Luft und sprach:'] Label: [['Dann sagt der König zu seinen 3 Söhnen: Der König pustet 3 Federn in die Luft.\nDer König und seine 3 Söhne gehen vor das Schloss.']] Sacrebleu: {'score': 7.8376558600969295, 'counts': [7, 3, 2, 1], 'totals': [34, 33, 32, 31], 'precisions': [20.58823529411765, 9.090909090909092, 6.25, 3.225806451612903], 'bp': 1.0, 'sys_len': 34, 'ref_len': 29} Bleu: {'bleu': 0.07837655860096929, 'precisions': [0.20588235294117646, 0.09090909090909091, 0.0625, 0.03225806451612903], 'brevity_penalty': 1.0, 'length_ratio': 1.1724137931034482, 'translation_length': 34, 'reference_length': 29} Rouge: {'rouge1': 0.19047619047619047, 'rouge2': 0.09836065573770492, 'rougeL': 0.19047619047619047, 'rougeLsum': 0.19047619047619047} Sari: {'sari': 46.82567647683927} Flesh Reading Ease: 79.8 ---------------------------------------- Source: ['Da sprach er zu ihnen: »Zieht aus, und wer mir den feinsten Teppich bringt, der soll nach meinem Tode König sein.«'] Prediction: ['Ein 20-Minuten-Radio-Host spricht von seinem ähnlichen Teppich aus, wie er den feinsten Teppich bringt.\nEr soll nach meinem Tode König sein.\nDie beiden wollen ihnen nach meinem Tode König sein.'] Label: [['Der Sohn mit dem schönsten Teppich wird König.\nUnd der König sagt zu seinen Söhnen: Sucht den schönsten Teppich.']] Sacrebleu: {'score': 1.6677796333413761, 'counts': [7, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [19.444444444444443, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.19444444444444445, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6363636363636365, 'translation_length': 36, 'reference_length': 22} Rouge: {'rouge1': 0.23728813559322035, 'rouge2': 0.07017543859649121, 'rougeL': 0.1694915254237288, 'rougeLsum': 0.23728813559322035} Sari: {'sari': 33.201581027667984} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Als der König alt und schwach ward und an sein Ende dachte, wußte er nicht, welcher von seinen Söhnen nach ihm das Reich erben sollte.'] Prediction: ['Ein König wurde im Alter von 99 Jahren nach seinem Ende das Reich erben.\nAls er zu seinen Söhnen nach ihm das Reich erben sollte, wußte er nicht, welcher von seinen Söhnen nach ihm das Reich erben sollte.'] Label: [['Welcher Sohn wird nach mir König?\nDeshalb fragt sich der König: Und auch krank.\nDer König ist schon sehr alt.']] Sacrebleu: {'score': 1.2350387043213578, 'counts': [4, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [9.523809523809524, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.09523809523809523, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 42, 'reference_length': 24} Rouge: {'rouge1': 0.12307692307692307, 'rouge2': 0.031746031746031744, 'rougeL': 0.061538461538461535, 'rougeLsum': 0.12307692307692307} Sari: {'sari': 32.701388888888886} Flesh Reading Ease: 79.1 ---------------------------------------- Source: ['Es war einmal ein König, der hatte drei Söhne, davon waren zwei klug und gescheit, aber der dritte sprach nicht viel, war einfältig und hieß nur der Dummling.'] Prediction: ['Ein König, der drei Söhne klug und gescheit war, hieß nur der Dummling.\nDer Dummling hieß nur der Dummling.\nDer König war einmal ein König, der hatte drei Söhne, davon waren zwei klug und gescheit, aber der dritte sprach nicht viel, war einfältig und hieß nur der Dummling.'] Label: [['Deshalb heißt dieser Sohn: Dummling.\nUnd 1 Sohn ist dumm.\n2 Söhne sind klug.\nEin König hat 3 Söhne: Es war einmal:']] Sacrebleu: {'score': 2.5683319547529764, 'counts': [11, 3, 0, 0], 'totals': [57, 56, 55, 54], 'precisions': [19.29824561403509, 5.357142857142857, 0.9090909090909091, 0.46296296296296297], 'bp': 1.0, 'sys_len': 57, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.19298245614035087, 0.05357142857142857, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0357142857142856, 'translation_length': 57, 'reference_length': 28} Rouge: {'rouge1': 0.3, 'rouge2': 0.1282051282051282, 'rougeL': 0.225, 'rougeLsum': 0.27499999999999997} Sari: {'sari': 13.69633099141296} Flesh Reading Ease: 82.1 ---------------------------------------- Source: ['Da hatten alle Sorgen ein Ende, und sie lebten in lauter Freude zusammen.'] Prediction: ['Einige Frauen wurden am Freitagabend in der Nacht auf Sonntag in der Nacht auf Sonntag in der Nacht auf Sonntag in der Nacht auf Sonntag in der Nacht auf Sonntag in der Nacht auf Sonntag lebten in lauter Freude zusammen.\nSie waren nicht alle Sorgen, sondern in lauter Freude zusammen.'] Label: [['Hänsel und Gretel und ihr Vater leben glücklich zusammen.\nUnd die Familie muss nie wieder Hunger leiden.\nJetzt ist die Familie reich.']] Sacrebleu: {'score': 1.5198578415124373, 'counts': [3, 1, 0, 0], 'totals': [53, 52, 51, 50], 'precisions': [5.660377358490566, 1.9230769230769231, 0.9803921568627451, 0.5], 'bp': 1.0, 'sys_len': 53, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.05660377358490566, 0.019230769230769232, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.12, 'translation_length': 53, 'reference_length': 25} Rouge: {'rouge1': 0.02702702702702703, 'rouge2': 0.0, 'rougeL': 0.02702702702702703, 'rougeLsum': 0.02702702702702703} Sari: {'sari': 36.611721611721606} Flesh Reading Ease: 67.25 ---------------------------------------- Source: ['Gretel schüttete sein Schürzchen aus, daß die Perlen und Edelsteine in der Stube herumsprangen, und Hänsel warf eine Handvoll nach der andern aus seiner Tasche dazu.'] Prediction: ['Ein Schürzchen aus der Stube in der Stube kam es zu einem grossen Schürzchen.\nDer Schürzchen warf eine Handvoll nach der andern aus seiner Tasche dazu.'] Label: [['Dann zeigen Hänsel und Gretel dem Vater die Edel∙steine.']] Sacrebleu: {'score': 1.3353534059549443, 'counts': [1, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [3.5714285714285716, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.03571428571428571, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8, 'translation_length': 28, 'reference_length': 10} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 31.55901116427432} Flesh Reading Ease: 79.25 ---------------------------------------- Source: ['Da fingen sie an zu laufen, stürzten in die Stube hinein und fielen ihrem Vater um den Hals.'] Prediction: ['Ein Vater hat sich in einem Stück in die Stube einen Hals entdeckt.\nDie Opfer wollten sich um den Hals verlassen.\nDie Opfer wollten sich auf die Stube laufen.'] Label: [['Hänsel und Gretel umarmen den Vater.\nUnd der Vater ist sehr glücklich.\nDer Vater sieht Hänsel und Gretel.\nHänsel und Gretel gehen in das Haus hinein:']] Sacrebleu: {'score': 1.8154533256373546, 'counts': [6, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [18.75, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0666666666666667, 'translation_length': 32, 'reference_length': 30} Rouge: {'rouge1': 0.10000000000000002, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.10000000000000002} Sari: {'sari': 44.59595959595959} Flesh Reading Ease: 88.4 ---------------------------------------- Source: ['Der Mann hatte keine frohe Stunde gehabt, seitdem er die Kinder im Walde gelassen hatte, die Frau aber war gestorben.'] Prediction: ['Ein Mann hatte keine frohe Stunde gehabt, seitdem er die Kinder im Walde gelassen hatte, die Frau aber war gestorben.\nDer Mann hatte keine frohe Stunde gehabt, seitdem er die Kinder im Walde gelassen hatte, die Frau aber war gestorben.'] Label: [['Die Stief∙mutter ist nämlich gestorben.\nDie Stief∙mutter ist nicht mehr da.\nOhne seine Kinder war der Vater sehr traurig.']] Sacrebleu: {'score': 1.9986978024115483, 'counts': [5, 1, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [10.869565217391305, 2.2222222222222223, 1.1363636363636365, 0.5813953488372093], 'bp': 1.0, 'sys_len': 46, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.10869565217391304, 0.022222222222222223, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.090909090909091, 'translation_length': 46, 'reference_length': 22} Rouge: {'rouge1': 0.19354838709677416, 'rouge2': 0.0, 'rougeL': 0.16129032258064516, 'rougeLsum': 0.16129032258064516} Sari: {'sari': 37.9041248606466} Flesh Reading Ease: 60.55 ---------------------------------------- Source: ['« Das that das gute Tierchen, und als sie glücklich drüben waren und ein Weilchen fortgingen, da kam ihnen der Wald immer bekannter und immer bekannter vor, und endlich erblickten sie von weitem ihres Vaters Haus. « Als sie aber ein paar Stunden gegangen waren, gelangten sie an ein großes Wasser.'] Prediction: ['Eine Frau wurde von ihrem Vaters Haus in der Nacht auf Sonntag von einem Wald geschickt.\nSie erblickte von weitem ihres Vaters Haus.\nAls sie aber ein paar Stunden gegangen waren, gelangten sie an ein großes Wasser.'] Label: [['Nach einer Weile sehen Hänsel und Gretel das Haus vom Vater.\nHänsel und Gretel finden endlich den Weg aus dem Wald.\nHänsel und Gretel haben Glück:']] Sacrebleu: {'score': 1.2663302792223932, 'counts': [4, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [9.75609756097561, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.0975609756097561, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4137931034482758, 'translation_length': 41, 'reference_length': 29} Rouge: {'rouge1': 0.058823529411764705, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.058823529411764705} Sari: {'sari': 34.319917743830786} Flesh Reading Ease: 79.95 ---------------------------------------- Source: ['»Aber jetzt wollen wir fort,« sagte Hänsel, »damit wir aus dem Hexenwalde herauskommen.'] Prediction: ['Im Hexenwalde wollen wir fort, dass es aus dem Hexenwalde herauskommen wird.\nDie Polizei hatte am Mittwoch einen Einbruch aus dem Hexenwalde gegeben.\nDie Polizei hatte den Einbruch aus dem Hexenwalde herauskommen.'] Label: [['Und Hänsel und Gretel laufen durch den Wald.\nLass uns den Weg nach Hause suchen.\nDann sagt Hänsel zu Gretel:']] Sacrebleu: {'score': 1.3494116947566301, 'counts': [3, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [8.333333333333334, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.565217391304348, 'translation_length': 36, 'reference_length': 23} Rouge: {'rouge1': 0.037037037037037035, 'rouge2': 0.0, 'rougeL': 0.037037037037037035, 'rougeLsum': 0.037037037037037035} Sari: {'sari': 34.381530825496334} Flesh Reading Ease: 58.15 ---------------------------------------- Source: ['»Die sind noch besser als Kieselsteine,« sagte Hänsel und steckte in seine Taschen was hinein wollte, und Gretel sagte: »Ich will auch etwas mit nach Hause bringen,« und füllte sich sein Schürzchen voll.'] Prediction: ['Ein Schürzchen wurde in der Nacht auf Sonntag von einem Tötungsdelikt mit Gretel und Hänsel verkündet.\nDie beiden wurden noch besser als Kieselsteine, sagte Hänsel und Gretel.\nDie beiden wurden mit nach Hause bringen.'] Label: [['Und auch Gretel nimmt einige Edel∙steine.\nHänsel steckt sich Edel∙steine in seine Hosen∙taschen.']] Sacrebleu: {'score': 1.4491339833989647, 'counts': [5, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [13.157894736842104, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.13157894736842105, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.533333333333333, 'translation_length': 38, 'reference_length': 15} Rouge: {'rouge1': 0.17857142857142858, 'rouge2': 0.037037037037037035, 'rougeL': 0.10714285714285716, 'rougeLsum': 0.14285714285714282} Sari: {'sari': 34.681171319102354} Flesh Reading Ease: 69.25 ---------------------------------------- Source: ['Und weil sie sich nicht mehr zu fürchten brauchten, so gingen sie in das Haus der Hexe hinein, da standen in allen Ecken Kasten mit Perlen und Edelsteinen.'] Prediction: ['Eine Hexe wurde in einem Haus der Hexe in der Nähe von Perlen und Edelsteinen gesichtet.\nDie Hexe wurde nicht mehr zu fürchten, sondern auch in allen Ecken Kasten mit Perlen und Edelsteinen.\nDie Hexe wurde nicht mehr zu fürchten, sondern in allen Ecken Kasten mit Perlen und Edelsteinen.'] Label: [['In den Kisten sind Edel∙steine.\nIn allen Ecken stehen große Kisten.\nDann gehen Hänsel und Gretel in das Häuschen von der Hexe:']] Sacrebleu: {'score': 2.3333766212668756, 'counts': [9, 2, 0, 0], 'totals': [54, 53, 52, 51], 'precisions': [16.666666666666668, 3.7735849056603774, 0.9615384615384616, 0.49019607843137253], 'bp': 1.0, 'sys_len': 54, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.03773584905660377, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.16, 'translation_length': 54, 'reference_length': 25} Rouge: {'rouge1': 0.23076923076923078, 'rouge2': 0.07894736842105263, 'rougeL': 0.15384615384615388, 'rougeLsum': 0.20512820512820515} Sari: {'sari': 41.67957741638371} Flesh Reading Ease: 70.1 ---------------------------------------- Source: ['Wie haben sie sich gefreut, sind sich um den Hals gefallen, sind herumgesprungen und haben sich geküßt!'] Prediction: ['Eine der Hals-Fälle ist auf der Kippe zwischen den Hals und den Hals geküßt.\nSie haben sich gefreut, sind sich um den Hals gefallen und haben sich geküßt.\nWie haben sie sich gefreut, ist noch unklar.'] Label: [['Hänsel und Gretel umarmen sich.']] Sacrebleu: {'score': 1.1784531110724779, 'counts': [3, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [7.317073170731708, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.07317073170731707, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.833333333333333, 'translation_length': 41, 'reference_length': 6} Rouge: {'rouge1': 0.08695652173913045, 'rouge2': 0.0, 'rougeL': 0.08695652173913045, 'rougeLsum': 0.08695652173913045} Sari: {'sari': 36.07419712070875} Flesh Reading Ease: 86.1 ---------------------------------------- Source: ['Gretel aber lief schnurstracks zum Hänsel, öffnete sein Ställchen und rief: »Hänsel, wir sind erlöst, die alte Hexe ist tot!'] Prediction: ['Die alte Hexe ist tot.\nDie alte Hexe ist tot.'] Label: [['Die böse Hexe ist im Ofen verbrannt!\nUnd ruft: Wir sind frei!\nGretel befreit Hänsel aus dem Käfig.\nDann läuft Gretel schnell zum Käfig.']] Sacrebleu: {'score': 2.0654532911586037, 'counts': [5, 1, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [41.666666666666664, 9.090909090909092, 5.0, 2.7777777777777777], 'bp': 0.24252107463564873, 'sys_len': 12, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.4166666666666667, 0.09090909090909091, 0.0, 0.0], 'brevity_penalty': 0.24252107463564873, 'length_ratio': 0.41379310344827586, 'translation_length': 12, 'reference_length': 29} Rouge: {'rouge1': 0.15384615384615385, 'rouge2': 0.05405405405405406, 'rougeL': 0.15384615384615385, 'rougeLsum': 0.15384615384615385} Sari: {'sari': 36.226851851851855} Flesh Reading Ease: 93.1 ---------------------------------------- Source: ['aber Gretel lief fort und die gottlose Hexe mußte elendiglich verbrennen.'] Prediction: ['Die gottlose Hexe mußte elendiglich verbrennen während der Corona-Pandemie.\nDie gottlose Hexe mußte elendiglich verbrennen während der Corona-Pandemie.\nDie gottlose Hexe mußte elendiglich verbrennen während der Trennung.'] Label: [['Und die böse Hexe verbrennt im Ofen.']] Sacrebleu: {'score': 1.4763939041893883, 'counts': [2, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [6.666666666666667, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.75, 'translation_length': 30, 'reference_length': 8} Rouge: {'rouge1': 0.09302325581395347, 'rouge2': 0.0, 'rougeL': 0.09302325581395347, 'rougeLsum': 0.09302325581395347} Sari: {'sari': 34.823232323232325} Flesh Reading Ease: 30.6 ---------------------------------------- Source: ['Da gab ihr Gretel einen Stoß, daß sie weit hineinfuhr, machte die eiserne Thür zu und schob den Riegel vor.'] Prediction: ['Ein Gretel schob den Riegel vor.\nDas gab ihr Gretel einen Stoß, daß sie weit hineinfuhr, machte die eiserne Thür zu und schob den Riegel vor.'] Label: [['Gretel macht schnell die Tür vom Ofen zu.\nDie Hexe fällt in den Ofen.\nUnd sofort gibt Gretel der Hexe einen Stoß:']] Sacrebleu: {'score': 3.6164117246195175, 'counts': [9, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [30.0, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.3, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 30, 'reference_length': 25} Rouge: {'rouge1': 0.35294117647058826, 'rouge2': 0.04081632653061224, 'rougeL': 0.19607843137254902, 'rougeLsum': 0.3137254901960785} Sari: {'sari': 38.688610240334384} Flesh Reading Ease: 90.95 ---------------------------------------- Source: ['»Dumme Gans,« sagte die Alte, »die Öffnung ist groß genug, siehst du wohl, ich könnte selbst hinein,« krabbelte heran und steckte den Kopf in den Backofen.'] Prediction: ['Die Alte krabbelte den Kopf in den Backofen.\nSie krabbelte den Kopf in den Backofen.'] Label: [['Die Hexe steckt den Kopf in den Ofen.\nUnd die Hexe macht es Gretel vor: Ich zeige es dir.\nGeh da weg.\nUnd sagt: Dummes Kind!\nDie Hexe ist wütend.']] Sacrebleu: {'score': 5.077858426255943, 'counts': [7, 3, 2, 1], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 18.75, 13.333333333333334, 7.142857142857143], 'bp': 0.3083651678965815, 'sys_len': 17, 'ref_len': 37} Bleu: {'bleu': 0.050778584262559406, 'precisions': [0.4117647058823529, 0.1875, 0.13333333333333333, 0.07142857142857142], 'brevity_penalty': 0.3083651678965815, 'length_ratio': 0.4594594594594595, 'translation_length': 17, 'reference_length': 37} Rouge: {'rouge1': 0.21739130434782605, 'rouge2': 0.13636363636363638, 'rougeL': 0.21739130434782605, 'rougeLsum': 0.21739130434782605} Sari: {'sari': 52.73745519713261} Flesh Reading Ease: 84.75 ---------------------------------------- Source: ["wie komm ich da hinein? Aber Gretel merkte, was sie im Sinn hatte, und sprach: »Ich weiß nicht, wie ich's machen soll;"] Prediction: ['Gretel merkte, was sie im Sinn hatte, und sprach: "Ich weiß nicht, wie ich\'s machen soll; Ich weiß nicht, wie ich\'s machen soll; Ich weiß nicht, wie ich\'s machen soll;'] Label: [['Wie komme ich in den Ofen?\nUnd deshalb fragt Gretel die Hexe: Gretel kennt den Plan von der Hexe.\nAber Gretel ist schlau.']] Sacrebleu: {'score': 1.092534162077208, 'counts': [2, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [5.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.05, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4814814814814814, 'translation_length': 40, 'reference_length': 27} Rouge: {'rouge1': 0.14285714285714288, 'rouge2': 0.0, 'rougeL': 0.07142857142857144, 'rougeLsum': 0.14285714285714288} Sari: {'sari': 32.594056507099985} Flesh Reading Ease: 79.8 ---------------------------------------- Source: ["Und wenn Gretel darin war, wollte sie den Ofen zumachen und Gretel sollte darin braten, und dann wollte sie's auch aufessen."] Prediction: ["Gretel (24) und Gretel (30) waren seit einigen Tagen im Alter von 99 Jahren im Alter von 99 Jahren gestorben.\nWenn sie den Ofen zumachen und Gretel sollte darin braten, wollte sie's auch aufessen.\nWir haben die beiden daraufhin eine gemeinsame Frau, die von ihm auf dem Alter von 99 Jahren zum Opfer geschickt haben."] Label: [['Gretel soll im Ofen braten.\nDie Hexe will Gretel nämlich in den Ofen stoßen.']] Sacrebleu: {'score': 1.600256087691773, 'counts': [8, 1, 0, 0], 'totals': [64, 63, 62, 61], 'precisions': [12.5, 1.5873015873015872, 0.8064516129032258, 0.4098360655737705], 'bp': 1.0, 'sys_len': 64, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.015873015873015872, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 64, 'reference_length': 16} Rouge: {'rouge1': 0.19444444444444445, 'rouge2': 0.028571428571428574, 'rougeL': 0.1388888888888889, 'rougeLsum': 0.19444444444444445} Sari: {'sari': 39.338624338624335} Flesh Reading Ease: 68.1 ---------------------------------------- Source: ['»Kriech hinein,« sagte die Hexe, »und sieh zu, ob schon recht eingeheizt ist, damit wir das Brot hineinschießen können.«'] Prediction: ['Im Brot wurde eine Hexe von Hexen aufgefunden, die die Hexe hineinzuhalten.\nDie Hexe warnt, ob das Brot recht eingeheizt ist.\nDie Hexe warnt vor einem Jahr, dass es sich um einen rechten Recht handelt.'] Label: [['Gretel soll in den Ofen steigen.\nIst der Ofen heiß?']] Sacrebleu: {'score': 0.8954307276600084, 'counts': [1, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [2.4390243902439024, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.024390243902439025, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4166666666666665, 'translation_length': 41, 'reference_length': 12} Rouge: {'rouge1': 0.04444444444444444, 'rouge2': 0.0, 'rougeL': 0.04444444444444444, 'rougeLsum': 0.04444444444444444} Sari: {'sari': 44.44444444444445} Flesh Reading Ease: 80.55 ---------------------------------------- Source: ['»Spare nur dein Geplärre,« sagte die Alte, »es hilft dir alles nichts.«'] Prediction: ['Die Alte hat einen Geplärren mit dem Geplärren aufgefunden.\nDie Alte hilft dir alles nichts.'] Label: [['Weinen hilft dir nicht.\nAber die Hexe sagt zu Gretel: Sei still.\nDie arme Gretel weint viele Tränen.']] Sacrebleu: {'score': 5.096790497964662, 'counts': [5, 2, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [29.41176470588235, 12.5, 3.3333333333333335, 1.7857142857142858], 'bp': 0.7451888170134805, 'sys_len': 17, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.29411764705882354, 0.125, 0.0, 0.0], 'brevity_penalty': 0.7451888170134805, 'length_ratio': 0.7727272727272727, 'translation_length': 17, 'reference_length': 22} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.058823529411764705, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 42.72727272727273} Flesh Reading Ease: 73.05 ---------------------------------------- Source: ['»Lieber Gott, hilf uns doch,« rief sie aus, »hätten uns nur die wilden Tiere im Wald gefressen, so wären wir doch zusammen gestorben.«'] Prediction: ['Im Wald von St. Gallen wurden Tiere im Wald gefressen.\nSie wurden nur die wilden Tiere im Wald gefressen.\nDie Tiere waren nur noch nicht gestorben.'] Label: [['Die Hexe darf Hänsel nicht essen.\nDer liebe Gott soll uns beschützen!\nGretel denkt:']] Sacrebleu: {'score': 1.633898440122165, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7647058823529411, 'translation_length': 30, 'reference_length': 17} Rouge: {'rouge1': 0.09523809523809525, 'rouge2': 0.0, 'rougeL': 0.09523809523809525, 'rougeLsum': 0.09523809523809525} Sari: {'sari': 35.654761904761905} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['Hänsel mag fett oder mager sein, morgen will ich ihn schlachten und kochen.'] Prediction: ['Ein 20-Minuten-Radio-Podcast "Unchained" hat auf Spotify die besten Fragen vor dem 20-Minuten-Podcast veröffentlicht, die auf Spotify sowie auf iTunes und Tune In aktuell auf Spotify sowie auf Spotify sowie auf iTunes sowie auf Tune In.\nNeue Episoden "Unchained" findest du jeden Donnerstag in der Radio-Section deiner 20-Minuten-App (ganz unten in der Leiste), bei Spotify, Tune In und Tune In.'] Label: [['Morgen will ich Hänsel im Ofen braten.']] Sacrebleu: {'score': 0.47462176237300036, 'counts': [1, 0, 0, 0], 'totals': [76, 75, 74, 73], 'precisions': [1.3157894736842106, 0.6666666666666666, 0.33783783783783783, 0.17123287671232876], 'bp': 1.0, 'sys_len': 76, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.013157894736842105, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 9.5, 'translation_length': 76, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 39.14072039072039} Flesh Reading Ease: 39.35 ---------------------------------------- Source: ['Als vier Wochen herum waren und Hänsel immer mager blieb, da übernahm sie die Ungeduld und sie wollte nicht länger warten.'] Prediction: ['Eine junge Frau wurde als vier Wochen herum und Hänsel immer mager blieb.\nAls vier Wochen herum waren und Hänsel immer mager blieb, da übernahm sie die Ungeduld und sie wollte nicht länger warten.\nDie Frau wurde nicht länger warten.'] Label: [['Hänsel und Gretel sind viele Wochen bei der Hexe.\nDie Zeit vergeht:']] Sacrebleu: {'score': 2.092817867871188, 'counts': [5, 1, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [11.363636363636363, 2.3255813953488373, 1.1904761904761905, 0.6097560975609756], 'bp': 1.0, 'sys_len': 44, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.11363636363636363, 0.023255813953488372, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.142857142857143, 'translation_length': 44, 'reference_length': 14} Rouge: {'rouge1': 0.17543859649122806, 'rouge2': 0.03636363636363636, 'rougeL': 0.14035087719298245, 'rougeLsum': 0.14035087719298245} Sari: {'sari': 36.99914748508099} Flesh Reading Ease: 73.1 ---------------------------------------- Source: ['« Hänsel streckte ihr aber ein Knöchlein heraus, und die Alte, die trübe Augen hatte, konnte es nicht sehen und meinte, es wären Hänsels Finger, und verwunderte sich, daß er gar nicht fett werden wollte.'] Prediction: ['Ein Hänsel hatte einen Knöchlein heraus und streckte ihr aber ein Knöchlein heraus.\nDer Hänsel wurde nicht sehen und verwunderte sich, daß er gar nicht fett werden wollte.'] Label: [['Und die Hexe denkt: Hänsel ist immer noch zu dünn.\nDeshalb sieht die Hexe den Knochen nicht.\nDie Hexe hat nämlich schlechte Augen.\nHänsel steckt einen dünnen Knochen durch das Gitter.\nHänsel steckt nicht seine Finger durch das Gitter.\nAber Hänsel ist schlau:']] Sacrebleu: {'score': 1.0569131056361192, 'counts': [7, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [22.580645161290324, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 0.5417756864712343, 'sys_len': 31, 'ref_len': 50} Bleu: {'bleu': 0.0, 'precisions': [0.22580645161290322, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5417756864712342, 'length_ratio': 0.62, 'translation_length': 31, 'reference_length': 50} Rouge: {'rouge1': 0.21951219512195122, 'rouge2': 0.05, 'rougeL': 0.14634146341463414, 'rougeLsum': 0.17073170731707318} Sari: {'sari': 33.66304747883695} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['Jeden Morgen schlich die Alte zu dem Ställchen und rief: »Hänsel, streck deine Finger heraus, damit ich fühle, ob du bald fett bist.'] Prediction: ['Ein Ställchen hat am Freitag einen Ställchen in der Nähe von St. Gallen gebracht.\nDie Polizei rief dabei, dass du bald bald fett bist.'] Label: [['Ich will deine Finger fühlen.\nZeig mir deine Finger.\nUnd die Hexe fragt: Bist du schon fett?\nJeden Morgen kommt die Hexe zu Hänsel.']] Sacrebleu: {'score': 1.9267625761293168, 'counts': [5, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [17.857142857142858, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 0.9649159443723699, 'sys_len': 28, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.17857142857142858, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9649159443723702, 'length_ratio': 0.9655172413793104, 'translation_length': 28, 'reference_length': 29} Rouge: {'rouge1': 0.1509433962264151, 'rouge2': 0.0, 'rougeL': 0.11320754716981132, 'rougeLsum': 0.11320754716981132} Sari: {'sari': 32.69287073634899} Flesh Reading Ease: 86.1 ---------------------------------------- Source: ['Gretel fing an bitterlich zu weinen, aber es war alles vergeblich, sie mußte thun, was die böse Hexe verlangte.'] Prediction: ['Die böse Hexe ist einige Jahre alt.\nDie Hexe ist einige Jahre alt.\nDie böse Hexe ist einige Jahre alt.'] Label: [['Aber Gretel muss auf die Hexe hören.\nGretel weint viele Tränen.']] Sacrebleu: {'score': 2.1671320168371846, 'counts': [3, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [13.043478260869565, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.13043478260869565, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7692307692307692, 'translation_length': 23, 'reference_length': 13} Rouge: {'rouge1': 0.1142857142857143, 'rouge2': 0.060606060606060615, 'rougeL': 0.1142857142857143, 'rougeLsum': 0.1142857142857143} Sari: {'sari': 47.11902304781562} Flesh Reading Ease: 73.85 ---------------------------------------- Source: ['Wenn er fett ist, so will ich ihn essen.«'] Prediction: ['Ein Mann wurde im Alter von 99 Jahren verhaftet.\nEr fett ist, so will ich ihn essen.\nDie beiden wurden dabei verhaftet.'] Label: [['Dann kann ich Hänsel essen.']] Sacrebleu: {'score': 3.197383344450448, 'counts': [3, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.333333333333333, 'translation_length': 26, 'reference_length': 6} Rouge: {'rouge1': 0.14285714285714288, 'rouge2': 0.0, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.14285714285714288} Sari: {'sari': 38.84615384615385} Flesh Reading Ease: 84.95 ---------------------------------------- Source: ['Dann ging sie zur Gretel, rüttelte sie wach und rief: »Steh auf, Faulenzerin, trag Wasser und koch deinem Bruder etwas Gutes, der sitzt draußen im Stall und soll fett werden.'] Prediction: ['Eine Gretel-Fälle wurde von Faulenzerin aufgefunden.\nSie wurde von Faulenzerin und einem Bruder gefunden.\nDie beiden waren während der Gretel-Fälle im Stall.'] Label: [['Hänsel soll nämlich fett werden.\nEssen!\nKoch Mach dich an die Arbeit!\nDann sagt die Hexe zu Gretel: Du faules Mädchen!']] Sacrebleu: {'score': 1.4471307949925738, 'counts': [1, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [4.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.9607894391523232, 'sys_len': 25, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.04, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9607894391523232, 'length_ratio': 0.9615384615384616, 'translation_length': 25, 'reference_length': 26} Rouge: {'rouge1': 0.07843137254901962, 'rouge2': 0.0, 'rougeL': 0.07843137254901962, 'rougeLsum': 0.07843137254901962} Sari: {'sari': 40.183509301156356} Flesh Reading Ease: 49.85 ---------------------------------------- Source: ['Da packte sie Hänsel mit ihrer dürren Hand und trug ihn in einen kleinen Stall und sperrte ihn mit einer Gitterthür ein;'] Prediction: ['Eine Frau wurde mit ihrer Hänsel in einen kleinen Stall gesperrt.\nSie trug ihn in einen kleinen Stall und sperrte ihn mit einer Gitterthür ein.\nDie Frau war mit ihrer dürren Hand und trug ihn in einen kleinen Stall und sperrte ihn mit einer Gitterthür ein.'] Label: [['Der Käfig hat ein Gitter.\nUnd die Hexe sperrt Hänsel in einen Käfig.\nDie Hexe packt Hänsel.\nDie Hexe ist böse.']] Sacrebleu: {'score': 3.9194223044590037, 'counts': [8, 3, 1, 0], 'totals': [49, 48, 47, 46], 'precisions': [16.3265306122449, 6.25, 2.127659574468085, 1.0869565217391304], 'bp': 1.0, 'sys_len': 49, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.16326530612244897, 0.0625, 0.02127659574468085, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.96, 'translation_length': 49, 'reference_length': 25} Rouge: {'rouge1': 0.18421052631578946, 'rouge2': 0.08108108108108107, 'rougeL': 0.13157894736842105, 'rougeLsum': 0.18421052631578946} Sari: {'sari': 41.00722578834755} Flesh Reading Ease: 82.8 ---------------------------------------- Source: ['Wenn eins in ihre Gewalt kam, so machte sie es tot, kochte es und aß es, und das war ihr ein Festtag.'] Prediction: ['Eine Frau (24) ist in ihre Gewalt tot, kochte es und aß es, und war ihr ein Festtag.\nDie Frau war tot, kochte es und aß es, und das war ihr ein Festtag.\nDie Frau war tot, kochte es und aß es, und das war ihr ein Festtag.'] Label: [['Und die böse Hexe will Hänsel und Gretel essen.']] Sacrebleu: {'score': 0.7313525558399564, 'counts': [2, 0, 0, 0], 'totals': [59, 58, 57, 56], 'precisions': [3.389830508474576, 0.8620689655172413, 0.43859649122807015, 0.22321428571428573], 'bp': 1.0, 'sys_len': 59, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.03389830508474576, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.9, 'translation_length': 59, 'reference_length': 10} Rouge: {'rouge1': 0.10169491525423728, 'rouge2': 0.0, 'rougeL': 0.10169491525423728, 'rougeLsum': 0.06779661016949153} Sari: {'sari': 36.484593837535016} Flesh Reading Ease: 93.8 ---------------------------------------- Source: ['Die Alte hatte sich nur so freundlich angestellt, sie war aber eine böse Hexe, die den Kindern auflauerte, und hatte das Brothäuslein bloß gebaut, um sie herbeizulocken.'] Prediction: ['Eine böse Hexe, die den Kindern auflauerte, hatte sich in einem Brothäuslein bloß gebaut, um sie herbeizulocken.\nDie Alte war aber eine böse Hexe, die den Kindern auflauerte, und hatte das Brothäuslein bloß gebaut, um sie herbeizulocken.'] Label: [['Die alte Frau ist nämlich eine böse Hexe.']] Sacrebleu: {'score': 3.4387196236732906, 'counts': [5, 2, 1, 0], 'totals': [45, 44, 43, 42], 'precisions': [11.11111111111111, 4.545454545454546, 2.3255813953488373, 1.1904761904761905], 'bp': 1.0, 'sys_len': 45, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.045454545454545456, 0.023255813953488372, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.0, 'translation_length': 45, 'reference_length': 9} Rouge: {'rouge1': 0.23529411764705882, 'rouge2': 0.163265306122449, 'rougeL': 0.23529411764705882, 'rougeLsum': 0.23529411764705882} Sari: {'sari': 39.38339438339438} Flesh Reading Ease: 50.35 ---------------------------------------- Source: ['Hernach wurden zwei schöne Bettlein weiß gedeckt und Hänsel und Gretel legten sich hinein und meinten, sie wären im Himmel.'] Prediction: ['Im Himmel von Gretel wurden zwei schöne Bettlein weiß gedeckt.\nHänsel und Gretel legten sich hinein und meinten, sie wären im Himmel.\nDie beiden waren zwei schöne Bettlein weiß gedeckt und legten sich hinein und meinten, sie wären im Himmel.'] Label: [['Hänsel und Gretel sind sehr glücklich.\nDann gehen Hänsel und Gretel ins Bett.']] Sacrebleu: {'score': 3.740492393720506, 'counts': [7, 2, 1, 0], 'totals': [45, 44, 43, 42], 'precisions': [15.555555555555555, 4.545454545454546, 2.3255813953488373, 1.1904761904761905], 'bp': 1.0, 'sys_len': 45, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.15555555555555556, 0.045454545454545456, 0.023255813953488372, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 45, 'reference_length': 15} Rouge: {'rouge1': 0.19672131147540986, 'rouge2': 0.10169491525423728, 'rougeL': 0.1639344262295082, 'rougeLsum': 0.19672131147540986} Sari: {'sari': 38.5426392779334} Flesh Reading Ease: 73.1 ---------------------------------------- Source: ['Da ward gutes Essen aufgetragen, Milch und Pfannkuchen mit Zucker, Äpfel und Nüsse.'] Prediction: ['Manche gute Essen aufgetragen, Milch und Pfannkuchen mit Zucker, Äpfel und Nüsse.\nWir haben die besten Essen für die Welt gekauft.'] Label: [['• Und Nüsse.\n• Äpfel.\n• Und Pfann∙kuchen.\n• Milch.\nDie alte Frau gibt Hänsel und Gretel zu essen:']] Sacrebleu: {'score': 3.9645132534206886, 'counts': [6, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [24.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.24, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0416666666666667, 'translation_length': 25, 'reference_length': 24} Rouge: {'rouge1': 0.3902439024390244, 'rouge2': 0.15384615384615383, 'rougeL': 0.24390243902439024, 'rougeLsum': 0.3902439024390244} Sari: {'sari': 43.862720526807216} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['« Sie faßte beide an der Hand und führte sie in ihr Häuschen.'] Prediction: ['Eine Frau wurde von einem Handy in ihr Häuschen gefunden.\nSie führte sie in ihr Häuschen.\nDie Frau wurde dabei von der Hand gefunden.'] Label: [['Hänsel und Gretel gehen mit der alten Frau ins Häuschen.']] Sacrebleu: {'score': 3.300809119141885, 'counts': [4, 1, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [14.814814814814815, 3.8461538461538463, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.14814814814814814, 0.038461538461538464, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4545454545454546, 'translation_length': 27, 'reference_length': 11} Rouge: {'rouge1': 0.2564102564102564, 'rouge2': 0.05405405405405406, 'rougeL': 0.15384615384615383, 'rougeLsum': 0.20512820512820512} Sari: {'sari': 39.25595238095238} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Kommt nur herein und bleibt bei mir, es geschieht euch kein Leid. Die Alte aber wackelte mit dem Kopfe und sprach: »Ei, ihr lieben Kinder, wer hat euch hierher gebracht?'] Prediction: ['Eine Alte wollte einen Leid auf ihre Kinder gebracht haben.\nDie Alte wollte aber nicht auf ihre Leidungen aufgefordert werden.\nDie Alte wollte sich nicht auf ihre Kinder gebracht haben, sondern auch auf ihre Leidungen.'] Label: [['Habt keine Angst.\nKommt herein.\nAber die alte Frau sagt: Liebe Kinder!']] Sacrebleu: {'score': 1.2413584734794654, 'counts': [3, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [7.6923076923076925, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4375, 'translation_length': 39, 'reference_length': 16} Rouge: {'rouge1': 0.1702127659574468, 'rouge2': 0.04444444444444444, 'rougeL': 0.1702127659574468, 'rougeLsum': 0.1276595744680851} Sari: {'sari': 51.43055555555556} Flesh Reading Ease: 68.85 ---------------------------------------- Source: ['Hänsel und Gretel erschraken so gewaltig, daß sie fallen ließen, was sie in den Händen hielten.'] Prediction: ['Hänsel und Gretel erschraken so gewaltig, daß sie fallen ließen, was sie in den Händen hielten.\nDas hat sich der Schauspieler in der TV-Section der Leiste bekannt gegeben.\nWir haben die beiden im Interviews mit der 20-Minuten-App bekannt gegeben.'] Label: [['Hänsel und Gretel erschrecken sich.']] Sacrebleu: {'score': 3.3613956344466964, 'counts': [5, 2, 1, 0], 'totals': [46, 45, 44, 43], 'precisions': [10.869565217391305, 4.444444444444445, 2.272727272727273, 1.1627906976744187], 'bp': 1.0, 'sys_len': 46, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.10869565217391304, 0.044444444444444446, 0.022727272727272728, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.666666666666667, 'translation_length': 46, 'reference_length': 6} Rouge: {'rouge1': 0.19607843137254902, 'rouge2': 0.1224489795918367, 'rougeL': 0.19607843137254902, 'rougeLsum': 0.19607843137254902} Sari: {'sari': 39.89417989417989} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Da ging auf einmal die Thür auf und eine steinalte Frau, die sich auf eine Krücke stützte, kam herausgeschlichen.'] Prediction: ['Eine steinalte Frau stützte sich auf eine Krücke.\nDie Frau kam auf eine Thür auf und kam herausgeschlichen.'] Label: [['Und eine alte Frau kommt aus dem Häuschen.\nDie Tür vom Häuschen geht auf.']] Sacrebleu: {'score': 5.039518688486958, 'counts': [6, 1, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [30.0, 5.2631578947368425, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.3, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 20, 'reference_length': 16} Rouge: {'rouge1': 0.31578947368421056, 'rouge2': 0.0, 'rougeL': 0.2631578947368421, 'rougeLsum': 0.31578947368421056} Sari: {'sari': 36.21399385976794} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['und aßen weiter, ohne sich irre machen zu lassen.'] Prediction: ['Die Welt ist eine neue Woche, die sich auf die Welt geht.\nDie Welt ist eine neue Woche, die sich auf die Welt geht.\nDie Welt ist eine Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-Woche-W'] Label: [['Dann essen Hänsel und Gretel weiter.']] Sacrebleu: {'score': 1.123099644603982, 'counts': [1, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [3.0303030303030303, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.030303030303030304, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.714285714285714, 'translation_length': 33, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 59.02777777777778} Flesh Reading Ease: -163.16 ---------------------------------------- Source: ['»Der Wind, der Wind, das himmlische Kind,« die Kinder antworteten:'] Prediction: ['Ein hemlischer Kind, der die Kinder antworteten, ist eine Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder-Kinder'] Label: [['Das himmlische Kind.\nDer Wind.\nHänsel und Gretel antworten: Der Wind.']] Sacrebleu: {'score': 2.6374077368969155, 'counts': [1, 0, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [8.333333333333334, 4.545454545454546, 2.5, 1.3888888888888888], 'bp': 0.7788007830714049, 'sys_len': 12, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7788007830714049, 'length_ratio': 0.8, 'translation_length': 12, 'reference_length': 15} Rouge: {'rouge1': 0.02424242424242424, 'rouge2': 0.012269938650306749, 'rougeL': 0.02424242424242424, 'rougeLsum': 0.02424242424242424} Sari: {'sari': 35.996642246642246} Flesh Reading Ease: -1608.41 ---------------------------------------- Source: ['»Knupper, knupper, kneischen, wer knuppert an meinem Häuschen?« Da rief eine feine Stimme aus der Stube heraus:'] Prediction: ['Immer mehr knuppert eine feine Stimme aus der Stube.\nDie Stube hat eine feine Stimme aus der Stube herausgegeben.\nDie Stimme: Knuppert an meinem Häuschen?'] Label: [['Wer knuspert an meinem Häuschen?\nDie Stimme kommt aus dem Häuschen: Knusper knusper Knäuschen.\nPlötzlich hören Hänsel und Gretel eine Stimme.']] Sacrebleu: {'score': 11.391856953132569, 'counts': [12, 4, 2, 1], 'totals': [29, 28, 27, 26], 'precisions': [41.37931034482759, 14.285714285714286, 7.407407407407407, 3.8461538461538463], 'bp': 1.0, 'sys_len': 29, 'ref_len': 25} Bleu: {'bleu': 0.11391856953132565, 'precisions': [0.41379310344827586, 0.14285714285714285, 0.07407407407407407, 0.038461538461538464], 'brevity_penalty': 1.0, 'length_ratio': 1.16, 'translation_length': 29, 'reference_length': 25} Rouge: {'rouge1': 0.33962264150943394, 'rouge2': 0.1568627450980392, 'rougeL': 0.18867924528301885, 'rougeLsum': 0.33962264150943394} Sari: {'sari': 51.74680983504513} Flesh Reading Ease: 66.4 ---------------------------------------- Source: ['Ich will ein Stück vom Dach essen, Gretel, du kannst, vom Fenster essen, das schmeckt süß.'] Prediction: ['Gretel kannst vom Dach essen, Gretel, du kannst, vom Fenster essen, das schmeckt süß.\nDer Stück vom Dach essen, Gretel, du kannst, vom Fenster essen, das schmeckt süß.\nIm Interview mit Gretel spricht er über die Welt und den Vorwürfe.'] Label: [['Hänsel und Gretel essen ein Stück vom Häuschen.\nIch esse ein Stück vom Dach.']] Sacrebleu: {'score': 3.4999855626488845, 'counts': [9, 2, 1, 0], 'totals': [51, 50, 49, 48], 'precisions': [17.647058823529413, 4.0, 2.0408163265306123, 1.0416666666666667], 'bp': 1.0, 'sys_len': 51, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.04, 0.02040816326530612, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1875, 'translation_length': 51, 'reference_length': 16} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.10344827586206896, 'rougeL': 0.2333333333333333, 'rougeLsum': 0.26666666666666666} Sari: {'sari': 27.733445540502107} Flesh Reading Ease: 84.8 ---------------------------------------- Source: ['»Da wollen wir uns dranmachen,« sprach Hänsel, »und eine gesegnete Mahlzeit halten.'] Prediction: ['Die Schweizer Welt ist eine gesegnete Mahlzeit.\nDie Schweizer Welt ist eine gesegnete Mahlzeit.\nDie Schweizer Welt ist eine gesegnete Mahlzeit.'] Label: [['Lass uns ein Stück vom Häuschen essen.\nUnd ich bin sehr hungrig.\nDas Häuschen sieht lecker aus.\nHänsel sagt zu Gretel:']] Sacrebleu: {'score': 1.9860695522999654, 'counts': [3, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [12.5, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 0.9591894571091382, 'sys_len': 24, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9591894571091382, 'length_ratio': 0.96, 'translation_length': 24, 'reference_length': 25} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 42.532467532467535} Flesh Reading Ease: 61.85 ---------------------------------------- Source: ['aber die Fenster waren von hellem Zucker. Und als es fertig war, schwang es seine Flügel und flog vor ihnen her, und sie gingen ihm nach, bis sie zu einem Häuschen gelangten, auf dessen Dach es sich setzte, und als sie ganz nahe herankamen, so sahen sie, daß das Häuslein aus Brot gebaut war und mit Kuchen gedeckt;'] Prediction: ['Eine Fenster-Fälle flog vor ihnen her, bis sie zu einem Häuschen gelangten, als sie ganz nahe herankamen, so sahen sie, daß das Häuslein aus Brot gebaut war und mit Kuchen gedeckt war.\nDie Fenster flog vor ihnen her, bis sie zu einem Häuschen gelangten, bis sie zu einem Häuschen gelangten, auf dessen Dach es sich setzte, als sie ganz nahe herankamen, so sahen sie, daß das Häuslein aus Brot gebaut war und mit Kuchen gedeckt war.'] Label: [['Und das Dach von dem Häuschen ist mit Leb·kuchen bedeckt.\nUnd Zucker.\nDas Häuschen ist aus Brot.\nDann kommen Hänsel und Gretel zu einem Häuschen.\nHänsel und Gretel laufen dem kleinen Vogel nach.\nDann fliegt der kleine Vogel weiter.']] Sacrebleu: {'score': 2.474998831624897, 'counts': [14, 3, 1, 0], 'totals': [88, 87, 86, 85], 'precisions': [15.909090909090908, 3.4482758620689653, 1.1627906976744187, 0.5882352941176471], 'bp': 1.0, 'sys_len': 88, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.1590909090909091, 0.034482758620689655, 0.011627906976744186, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9555555555555555, 'translation_length': 88, 'reference_length': 45} Rouge: {'rouge1': 0.29687499999999994, 'rouge2': 0.11111111111111112, 'rougeL': 0.203125, 'rougeLsum': 0.25} Sari: {'sari': 35.277163166052055} Flesh Reading Ease: 54.25 ---------------------------------------- Source: ['Als es Mittag war, sahen sie ein schönes schneeweißes Vöglein auf einem Ast sitzen, das sang so schön, daß sie stehen blieben und ihm zuhörten.'] Prediction: ['Eine Frau aus dem Kanton Bern sang auf einem Ast, das sang so schön, daß sie stehen blieben und ihm zuhörten.\nDie Frau war ein schneeweißes Vöglein auf einem Ast sitzen, das sang so schön, daß sie stehen blieben und ihm zuhörten.'] Label: [['Der kleine Vogel singt wunder∙schön.\nNach einer Weile sehen Hänsel und Gretel einen kleinen Vogel auf einem Ast.']] Sacrebleu: {'score': 3.366746772055075, 'counts': [6, 2, 1, 0], 'totals': [48, 47, 46, 45], 'precisions': [12.5, 4.25531914893617, 2.1739130434782608, 1.1111111111111112], 'bp': 1.0, 'sys_len': 48, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0425531914893617, 0.021739130434782608, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4, 'translation_length': 48, 'reference_length': 20} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.08955223880597013, 'rougeL': 0.17391304347826086, 'rougeLsum': 0.14492753623188404} Sari: {'sari': 39.002956108219266} Flesh Reading Ease: 77.1 ---------------------------------------- Source: ['Sie gingen die ganze Nacht und noch einen Tag von Morgen bis Abend, aber sie kamen aus dem Walde nicht heraus, und waren so hungrig, denn sie hatten nichts als die paar Beeren, die auf der Erde standen.'] Prediction: ['Einige Frauen wurden am Freitagabend auf der Erde von einem Walde in der Nacht auf Montag aufgefunden.\nSie waren nicht heraus, sondern waren so hungrig, denn sie hatten nichts als die paar Beeren, die auf der Erde standen.'] Label: [['Hänsel und Gretel sind hungrig.\nSo laufen Hänsel und Gretel 3 Tage lang durch den Wald.\nAber Hänsel und Gretel finden den Weg nach Hause nicht.\nHänsel und Gretel suchen den Weg nach Hause.']] Sacrebleu: {'score': 1.205256842736819, 'counts': [4, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [9.30232558139535, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.09302325581395349, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.131578947368421, 'translation_length': 43, 'reference_length': 38} Rouge: {'rouge1': 0.07894736842105263, 'rouge2': 0.0, 'rougeL': 0.02631578947368421, 'rougeLsum': 0.07894736842105263} Sari: {'sari': 34.59051724137931} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ['« Als der Mond kam, machten sie sich auf, aber sie fanden kein Bröcklein mehr, denn die viel tausend Vögel, die im Walde und im Felde umherfliegen, die hatten sie weggepickt.'] Prediction: ['Im Walde und im Felde wurden viele Vögel aus dem Mond umherfliegen.\nDie viel tausend Vögel, die im Walde und im Felde umherfliegen, hatten sie weggepickt.\nDie viel tausend Vögel, die im Walde und im Felde umherfliegen, hatten sie weggepickt.'] Label: [['Vögel haben die Brot∙krümel gegessen.\nDie Brot∙krümel sind weg.']] Sacrebleu: {'score': 1.9547435301444356, 'counts': [5, 1, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [10.638297872340425, 2.1739130434782608, 1.1111111111111112, 0.5681818181818182], 'bp': 1.0, 'sys_len': 47, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.10638297872340426, 0.021739130434782608, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.2727272727272725, 'translation_length': 47, 'reference_length': 11} Rouge: {'rouge1': 0.14035087719298245, 'rouge2': 0.03636363636363636, 'rougeL': 0.14035087719298245, 'rougeLsum': 0.14035087719298245} Sari: {'sari': 36.72624958622973} Flesh Reading Ease: 67.25 ---------------------------------------- Source: ['Sie erwachten erst in der finsteren Nacht, und Hänsel tröstete sein Schwesterchen und sagte: »Wart nur, Gretel, bis der Mond aufgeht, dann werden wir die Brotbröcklein sehen, die ich ausgestreut habe, die zeigen uns den Weg nach Hause.'] Prediction: ['Eine der besten Brotbröcklein in der Nacht auf Sonntag wurde von Gretel (24) und Hänsel (29) aufgefunden.\nDie Brotbröcklein wurden von Gretel ausgestreut.\nDie Brotbröcklein wurden von Gretel ausgestreut.'] Label: [['Aber Hänsel und Gretel sehen die Brot∙krümel auf dem Weg nicht.\nSo können Hänsel und Gretel vielleicht die Brot∙krümel auf dem Weg sehen.\nZum Glück scheint der Mond hell.\nHänsel und Gretel wachen auf.\nEs ist dunkle Nacht.']] Sacrebleu: {'score': 1.5373267284371044, 'counts': [11, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [30.555555555555557, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 0.8232919154257804, 'sys_len': 36, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.3055555555555556, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8232919154257804, 'length_ratio': 0.8372093023255814, 'translation_length': 36, 'reference_length': 43} Rouge: {'rouge1': 0.275, 'rouge2': 0.02564102564102564, 'rougeL': 0.14999999999999997, 'rougeLsum': 0.175} Sari: {'sari': 54.44043652103291} Flesh Reading Ease: 65.0 ---------------------------------------- Source: ['Dann schliefen sie ein, und der Abend verging, aber niemand kam zu den armen Kindern.'] Prediction: ['Eine Frau wurde am Sonntagabend in der Nähe des Kantons Bern von einem Kindern verhaftet.\nDie Frau war nicht mehr, sondern niemand.\nDie Frau war zum ersten Mal nach dem Abend von ihrem Kindern.'] Label: [['Und Hänsel und Gretel schlafen ein.\nHänsel und Gretel sind sehr müde.']] Sacrebleu: {'score': 1.1524538390587937, 'counts': [2, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [5.2631578947368425, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.05263157894736842, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7142857142857144, 'translation_length': 38, 'reference_length': 14} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 50.46296296296296} Flesh Reading Ease: 86.8 ---------------------------------------- Source: ['wir gehen in den Wald und hauen Holz, und abends, wenn wir fertig sind, kommen wir und holen euch ab. Da ward wieder ein großes Feuer angemacht, und die Mutter sagte: »Bleibt nur da sitzen, ihr Kinder, und wenn ihr müde seid, könnt ihr ein wenig schlafen;'] Prediction: ['Wir gehen in den Wald und hauen Holz, und abends, wenn wir fertig sind, kommen wir und holen euch ab.\nWir haben wieder ein großes Feuer angemacht, und wenn ihr müde seid, könnt ihr ein wenig schlafen.'] Label: [['Wir holen euch später ab.\nWir gehen Holz sammeln.\nIhr wartet hier.\nIm Wald sagt die Stief∙mutter zu Hänsel und Gretel:']] Sacrebleu: {'score': 5.097615802300062, 'counts': [11, 4, 1, 0], 'totals': [44, 43, 42, 41], 'precisions': [25.0, 9.30232558139535, 2.380952380952381, 1.2195121951219512], 'bp': 1.0, 'sys_len': 44, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.09302325581395349, 0.023809523809523808, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.76, 'translation_length': 44, 'reference_length': 25} Rouge: {'rouge1': 0.3125, 'rouge2': 0.0967741935483871, 'rougeL': 0.18749999999999997, 'rougeLsum': 0.3125} Sari: {'sari': 37.03556150922612} Flesh Reading Ease: 79.6 ---------------------------------------- Source: ['Hänsel aber warf nach und nach alle Bröcklein auf den Weg.'] Prediction: ['Einige Bröcklein sind auf den Weg.\nDie Bröcklein sind nach der Tiefe auf den Weg gekommen.\nDie Bröcklein sind nach der Tiefe auf den Weg gekommen.'] Label: [['Und Hänsel lässt die Brot∙krümel auf den Weg fallen.']] Sacrebleu: {'score': 5.146852383843665, 'counts': [4, 2, 1, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 7.142857142857143, 3.7037037037037037, 1.9230769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.07142857142857142, 0.037037037037037035, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.9, 'translation_length': 29, 'reference_length': 10} Rouge: {'rouge1': 0.1904761904761905, 'rouge2': 0.1, 'rougeL': 0.1904761904761905, 'rougeLsum': 0.1904761904761905} Sari: {'sari': 49.44444444444444} Flesh Reading Ease: 89.4 ---------------------------------------- Source: ['Auf dem Wege nach dem Walde bröckelte es Hänsel in der Tasche, stand oft still und warf ein Bröcklein, auf die Erde.'] Prediction: ['Ein Bröcklein war am Sonntag in einem Walde in der Tasche von Hänsel AG auf die Erde.\nEs bröckelte es Hänsel in der Tasche, stand oft still und warf ein Bröcklein, auf die Erde.'] Label: [['Die Familie geht in den Wald.\nAber Hänsel hat Brot∙krümel.']] Sacrebleu: {'score': 1.3705063051209185, 'counts': [4, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [10.526315789473685, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1666666666666665, 'translation_length': 38, 'reference_length': 12} Rouge: {'rouge1': 0.15384615384615385, 'rouge2': 0.04, 'rougeL': 0.11538461538461538, 'rougeLsum': 0.11538461538461538} Sari: {'sari': 36.231884057971016} Flesh Reading Ease: 81.1 ---------------------------------------- Source: ['Als die Alten schliefen, stand Hänsel wieder auf, wollte hinaus und Kieselsteine auflesen, wie das vorige Mal, aber die Frau hatte die Thür verschlossen, und Hänsel konnte nicht heraus.'] Prediction: ['Eine Frau hatte die Thür verschlossen, Hänsel konnte nicht herausgeben.\nAls die Alten schliefen, stand Hänsel wieder auf, wollte hinaus und Kieselsteine auflesen.\nDie Frau hatte die Thür verschlossen, und Hänsel konnte nicht herausgeben.'] Label: [['Deshalb kann Hänsel keine kleinen weißen Steine vom Hof holen.\nDie Stief∙mutter hat nämlich abends die Tür zum Hof abgeschlossen.\nDieses Mal hat Hänsel keine kleinen weißen Steine.']] Sacrebleu: {'score': 2.4495087791876022, 'counts': [7, 1, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [17.073170731707318, 2.5, 1.2820512820512822, 0.6578947368421053], 'bp': 1.0, 'sys_len': 41, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.17073170731707318, 0.025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3225806451612903, 'translation_length': 41, 'reference_length': 31} Rouge: {'rouge1': 0.18918918918918923, 'rouge2': 0.05555555555555555, 'rougeL': 0.18918918918918923, 'rougeLsum': 0.18918918918918923} Sari: {'sari': 34.48445493900039} Flesh Reading Ease: 63.4 ---------------------------------------- Source: ['Die Kinder müssen fort, wir wollen sie tiefer in den Wald hineinführen, damit sie den Weg nicht wieder herausfinden; »Alles ist wieder aufgezehrt, wir haben noch einen halben Laib Brot, hernach hat das Lied ein Ende. Nicht lange danach war wieder Not in allen Ecken, und die Kinder hörten wie die Mutter nachts im Bette zu dem Vater sprach:'] Prediction: ['Ein Laib Brot ist wieder aufgezehrt, wie die Mutter nachts im Bette zu dem Vater sprach.\nNicht lange danach war wieder Not in allen Ecken, und die Kinder hörten wie die Mutter nachts im Bette zu dem Vater sprach.'] Label: [['Die Stief∙mutter will Hänsel und Gretel wieder in den Wald schicken.\nWenige Tage später: Die Familie hat wieder nichts zu essen.']] Sacrebleu: {'score': 1.386242207953302, 'counts': [7, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [16.27906976744186, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.16279069767441862, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7916666666666667, 'translation_length': 43, 'reference_length': 24} Rouge: {'rouge1': 0.28125000000000006, 'rouge2': 0.0, 'rougeL': 0.18749999999999997, 'rougeLsum': 0.125} Sari: {'sari': 33.61260829795312} Flesh Reading Ease: 78.6 ---------------------------------------- Source: ['Der Vater aber freute sich, denn es war ihm zu Herzen gegangen, daß er sie so allein zurückgelassen hatte.'] Prediction: ['Ein Vater hatte sich mit seinem Partner eine Frau zurückgelassen.\nDer Vater freute sich, denn es war ihm zu Herzen gegangen, da er sie so allein zurückgelassen hatte.'] Label: [['Der Vater freut sich sehr.']] Sacrebleu: {'score': 2.7588924449082466, 'counts': [4, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [12.5, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.333333333333333, 'translation_length': 32, 'reference_length': 6} Rouge: {'rouge1': 0.17142857142857143, 'rouge2': 0.0606060606060606, 'rougeL': 0.17142857142857143, 'rougeLsum': 0.17142857142857143} Sari: {'sari': 37.15780998389695} Flesh Reading Ease: 66.55 ---------------------------------------- Source: ['Sie gingen die ganze Nacht hindurch und kamen bei anbrechendem Tage wieder zu ihres Vaters Haus. Und als der volle Mond aufgestiegen war, so nahm Hänsel sein Schwesterchen an der Hand und ging den Kieselsteinen nach, die schimmerten wie neugeschlagene Batzen und zeigten ihnen den Weg.'] Prediction: ['Bei anbrechendem Tagen kam es wieder zu ihres Vaters Haus.\nEin volle Mond nahm Hänsel sein Schwesterchen an der Hand und ging den Kieselsteinen nach.\nDie Kieselsteinen zeigten ihnen den Weg.'] Label: [['Hänsel und Gretel kommen zu Hause an.\nUnd Hänsel und Gretel finden den Weg nach Hause.\nSo können Hänsel und Gretel die kleinen weißen Steine auf dem Weg sehen.\nZum Glück scheint der Mond hell.']] Sacrebleu: {'score': 2.941235823457427, 'counts': [12, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [35.294117647058826, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 0.8632431969112069, 'sys_len': 34, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.35294117647058826, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 0.8632431969112069, 'length_ratio': 0.8717948717948718, 'translation_length': 34, 'reference_length': 39} Rouge: {'rouge1': 0.3013698630136986, 'rouge2': 0.056338028169014086, 'rougeL': 0.21917808219178084, 'rougeLsum': 0.24657534246575344} Sari: {'sari': 36.33974983755686} Flesh Reading Ease: 76.1 ---------------------------------------- Source: ['Als sie endlich erwachten, war es schon finstere Nacht.'] Prediction: ['Eine Frau wurde am Sonntagmorgen von einem Mann aufgefunden.\nSie war nach einem schweren Nacht von einem Mann endlich erwachten.\nDie Frau war nicht mehr, sondern auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch'] Label: [['Hänsel und Gretel wachen auf.\nEs ist dunkle Nacht.']] Sacrebleu: {'score': 0.20819161143049883, 'counts': [3, 0, 0, 0], 'totals': [225, 224, 223, 222], 'precisions': [1.3333333333333333, 0.22321428571428573, 0.11210762331838565, 0.05630630630630631], 'bp': 1.0, 'sys_len': 225, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.013333333333333334, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 20.454545454545453, 'translation_length': 225, 'reference_length': 11} Rouge: {'rouge1': 0.008620689655172414, 'rouge2': 0.0, 'rougeL': 0.008620689655172414, 'rougeLsum': 0.008620689655172414} Sari: {'sari': 50.324074074074076} Flesh Reading Ease: 41.65 ---------------------------------------- Source: ['Und als sie so lange gesessen hatten, fielen ihnen die Augen vor Müdigkeit zu, und sie schliefen fest ein.'] Prediction: ['Eine Frau wurde vor Müdigkeit aufgefunden, als sie so lange gesessen hatten, fielen ihnen die Augen vor Müdigkeit zu, und sie schliefen fest ein.\nDie Frau wurde dabei schwer verletzt.'] Label: [['Und Hänsel und Gretel schlafen ein.\nHänsel und Gretel sind sehr müde.']] Sacrebleu: {'score': 2.5115381601394384, 'counts': [4, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [11.428571428571429, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.11428571428571428, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 35, 'reference_length': 14} Rouge: {'rouge1': 0.12765957446808512, 'rouge2': 0.0, 'rougeL': 0.0851063829787234, 'rougeLsum': 0.0851063829787234} Sari: {'sari': 27.967563837129056} Flesh Reading Ease: 65.55 ---------------------------------------- Source: ['Wenn wir fertig sind, kommen wir wieder und holen euch ab.«'] Prediction: ['Wenn wir fertig sind, kommen wir wieder und holen euch ab.\nWenn wir fertig sind, kommen wir wieder und holen euch ab.'] Label: [['Wir holen euch später ab.']] Sacrebleu: {'score': 4.085892079136996, 'counts': [4, 2, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 8.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.08, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.333333333333333, 'translation_length': 26, 'reference_length': 6} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.07692307692307693, 'rougeL': 0.28571428571428575, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 40.25974025974026} Flesh Reading Ease: 87.1 ---------------------------------------- Source: ['»Nun legt euch ans Feuer, ihr Kinder, und ruht euch aus, wir gehen in den Wald und hauen Holz.'] Prediction: ['Im Wald wurde ein Feuer gefunden.\nDie Kinder gehen in den Wald und hauen Holz.\nDie Kinder gehen in den Wald und hauen Holz.'] Label: [['Wir gehen Holz sammeln.\nIhr wartet hier.']] Sacrebleu: {'score': 1.962672844874697, 'counts': [4, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [14.814814814814815, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.14814814814814814, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 27, 'reference_length': 9} Rouge: {'rouge1': 0.12903225806451613, 'rouge2': 0.0, 'rougeL': 0.12903225806451613, 'rougeLsum': 0.12903225806451613} Sari: {'sari': 34.25925925925926} Flesh Reading Ease: 90.1 ---------------------------------------- Source: ['Hänsel aber hatte nicht nach dem Kätzchen gesehen, sondern immer einen von den blanken Kieselsteinen aus seiner Tasche auf den Weg geworfen.'] Prediction: ['Ein Kieselsteinen aus seiner Tasche wurde auf den Weg gefunden.\nDie blanken Kieselsteinen wurden aus seiner Tasche auf den Weg geworfen.\nDie Kieselsteinen wurden nicht nach dem Kätzchen gesehen, sondern immer einen von den blanken Kieselsteinen aus seiner Tasche auf den Weg geworfen.'] Label: [['Und Hänsel lässt die kleinen weißen Steine auf den Weg fallen.\nHänsel hat kleine weiße Steine vom Hof in seinen Hosen·taschen.']] Sacrebleu: {'score': 3.2874736544776946, 'counts': [5, 2, 1, 0], 'totals': [47, 46, 45, 44], 'precisions': [10.638297872340425, 4.3478260869565215, 2.2222222222222223, 1.1363636363636365], 'bp': 1.0, 'sys_len': 47, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.10638297872340426, 0.043478260869565216, 0.022222222222222223, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0434782608695654, 'translation_length': 47, 'reference_length': 23} Rouge: {'rouge1': 0.11267605633802817, 'rouge2': 0.057971014492753624, 'rougeL': 0.11267605633802817, 'rougeLsum': 0.11267605633802817} Sari: {'sari': 36.13053613053612} Flesh Reading Ease: 60.4 ---------------------------------------- Source: ['Danach machten sie sich alle zusammen auf den Weg nach dem Walde.'] Prediction: ['Eine Frau und ihr Partner sind am Sonntag in einem Walde in der Nähe von St. Gallen LU verhaftet.\nSie waren nach dem Walde nach dem Weg gefunden.\nSie waren nach dem Weg nach dem Walde gefunden.'] Label: [['Die Familie geht in den Wald.']] Sacrebleu: {'score': 1.0648525923253458, 'counts': [2, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [4.878048780487805, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.04878048780487805, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.857142857142857, 'translation_length': 41, 'reference_length': 7} Rouge: {'rouge1': 0.045454545454545456, 'rouge2': 0.0, 'rougeL': 0.045454545454545456, 'rougeLsum': 0.045454545454545456} Sari: {'sari': 34.920634920634924} Flesh Reading Ease: 82.95 ---------------------------------------- Source: ['»Steht auf, ihr Faulenzer, wir wollen in den Wald gehen und Holz holen.« Als der Tag anbrach, noch ehe die Sonne aufgegangen war, kam schon die Frau und weckte die beiden Kinder:'] Prediction: ['Eine Frau und ihr Faulenzer wollen in den Wald gehen und Holz holen.\nAls der Tag anbrach, noch ehe die Sonne aufgegangen war, kam schon die Frau und weckte die beiden Kinder.'] Label: [['Und Holz sammeln.\nWir wollen in den Wald gehen.\nSteht auf.\nDie Stief∙mutter weckt Hänsel und Gretel: Ihr faulen Kinder!\nEs ist der nächste Morgen.']] Sacrebleu: {'score': 11.68988210441539, 'counts': [11, 4, 3, 2], 'totals': [36, 35, 34, 33], 'precisions': [30.555555555555557, 11.428571428571429, 8.823529411764707, 6.0606060606060606], 'bp': 1.0, 'sys_len': 36, 'ref_len': 31} Bleu: {'bleu': 0.11689882104415397, 'precisions': [0.3055555555555556, 0.11428571428571428, 0.08823529411764706, 0.06060606060606061], 'brevity_penalty': 1.0, 'length_ratio': 1.1612903225806452, 'translation_length': 36, 'reference_length': 31} Rouge: {'rouge1': 0.39999999999999997, 'rouge2': 0.17241379310344826, 'rougeL': 0.30000000000000004, 'rougeLsum': 0.39999999999999997} Sari: {'sari': 36.573759973311724} Flesh Reading Ease: 82.1 ---------------------------------------- Source: ['»Still, Gretel,« sprach Hänsel, »gräme dich nicht, ich will uns schon helfen.«'] Prediction: ['Gretel, Gretel, und Hänsel, sind sich immer noch nicht bekannt.\nSie wollen sich helfen.'] Label: [['Mach dir keine Sorgen.\nHänsel tröstet Gretel:']] Sacrebleu: {'score': 2.6643211213888947, 'counts': [3, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.111111111111111, 'translation_length': 19, 'reference_length': 9} Rouge: {'rouge1': 0.25, 'rouge2': 0.09090909090909091, 'rougeL': 0.16666666666666669, 'rougeLsum': 0.16666666666666669} Sari: {'sari': 47.222222222222214} Flesh Reading Ease: 85.25 ---------------------------------------- Source: ["Gretel weinte bittere Thränen und sprach zu Hänsel: »Nun ist's um uns geschehen.«"] Prediction: ['Gretel weinte bittere Thränen und sprach zu Hänsel: "Nun ist\'s um uns geschehen".\nIm Interview mit der 20-Minuten-App spricht der Thränen-Kollegen über die Welt und die Welt.'] Label: [['Gretel ist sehr traurig.']] Sacrebleu: {'score': 1.2944532586971997, 'counts': [2, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [5.882352941176471, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.8, 'translation_length': 34, 'reference_length': 5} Rouge: {'rouge1': 0.10526315789473684, 'rouge2': 0.0, 'rougeL': 0.10526315789473684, 'rougeLsum': 0.10526315789473684} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 67.05 ---------------------------------------- Source: ['Die zwei Kinder hatten vor Hunger auch nicht einschlafen können und hatten gehört, was die Stiefmutter zum Vater gesagt hatte.'] Prediction: ['Eine Stiefmutter hatte vor Hunger eine Stiefmutter zum Vater gesagt.\nDie zwei Kinder hatten vor Hunger auch nicht einschlafen können und hatten gehört.\nDie Stiefmutter hatte zum Vater gesagt.'] Label: [['Deshalb haben Hänsel und Gretel alles gehört.\nAber Hänsel und Gretel sind noch wach.\nDiese Frau ist die Stief∙mutter von Hänsel und Gretel.']] Sacrebleu: {'score': 2.9171735901692597, 'counts': [5, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [15.625, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.15625, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2307692307692308, 'translation_length': 32, 'reference_length': 26} Rouge: {'rouge1': 0.13559322033898305, 'rouge2': 0.03508771929824562, 'rougeL': 0.13559322033898305, 'rougeLsum': 0.13559322033898305} Sari: {'sari': 36.621224271585135} Flesh Reading Ease: 65.0 ---------------------------------------- Source: ['»O du Narr,« sagte sie, »dann müssen wir alle vier Hungers sterben, du kannst nur die Bretter für die Särge hobeln,« und ließ ihm keine Ruhe, bis er einwilligte. »'] Prediction: ['Eine Leserin hat vier Hungers auf die Särge geführt.\nSie warnt, dass sie alle vier Hungers sterben müssen, wie sie sie sich auf ihre Ruhe einwilligte.\nDie Leserin hatte sich auf dem Platz eine Ruhe, bis er einwilligte.'] Label: [['Wir können nicht genug Essen für uns alle kaufen.\nWir sind arm.\nDu Dumm∙kopf.\nSeine Frau antwortet:']] Sacrebleu: {'score': 1.176877973200725, 'counts': [4, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [9.090909090909092, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0952380952380953, 'translation_length': 44, 'reference_length': 21} Rouge: {'rouge1': 0.03278688524590164, 'rouge2': 0.0, 'rougeL': 0.03278688524590164, 'rougeLsum': 0.03278688524590164} Sari: {'sari': 33.93031189083821} Flesh Reading Ease: 73.7 ---------------------------------------- Source: ["wie sollte ich's übers Herz bringen, meine Kinder im Walde allein zu lassen, die wilden Tiere würden bald kommen und sie zerreißen.« »Nein, Frau,« sagte der Mann, »das thue ich nicht;"] Prediction: ['Ein Mann hat in der Nacht auf Sonntag seine Kinder im Walde allein zerreißen.\nDie Kinder würden bald kommen und sie zerreißen.\nDie Tiere würden bald kommen und sie zerreißen.'] Label: [['Die wilden Tiere werden die Kinder fressen.\nDer Vater antwortet: Ich will meine Kinder nicht im Wald lassen.']] Sacrebleu: {'score': 1.82680755836395, 'counts': [7, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [21.21212121212121, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.21212121212121213, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5714285714285714, 'translation_length': 33, 'reference_length': 21} Rouge: {'rouge1': 0.2641509433962264, 'rouge2': 0.03921568627450981, 'rougeL': 0.11320754716981132, 'rougeLsum': 0.2641509433962264} Sari: {'sari': 34.493941511460974} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Sie finden den Weg nicht wieder nach Hause und wir sind sie los.«'] Prediction: ['Eine Frau wurde nicht wieder nach Hause geschickt.\nSie findet den Weg nicht wieder nach Hause und wir sind sie los.'] Label: [['Dann sind wir Hänsel und Gretel los.\nAlleine werden Hänsel und Gretel nicht den Weg nach Hause finden.']] Sacrebleu: {'score': 6.6375229606488055, 'counts': [11, 3, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [47.82608695652174, 13.636363636363637, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.4782608695652174, 0.13636363636363635, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.15, 'translation_length': 23, 'reference_length': 20} Rouge: {'rouge1': 0.4390243902439024, 'rouge2': 0.10256410256410256, 'rougeL': 0.24390243902439024, 'rougeLsum': 0.3414634146341463} Sari: {'sari': 39.98447204968944} Flesh Reading Ease: 87.6 ---------------------------------------- Source: ['« »Weißt du was, Mann,« antwortete die Frau, »wir wollen morgen in aller Frühe die Kinder hinaus in den Wald führen, wo er am dicksten ist:'] Prediction: ['Eine Frau hat in den Wald eine Kinderfahrerin in den Wald führen.\nDie Frau warnt, dass ihn die Kinder hinaus in den Wald führen, wo er am dicksten ist.\nDie Frau warnt, dass ihn die Kinder in den Wald führen wollen.'] Label: [['Seine Frau antwortet: Morgen bringen wir Hänsel und Gretel in den Wald.']] Sacrebleu: {'score': 3.2874736544776946, 'counts': [5, 2, 1, 0], 'totals': [47, 46, 45, 44], 'precisions': [10.638297872340425, 4.3478260869565215, 2.2222222222222223, 1.1363636363636365], 'bp': 1.0, 'sys_len': 47, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.10638297872340426, 0.043478260869565216, 0.022222222222222223, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.357142857142857, 'translation_length': 47, 'reference_length': 14} Rouge: {'rouge1': 0.14035087719298245, 'rouge2': 0.07272727272727272, 'rougeL': 0.14035087719298245, 'rougeLsum': 0.14035087719298245} Sari: {'sari': 39.54732510288066} Flesh Reading Ease: 90.25 ---------------------------------------- Source: ['Wie können wir unsere armen Kinder ernähren, da wir für uns selbst nichts mehr haben?'] Prediction: ['Wie können wir unsere armen Kinder ernähren, wie wir für uns selbst nichts mehr haben haben können?\nWie können wir unsere armen Kinder ernähren, da wir für uns selbst nichts mehr haben haben?'] Label: [['Wir haben nichts zu essen für meine armen Kinder.']] Sacrebleu: {'score': 2.5058623314122577, 'counts': [5, 1, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [13.513513513513514, 2.7777777777777777, 1.4285714285714286, 0.7352941176470589], 'bp': 1.0, 'sys_len': 37, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.13513513513513514, 0.027777777777777776, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.7, 'translation_length': 37, 'reference_length': 10} Rouge: {'rouge1': 0.27999999999999997, 'rouge2': 0.08333333333333333, 'rougeL': 0.2, 'rougeLsum': 0.12} Sari: {'sari': 38.57729138166895} Flesh Reading Ease: 69.9 ---------------------------------------- Source: ['Wie er sich nun abends im Bette Gedanken machte und sich vor Sorgen herumwälzte, seufzte er und sprach zu seiner Frau:'] Prediction: ['Ein Mann hat sich vor Sorgen im Bette Gedanken geschwälzt.\nDer Bette-Gedanken-Bette-Geschäftsführer wurde nun abends im Bette Gedanken herumwälzt.\nNun sprach er zu seiner Frau:'] Label: [['Der Vater fragt seine neue Frau: Deshalb macht sich der Vater große Sorgen.']] Sacrebleu: {'score': 3.5148478313698046, 'counts': [6, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [21.428571428571427, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8666666666666667, 'translation_length': 28, 'reference_length': 15} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.0, 'rougeL': 0.08695652173913043, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 39.51388888888889} Flesh Reading Ease: 60.55 ---------------------------------------- Source: ['Er hatte wenig zu beißen und zu brechen, und einmal, als große Teuerung ins Land kam, konnte er auch das tägliche Brot nicht mehr schaffen.'] Prediction: ['Ein täglicher Brot hatte in der Nacht auf Sonntag einen Täter gefunden.\nEr konnte nicht mehr schaffen, wie er das tägliche Brot nicht mehr schaffen konnte.\nDie Täter waren wenig zu beißen und zu brechen, und einmal, als große Teuerung ins Land kam, konnte er auch das tägliche Brot nicht mehr schaffen.'] Label: [['Und die Familie hat nur wenig zu essen.\nDie Familie ist arm.']] Sacrebleu: {'score': 1.8392543051944334, 'counts': [5, 2, 0, 0], 'totals': [59, 58, 57, 56], 'precisions': [8.474576271186441, 3.4482758620689653, 0.8771929824561403, 0.44642857142857145], 'bp': 1.0, 'sys_len': 59, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.0847457627118644, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.214285714285714, 'translation_length': 59, 'reference_length': 14} Rouge: {'rouge1': 0.11267605633802817, 'rouge2': 0.02898550724637681, 'rougeL': 0.08450704225352114, 'rougeLsum': 0.08450704225352114} Sari: {'sari': 37.098765432098766} Flesh Reading Ease: 74.95 ---------------------------------------- Source: ['das Bübchen hieß Hänsel und das Mädchen Gretel.'] Prediction: ['Das Bübchen hieß Hänsel und das Mädchen Gretel.\nDas hat eine Mädchen mit Gretel geschickt.\nDas hat das Bübchen hieß Hänsel und das Mädchen Gretel geschickt.'] Label: [['Und das Mädchen heißt Gretel.\nDer Junge heißt Hänsel.']] Sacrebleu: {'score': 4.027629650933579, 'counts': [6, 2, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [20.689655172413794, 7.142857142857143, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.20689655172413793, 0.07142857142857142, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6363636363636362, 'translation_length': 29, 'reference_length': 11} Rouge: {'rouge1': 0.30434782608695654, 'rouge2': 0.18181818181818182, 'rougeL': 0.30434782608695654, 'rougeLsum': 0.30434782608695654} Sari: {'sari': 46.75224466891133} Flesh Reading Ease: 83.55 ---------------------------------------- Source: ['Vor einem großen Walde wohnte ein armer Holzhacker mit seiner Frau und seinen zwei Kindern;'] Prediction: ['Ein armer Holzhacker wurde in einem Walde von einem großen Walde in den Nähe von einem großen Walde verhaftet.\nDer Holzhacker wurde mit seiner Frau und seinen zwei Kindern verhaftet.'] Label: [['Der Vater hat 2 Kinder: Eine Familie lebt an einem großen Wald.']] Sacrebleu: {'score': 2.7588924449082466, 'counts': [4, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [12.5, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2857142857142856, 'translation_length': 32, 'reference_length': 14} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.09090909090909091, 'rougeL': 0.13043478260869568, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 38.73737373737374} Flesh Reading Ease: 59.7 ---------------------------------------- Source: ['der Wolf ist tot!« und tanzten mit ihrer Mutter vor Freude um den Brunnen herum. »Der Wolf ist tot! Als die sieben Geißlein das sahen, da kamen sie herbeigelaufen, riefen laut:'] Prediction: ['Ein Geißlein ist tot.\nAls sieben Geißlein das sahen, da kamen sie herbeigelaufen, riefen laut: Der Wolf ist tot.'] Label: [['Der Wolf ist tot!\nUnd rufen: Der Wolf ist tot!\nDie Ziegen∙mutter und die Ziegen∙kinder tanzen um den Brunnen.\nUnd die Ziegen∙mutter läuft mit.\nDie Ziegen∙kinder laufen zum Brunnen.\nDie Ziegen∙kinder sehen das.']] Sacrebleu: {'score': 9.508355169870951, 'counts': [10, 5, 3, 2], 'totals': [24, 23, 22, 21], 'precisions': [41.666666666666664, 21.73913043478261, 13.636363636363637, 9.523809523809524], 'bp': 0.513417119032592, 'sys_len': 24, 'ref_len': 40} Bleu: {'bleu': 0.09508355169870955, 'precisions': [0.4166666666666667, 0.21739130434782608, 0.13636363636363635, 0.09523809523809523], 'brevity_penalty': 0.513417119032592, 'length_ratio': 0.6, 'translation_length': 24, 'reference_length': 40} Rouge: {'rouge1': 0.23333333333333334, 'rouge2': 0.13793103448275862, 'rougeL': 0.2, 'rougeLsum': 0.23333333333333334} Sari: {'sari': 36.29176962062214} Flesh Reading Ease: 82.75 ---------------------------------------- Source: ['Und als er an den Brunnen kam und sich über das Wasser bückte und trinken wollte, da zogen ihn die schweren Steine hinein und er mußte jämmerlich ersaufen.'] Prediction: ['Ein Brunnen-Brunnen kam an den Brunnen und trinkte sich über das Wasser.\nDer Brunnen-Brunnen wollte sich über das Wasser bückte und trinken wollte, da er die schweren Steine hinein und er mußte jämmerlich ersaufen.'] Label: [['Und ertrinkt.\nDer Wolf fällt in den Brunnen.\nDie Steine ziehen den Wolf in den Brunnen.\nAber die Steine im Bauch vom Wolf sind schwer.\nDeshalb lehnt sich der Wolf über den Rand vom Brunnen.\nDer Wolf will aus dem Brunnen trinken.']] Sacrebleu: {'score': 2.632434839407579, 'counts': [10, 2, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [27.027027027027028, 5.555555555555555, 1.4285714285714286, 0.7352941176470589], 'bp': 0.742823140219264, 'sys_len': 37, 'ref_len': 48} Bleu: {'bleu': 0.0, 'precisions': [0.2702702702702703, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 0.7428231402192642, 'length_ratio': 0.7708333333333334, 'translation_length': 37, 'reference_length': 48} Rouge: {'rouge1': 0.2926829268292683, 'rouge2': 0.025, 'rougeL': 0.1951219512195122, 'rougeLsum': 0.2682926829268293} Sari: {'sari': 37.56064805032264} Flesh Reading Ease: 69.4 ---------------------------------------- Source: ["Ich meinte es wären sechs Geißlein so sind's lauter Wackerstein.«"] Prediction: ['Ein Geißlein wäre sechs Geißlein so sind sechs sechs Geißlein.\nDie Welt ist eine der besten Geißlein in der Schweiz.\nDie Welt ist eine der besten Geißlein in der Schweiz.'] Label: [['So wie Steine.\nDie Ziegen∙kinder sind schwer.']] Sacrebleu: {'score': 2.6711961764401657, 'counts': [4, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [12.121212121212121, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.12121212121212122, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6666666666666665, 'translation_length': 33, 'reference_length': 9} Rouge: {'rouge1': 0.13636363636363638, 'rouge2': 0.0, 'rougeL': 0.0909090909090909, 'rougeLsum': 0.13636363636363638} Sari: {'sari': 49.82403217697335} Flesh Reading Ease: 93.95 ---------------------------------------- Source: ['Als er aber anfing zu gehen und sich hin und her zu bewegen, so stießen die Steine in seinem Bauch aneinander und rappelten.'] Prediction: ['Ein Bauchfahrer stieg von einem Steine in seinem Bauch aneinander und rappelte dabei.\nAls er aber anfing zu gehen und sich hin und her zu bewegen, so stießen die Steine in seinem Bauch aneinander und rappelten.'] Label: [['Die Steine bewegen sich im Bauch vom Wolf.']] Sacrebleu: {'score': 1.4104555382959003, 'counts': [5, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [12.820512820512821, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.1282051282051282, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.333333333333333, 'translation_length': 39, 'reference_length': 9} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.046511627906976744, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 37.57142857142857} Flesh Reading Ease: 68.4 ---------------------------------------- Source: ['Als der Wolf endlich ausgeschlafen hatte, machte er sich auf die Beine, und weil ihm die Steine im Magen so großen Durst erregten, so wollte er zu einem Brunnen gehen und trinken.'] Prediction: ['Ein Wolf hatte sich im Magen so großen Durst erregt, weil er die Steine im Magen so großen Durst erregten, so wollte er zu einem Brunnen gehen und trinken.\nAls der Wolf endlich ausgeschlafen hatte, machte er sich auf die Beine, und weil ihm die Steine im Magen so großen Durst erregten, so wollte er zu einem Brunnen gehen und trinken.'] Label: [['Der Wolf geht zum Brunnen.\nDie Steine im Bauch haben den Wolf durstig gemacht.\nDer Wolf hat Durst.\nNach einer Weile wacht der Wolf auf.']] Sacrebleu: {'score': 1.8911446578765698, 'counts': [10, 2, 0, 0], 'totals': [68, 67, 66, 65], 'precisions': [14.705882352941176, 2.985074626865672, 0.7575757575757576, 0.38461538461538464], 'bp': 1.0, 'sys_len': 68, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.14705882352941177, 0.029850746268656716, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3448275862068964, 'translation_length': 68, 'reference_length': 29} Rouge: {'rouge1': 0.20224719101123595, 'rouge2': 0.06896551724137931, 'rougeL': 0.1797752808988764, 'rougeLsum': 0.20224719101123595} Sari: {'sari': 38.804966962861705} Flesh Reading Ease: 61.75 ---------------------------------------- Source: ['Dann nähte ihn die Alte in aller Geschwindigkeit wieder zu, daß er nichts merkte und sich nicht einmal regte.'] Prediction: ['Ein Mann nähte die Alte in aller Geschwindigkeit wieder zu, daß er nichts merkte und sich nicht einmal regte.\nDas hatte er nicht einmal merkte und nicht einmal regte.'] Label: [['Der Wolf schläft weiter.\nDer Wolf merkt nichts.\nUnd die Ziegen∙mutter näht den Bauch vom Wolf zu.\nUnd die Ziegen∙mutter nimmt die Nadel.\nDie Ziegen∙mutter nimmt den Faden.']] Sacrebleu: {'score': 1.681194938544026, 'counts': [5, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [15.625, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 0.9692332344763441, 'sys_len': 32, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.15625, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9692332344763441, 'length_ratio': 0.9696969696969697, 'translation_length': 32, 'reference_length': 33} Rouge: {'rouge1': 0.1904761904761905, 'rouge2': 0.0, 'rougeL': 0.09523809523809525, 'rougeLsum': 0.15873015873015872} Sari: {'sari': 36.80555555555556} Flesh Reading Ease: 77.75 ---------------------------------------- Source: ['« Da schleppten die sieben Geißerchen in aller Eile die Steine herbei und steckten sie ihm in den Bauch, soviel sie hineinbringen konnten.'] Prediction: ['Die sieben Geißerchen in aller Eile sind in den Bauch geschleppt.\nSie waren von einem Bauch in den Bauch geschleppt.\nDie Steine wurde von einem anderen Geißerchen in aller Eile geschleppt.'] Label: [['Und die Ziegen∙kinder legen die Steine in den Bauch vom Wolf.\nDie Ziegen∙kinder holen große Steine.']] Sacrebleu: {'score': 5.542059607281022, 'counts': [7, 3, 1, 0], 'totals': [34, 33, 32, 31], 'precisions': [20.58823529411765, 9.090909090909092, 3.125, 1.6129032258064515], 'bp': 1.0, 'sys_len': 34, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.20588235294117646, 0.09090909090909091, 0.03125, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8888888888888888, 'translation_length': 34, 'reference_length': 18} Rouge: {'rouge1': 0.23076923076923078, 'rouge2': 0.12000000000000002, 'rougeL': 0.23076923076923078, 'rougeLsum': 0.23076923076923078} Sari: {'sari': 45.83986415882968} Flesh Reading Ease: 70.25 ---------------------------------------- Source: ['Die Alte aber sagte: »Jetzt geht und sucht Wackersteine, damit wollen wir dem gottlosen Tier den Bauch füllen, solange es noch im Schlafe liegt.'] Prediction: ['Wackersteine sucht den Bauch des Tieres.\nDie Alte sagt: Wackersteine wollen den Bauch füllen, solange es noch im Schlafe liegt.'] Label: [['Vielleicht wacht der Wolf gleich auf.\nBeeilt euch.\nDie Steine legen wir in den Bauch vom Wolf.\nAber die Ziegen∙mutter sagt: Holt schnell große Steine.']] Sacrebleu: {'score': 4.411267996401316, 'counts': [7, 3, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [29.166666666666668, 13.043478260869565, 2.272727272727273, 1.1904761904761905], 'bp': 0.7788007830714049, 'sys_len': 24, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.2916666666666667, 0.13043478260869565, 0.0, 0.0], 'brevity_penalty': 0.7788007830714049, 'length_ratio': 0.8, 'translation_length': 24, 'reference_length': 30} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.043478260869565216, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 38.367327117327115} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Da herzten sie ihre liebe Mutter und hüpften wie ein Schneider, der Hochzeit hält.'] Prediction: ['Eine Mutter hat ihre Liebe einen Schneider aufgefunden.\nDie Mutter hält ihre Liebe und hüpften wie ein Schneider, der Hochzeit hält.'] Label: [['Und die Ziegen∙kinder tanzen.\nDie Ziegen∙kinder freuen sich.\nDie Ziegen∙mutter umarmt ihre Ziegen∙kinder.']] Sacrebleu: {'score': 3.7419436034576044, 'counts': [4, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [16.666666666666668, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 1.0, 'sys_len': 24, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 24, 'reference_length': 16} Rouge: {'rouge1': 0.19512195121951217, 'rouge2': 0.0, 'rougeL': 0.14634146341463414, 'rougeLsum': 0.19512195121951217} Sari: {'sari': 38.51388888888889} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['Dann schnitt sie dem Ungetüm den Wanst auf und kaum hatte sie einen Schnitt gethan, so streckte schon ein Geißlein den Kopf heraus, und als sie weiter schnitt, so sprangen nacheinander alle sechs heraus und waren noch alle am Leben, und hatten nicht einmal Schaden gelitten, denn das Ungetüm hatte sie in der Gier ganz hinuntergeschluckt.'] Prediction: ['Eine Frau hatte einen Schnitt gethan, als sie weiter schnitt, und sprangen alle sechs heraus und waren noch alle am Leben.\nDann schnitt sie dem Ungetüm den Wanst auf und kaum hatte sie einen Schnitt gethan.'] Label: [['Die Ziegen∙kinder klettern aus dem Bauch vom Wolf.\nUnd alle Ziegen∙kinder leben.\nAlle Ziegen∙kinder bewegen sich.\nDie Ziegen∙mutter sieht das 1.\nZiegen∙kind.\nUnd die Ziegen∙mutter schneidet den Bauch vom Wolf auf.\nDie Ziegen∙mutter nimmt jetzt die Schere.']] Sacrebleu: {'score': 1.3010257467471835, 'counts': [6, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [15.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 0.9048374180359595, 'sys_len': 40, 'ref_len': 44} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9048374180359595, 'length_ratio': 0.9090909090909091, 'translation_length': 40, 'reference_length': 44} Rouge: {'rouge1': 0.19753086419753088, 'rouge2': 0.0, 'rougeL': 0.12345679012345678, 'rougeLsum': 0.19753086419753088} Sari: {'sari': 36.132275132275126} Flesh Reading Ease: 85.95 ---------------------------------------- Source: ['« Da mußte das Geißlein nach Hause laufen und Schere, Nadel und Zwirn holen.'] Prediction: ['Das Geißlein in der Nähe von Zwirn ist ein Geißlein.\nDie Welt ist ein grosser Rekord.\nDie Welt ist ein grosser Rekord.'] Label: [['Das 7.\nZiegen∙kind holt diese Dinge.\nUnd einen Faden.\nUnd eine Nadel.\nDie Ziegen∙mutter sagt zum 7.\nZiegen∙kind: Hol mir eine Schere.']] Sacrebleu: {'score': 3.2278061551982984, 'counts': [5, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 0.8521437889662115, 'sys_len': 25, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 0.8521437889662112, 'length_ratio': 0.8620689655172413, 'translation_length': 25, 'reference_length': 29} Rouge: {'rouge1': 0.08, 'rouge2': 0.0, 'rougeL': 0.08, 'rougeLsum': 0.08} Sari: {'sari': 52.143939393939384} Flesh Reading Ease: 96.65 ---------------------------------------- Source: ['»Ach Gott,« dachte sie, »sollten meine armen Kinder, die er zum Abendbrot hinuntergewürgt hat, noch am Leben sein?'] Prediction: ['Eine Kinder-Kinder, die zum Abendbrot hinuntergewürgt hat, wurde noch am Leben sein.\nSie wollten ihnen nicht mehr am Leben sein, sondern auch auch am Leben sein.\nWir haben die Kinder dazu entdeckt, wie sie sie sich dabei dachten.'] Label: [['Meine Ziegen∙kinder leben noch.\nDie Ziegen∙mutter denkt:']] Sacrebleu: {'score': 0.9668670750672484, 'counts': [2, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [4.444444444444445, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.044444444444444446, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.0, 'translation_length': 45, 'reference_length': 9} Rouge: {'rouge1': 0.163265306122449, 'rouge2': 0.0, 'rougeL': 0.12244897959183673, 'rougeLsum': 0.12244897959183673} Sari: {'sari': 36.257045088566834} Flesh Reading Ease: 73.7 ---------------------------------------- Source: ['Sie betrachtete ihn von allen Seiten und sah, daß in seinem angefüllten Bauch sich etwas regte und zappelte.'] Prediction: ['Eine Frau wurde von allen Seiten von ihrem Mann aufgefunden, da sie sich in seinem angefüllten Bauch sich etwas regte und zappelte.\nDie Frau war mit ihrem Mann aufgefunden und wurde von allen Seiten von allen Seiten gesagt.'] Label: [['Der Bauch vom Wolf bewegt sich.\nDer Wolf hat einen dicken Bauch.\nDie Ziegen∙mutter guckt sich den Wolf genau an:']] Sacrebleu: {'score': 2.3569062221449553, 'counts': [6, 1, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [14.634146341463415, 2.5, 1.2820512820512822, 0.6578947368421053], 'bp': 1.0, 'sys_len': 41, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.14634146341463414, 0.025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7826086956521738, 'translation_length': 41, 'reference_length': 23} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 37.16537467700258} Flesh Reading Ease: 61.55 ---------------------------------------- Source: ['Als sie auf die Wiese kam, so lag da der Wolf an dem Baum und schnarchte, daß die Äste zitterten.'] Prediction: ['Eine Äste wurde auf die Wiese von einem Baum geschnarcht.\nSie war auf die Wiese zu einem Wolf und schnarchte, da sie die Äste zitterten.\nDie Äste waren nicht bekannt, sondern auf die Wiese.'] Label: [['Und der Wolf schnarcht laut.\nDer Wolf schläft.\nDer Wolf liegt unter einem Baum.\nDie Ziegen∙mutter sieht den Wolf:']] Sacrebleu: {'score': 3.068466632962121, 'counts': [7, 2, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [17.94871794871795, 5.2631578947368425, 1.3513513513513513, 0.6944444444444444], 'bp': 1.0, 'sys_len': 39, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.1794871794871795, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6956521739130435, 'translation_length': 39, 'reference_length': 23} Rouge: {'rouge1': 0.18181818181818185, 'rouge2': 0.03773584905660378, 'rougeL': 0.14545454545454542, 'rougeLsum': 0.18181818181818185} Sari: {'sari': 37.3634246188594} Flesh Reading Ease: 75.1 ---------------------------------------- Source: ['Endlich ging sie in ihrem Jammer hinaus und das jüngste Geißlein lief mit.'] Prediction: ['Eine junge Frau wurde in ihrem Jammer hinausgefunden.\nSie lief mit ihrem Geißlein.\nDie Frau wurde dabei von ihrem Jammer hinausgefunden.'] Label: [['Und das 7.\nZiegen∙kind geht mit.\nDie Ziegen∙mutter geht nach draußen.']] Sacrebleu: {'score': 3.9566236357113054, 'counts': [5, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [20.833333333333332, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 1.0, 'sys_len': 24, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.20833333333333334, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7142857142857142, 'translation_length': 24, 'reference_length': 14} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.0, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 41.72839506172839} Flesh Reading Ease: 61.85 ---------------------------------------- Source: ['Da könnt ihr denken, wie sie über ihre armen Kinder geweint hat.'] Prediction: ['Eine Frau hat über ihre armen Kinder geweint.\nSie könnt ihr denken, wie sie über ihre armen Kinder geweint hat.\nDie Frau könnte sie denken, wie sie über ihre armen Kinder geweint hat.'] Label: [['Jetzt weint auch die Ziegen∙mutter.']] Sacrebleu: {'score': 0.969094302009921, 'counts': [1, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [2.6315789473684212, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.02631578947368421, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.333333333333333, 'translation_length': 38, 'reference_length': 6} Rouge: {'rouge1': 0.048780487804878044, 'rouge2': 0.0, 'rougeL': 0.048780487804878044, 'rougeLsum': 0.048780487804878044} Sari: {'sari': 36.37566137566138} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['« Sie holte es heraus und es erzählte ihr, daß der Wolf gekommen wäre und die anderen alle gefressen hätte. »Liebe Mutter, ich stecke im Uhrkasten.'] Prediction: ['Eine Frau wurde im Uhrkasten von einem Wolf gefunden.\nSie holte ihr, daß der Wolf gekommen wäre und die anderen alle alle gefressen hätten.\nDie Frau war mit dem Wolf auf der Flucht und stecke im Uhrkasten.'] Label: [['Und der Wolf hat die anderen Ziegen∙kinder gefressen.\nUnd das 7.\nZiegen∙kind sagt: Der Wolf war hier.\nUnd findet das 7.\nZiegen∙kind.\nDa guckt die Ziegen∙mutter in den Uhren∙kasten.\nIch bin hier.\nLiebe Ziegen·mutter.']] Sacrebleu: {'score': 3.033031303077385, 'counts': [10, 2, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [24.390243902439025, 5.0, 1.2820512820512822, 0.6578947368421053], 'bp': 0.9523901680108287, 'sys_len': 41, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.24390243902439024, 0.05, 0.0, 0.0], 'brevity_penalty': 0.9523901680108287, 'length_ratio': 0.9534883720930233, 'translation_length': 41, 'reference_length': 43} Rouge: {'rouge1': 0.3037974683544304, 'rouge2': 0.05194805194805195, 'rougeL': 0.17721518987341775, 'rougeLsum': 0.27848101265822783} Sari: {'sari': 39.43168819870057} Flesh Reading Ease: 74.1 ---------------------------------------- Source: ['Endlich als sie an das jüngste kam, da rief eine feine Stimme:'] Prediction: ['Eine Frau aus der Nacht auf Sonntag kam an das jüngste, als sie an das jüngste kam.\nDie Frau rief eine feine Stimme.'] Label: [['Plötzlich ruft eine Stimme:']] Sacrebleu: {'score': 1.7179060012299232, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.2, 'translation_length': 26, 'reference_length': 5} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 31.26984126984127} Flesh Reading Ease: 92.45 ---------------------------------------- Source: ['Sie rief sie nacheinander bei Namen, aber niemand antwortete.'] Prediction: ['Eine Frau rief sie nacheinander bei Namen, aber niemand antwortete.\nDie Frau rief sie nacheinander bei Namen, aber niemand antwortete.'] Label: [['Aber die Ziegen∙kinder antworten nicht.\nUnd die Ziegen∙mutter ruft ihre Ziegen∙kinder.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8461538461538463, 'translation_length': 24, 'reference_length': 13} Rouge: {'rouge1': 0.11764705882352941, 'rouge2': 0.0, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.11764705882352941} Sari: {'sari': 37.62626262626262} Flesh Reading Ease: 58.85 ---------------------------------------- Source: ['Sie suchte ihre Kinder, aber nirgends waren sie zu finden.'] Prediction: ['Eine Frau suchte ihre Kinder, aber nirgends waren sie zu finden.\nSie suchte ihre Kinder, aber nirgends waren sie zu finden.'] Label: [['Die Ziegen∙mutter sucht ihre Ziegen∙kinder.']] Sacrebleu: {'score': 1.7911710595643588, 'counts': [2, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [8.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.08, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.166666666666667, 'translation_length': 25, 'reference_length': 6} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.0, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 35.8974358974359} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['Die Hausthür stand sperrweit auf: Tisch, Stühle und Bänke waren umgeworfen, die Waschschüssel lag in Scherben, Decke und Kissen waren aus dem Bett gezogen. Ach, was mußte sie da erblicken!'] Prediction: ['Die Hausthür in der Schweiz sperrweit auf: Tisch, Stühle und Bänke waren umgeworfen, die Waschschüssel lag in Scherben, Decke und Kissen waren aus dem Bett gezogen.\nAufgrund der Hausthür waren die Waschschüssel in Scherben, Decke und Kissen aus dem Bett gezogen.\nAch, was mußte sie da erblicken!'] Label: [['Ein Stuhl ist kaputt.\nScherben liegen auf dem Boden.\nDer Tisch ist umgefallen.\nDie Ziegen∙mutter sieht: Die Ziegen∙mutter geht vorsichtig ins Haus.\nUnd erschrickt: Die Tür vom Haus ist offen.']] Sacrebleu: {'score': 1.0912453767932568, 'counts': [8, 0, 0, 0], 'totals': [56, 55, 54, 53], 'precisions': [14.285714285714286, 0.9090909090909091, 0.46296296296296297, 0.2358490566037736], 'bp': 1.0, 'sys_len': 56, 'ref_len': 37} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5135135135135136, 'translation_length': 56, 'reference_length': 37} Rouge: {'rouge1': 0.22988505747126436, 'rouge2': 0.0, 'rougeL': 0.11494252873563218, 'rougeLsum': 0.18390804597701146} Sari: {'sari': 37.46031746031746} Flesh Reading Ease: 70.7 ---------------------------------------- Source: ['Nicht lange danach kam die alte Geiß aus dem Walde wieder heim.'] Prediction: ['Eine alte Geiß aus dem Walde wurde wieder heimgefunden.\nDie alte Geiß kam nicht lange danach aus dem Walde wieder heim.'] Label: [['Jetzt kommt die Ziegen∙mutter nach Hause.']] Sacrebleu: {'score': 1.6466642419110007, 'counts': [1, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [4.3478260869565215, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.043478260869565216, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2857142857142856, 'translation_length': 23, 'reference_length': 7} Rouge: {'rouge1': 0.07142857142857142, 'rouge2': 0.0, 'rougeL': 0.07142857142857142, 'rougeLsum': 0.07142857142857142} Sari: {'sari': 35.55555555555556} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['Als der Wolf seine Lust gebüßt hatte, trollte er sich fort, legte sich draußen auf der grünen Wiese unter einen Baum und fing an zu schlafen.'] Prediction: ['Ein Wolf hatte seine Lust gebüßt und trollte sich fort.\nAls er seine Lust gebüßt hatte, trollte er sich fort.\nDer Wolf fing an zu schlafen.'] Label: [['Und schläft ein.\nDer Wolf legt sich unter einen Baum.\nDer Wolf geht hinaus auf die Wiese.\nUnd müde.\nJetzt ist der Wolf satt.']] Sacrebleu: {'score': 5.71168499906942, 'counts': [7, 2, 1, 0], 'totals': [30, 29, 28, 27], 'precisions': [23.333333333333332, 6.896551724137931, 3.5714285714285716, 1.8518518518518519], 'bp': 1.0, 'sys_len': 30, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.23333333333333334, 0.06896551724137931, 0.03571428571428571, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0344827586206897, 'translation_length': 30, 'reference_length': 29} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.03846153846153846, 'rougeL': 0.1851851851851852, 'rougeLsum': 0.1851851851851852} Sari: {'sari': 32.87371651209181} Flesh Reading Ease: 95.25 ---------------------------------------- Source: ['eins nach dem andern schluckte er in seinen Rachen; Aber der Wolf fand sie alle und machte nicht langes Federlesen:'] Prediction: ['Ein Wolf schluckte in seinen Rachen und schluckte nach dem andern einen Rachen.\nDer Wolf fand sie alle und machte nicht langes Federlesen.\nDie beiden waren nicht alle, sondern auch ein anderer.'] Label: [['Also verschluckt der Wolf alle 6 Ziegen∙kinder.\nDer Wolf hat großen Hunger.\nDer Wolf findet 6 Ziegen∙kinder.']] Sacrebleu: {'score': 4.717193153042004, 'counts': [7, 2, 1, 0], 'totals': [36, 35, 34, 33], 'precisions': [19.444444444444443, 5.714285714285714, 2.9411764705882355, 1.5151515151515151], 'bp': 1.0, 'sys_len': 36, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.19444444444444445, 0.05714285714285714, 0.029411764705882353, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 36, 'reference_length': 20} Rouge: {'rouge1': 0.15384615384615385, 'rouge2': 0.039999999999999994, 'rougeL': 0.11538461538461538, 'rougeLsum': 0.15384615384615385} Sari: {'sari': 38.79385964912281} Flesh Reading Ease: 75.7 ---------------------------------------- Source: ['nur das jüngste in dem Uhrkasten das fand er nicht.'] Prediction: ['Ein junger Mann hatte am Freitagabend einen jüngsten in der Schweiz geschlossen.\nEr fand nicht.\nEr fand nur das jüngste in dem Uhrkasten das nicht.'] Label: [['Der Wolf guckt nämlich nicht in den Uhren∙kasten.\nAber das 7.\nZiegen·kind findet der Wolf nicht.']] Sacrebleu: {'score': 3.776949794525175, 'counts': [8, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [28.571428571428573, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4736842105263157, 'translation_length': 28, 'reference_length': 19} Rouge: {'rouge1': 0.21739130434782608, 'rouge2': 0.0, 'rougeL': 0.21739130434782608, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 40.53130511463844} Flesh Reading Ease: 89.8 ---------------------------------------- Source: ['Das eine sprang unter den Tisch, das zweite ins Bett, das dritte in den Ofen, das vierte in die Küche, das fünfte in den Schrank, das sechste unter die Waschschüssel, das siebente in den Kasten der Wanduhr.'] Prediction: ['Eine Frau sprang unter den Tisch, das in den Ofen, das vierte in die Küche, das fünfte in den Schrank, das sechste unter die Waschschüssel, das siebente in den Kasten der Wanduhr.\nDie Frau sprang unter den Tisch, das zweite ins Bett, das vierte in die Küche, das fünfte in den Schrank, das fünfte in den Schrank, das sechste unter die Waschschüssel, das siebente in den Kasten der Wanduhr.'] Label: [['Das 7.\nZiegen∙kind versteckt sich in der Wand∙uhr.\nDas 6.\nZiegen∙kind versteckt sich in der Wasch∙schüssel.\nDas 5.\nZiegen∙kind versteckt sich im Schrank.\nDas 4.\nZiegen∙kind versteckt sich in der Küche.\nDas 3.\nZiegen∙kind versteckt sich im Ofen.\nDas 2.\nZiegen∙kind versteckt sich im Bett.\nDas 1.\nZiegen∙kind versteckt sich unter dem Tisch.']] Sacrebleu: {'score': 0.8340399569526746, 'counts': [13, 0, 0, 0], 'totals': [82, 81, 80, 79], 'precisions': [15.853658536585366, 0.6172839506172839, 0.3125, 0.15822784810126583], 'bp': 1.0, 'sys_len': 82, 'ref_len': 67} Bleu: {'bleu': 0.0, 'precisions': [0.15853658536585366, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2238805970149254, 'translation_length': 82, 'reference_length': 67} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.08695652173913043, 'rougeL': 0.2142857142857143, 'rougeLsum': 0.2714285714285714} Sari: {'sari': 37.96992481203007} Flesh Reading Ease: 63.6 ---------------------------------------- Source: ['Sie erschraken und wollten sich verstecken.'] Prediction: ['Eine Frau wurde erschraken und wollten sich verstecken.\nSie wollten sich verstecken.\nSie wollten sich verstecken.'] Label: [['Die Ziegen∙kinder verstecken sich im Haus: Und die Ziegen∙kinder haben große Angst.\nDie Ziegen∙kinder erschrecken ganz fürchterlich.']] Sacrebleu: {'score': 2.7162118995714084, 'counts': [4, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [21.05263157894737, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 0.9487294800164372, 'sys_len': 19, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9487294800164372, 'length_ratio': 0.95, 'translation_length': 19, 'reference_length': 20} Rouge: {'rouge1': 0.15789473684210525, 'rouge2': 0.0, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.052631578947368425} Sari: {'sari': 39.3939393939394} Flesh Reading Ease: 69.4 ---------------------------------------- Source: ['Wer aber hereinkam, das war der Wolf.'] Prediction: ['Ein Wolf ist im Alter von 99 Jahren gestorben.\nEr war der Wolf, der seine Leistungen auf den Wolfsätze auf den Markt bringen.\nDie beiden waren nicht mehr, sondern auch der beiden.'] Label: [['Doch vor der Tür steht der böse Wolf.']] Sacrebleu: {'score': 1.4091499441909465, 'counts': [4, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [10.81081081081081, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.10810810810810811, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.111111111111111, 'translation_length': 37, 'reference_length': 9} Rouge: {'rouge1': 0.13953488372093023, 'rouge2': 0.0, 'rougeL': 0.0930232558139535, 'rougeLsum': 0.13953488372093023} Sari: {'sari': 46.527777777777786} Flesh Reading Ease: 81.55 ---------------------------------------- Source: ['»Zeig uns erst deine Pfote, damit wir wissen, daß du unser liebes Mütterchen bist.« Da legte er die Pfote ins Fenster und als sie sahen, daß sie weiß war, so glaubten sie, es wäre alles wahr, was er sagte, und machten die Thür auf.'] Prediction: ['Ein Mann hatte eine Pfote ins Fenster und legte sie die Pfote ins Fenster.\nDiese wurde von der Thür aufgefunden.\nDie Thür machte den Mann auf, dass er sie sich aufmerksam machte.'] Label: [['Und die Ziegen∙kinder machen die Tür auf.\nDie Ziegen∙kinder freuen sich.\nDie Ziegen∙kinder denken: Das ist unsere Ziegen∙mutter.\nDie Ziegen∙kinder sehen eine weiße Pfote.\nDer Wolf hält seine Pfote vor das Fenster.\nAber zeig uns erst deine Pfote.']] Sacrebleu: {'score': 2.9084975511370765, 'counts': [11, 2, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [30.555555555555557, 5.714285714285714, 1.4705882352941178, 0.7575757575757576], 'bp': 0.7788007830714049, 'sys_len': 36, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.3055555555555556, 0.05714285714285714, 0.0, 0.0], 'brevity_penalty': 0.7788007830714049, 'length_ratio': 0.8, 'translation_length': 36, 'reference_length': 45} Rouge: {'rouge1': 0.275, 'rouge2': 0.0, 'rougeL': 0.15, 'rougeLsum': 0.25} Sari: {'sari': 38.03844856405156} Flesh Reading Ease: 81.55 ---------------------------------------- Source: ['Nun ging der Bösewicht zum drittenmal zu der Hausthür, klopfte an und sprach: »Macht mir auf, Kinder, euer liebes Mütterchen ist heimgekommen und hat jedem von euch etwas aus dem Walde mitgebracht.'] Prediction: ['Einige Kinder sind am Sonntag in einem Walde in der Nähe von Mütterchen gestorben.\nEinige von ihnen waren aus dem Walde mitgebracht.\nDie Kinder sind dabei, dass sie von euch etwas aus dem Walde mitgebracht haben.'] Label: [['Ich habe Geschenke für euch.\nMacht die Tür auf.\nUnd ruft: Liebe Kinder.\nDer Wolf klopft an die Tür.\nSo geht der Wolf wieder zum Haus von den Ziegen∙kindern.']] Sacrebleu: {'score': 1.494348998143061, 'counts': [7, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [17.5, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.175, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 40, 'reference_length': 35} Rouge: {'rouge1': 0.14084507042253522, 'rouge2': 0.0, 'rougeL': 0.11267605633802817, 'rougeLsum': 0.14084507042253522} Sari: {'sari': 35.48460144927537} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Da fürchtete sich der Müller und machte ihm die Pfote weiß.'] Prediction: ['Ein Mann fürchtete sich mit einem Pfote und machte ihm die Pfote weiß.\nDer Müller fürchtete sich und machte ihm die Pfote weiß.'] Label: [['Deshalb macht der Müller weißes Mehl auf die Pfote vom Wolf.\nJetzt hat der Müller Angst.']] Sacrebleu: {'score': 3.787865612579481, 'counts': [5, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3888888888888888, 'translation_length': 25, 'reference_length': 18} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.13953488372093023, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 41.875} Flesh Reading Ease: 80.75 ---------------------------------------- Source: ['« Der Müller dachte, »der Wolf will einen betrügen« und weigerte sich, aber der Wolf sprach: »Wenn du es nicht thust, so fresse ich dich.«'] Prediction: ['Der Müller dachte, wie er Wolf einen betrügen.\nDer Wolf sprach von einem ähnlichen Schlagzeilen.\nDer Müller dachte, wie er den Wolf einen betrügen.'] Label: [['Oder ich fresse dich!\nUnd sagt: Mach weißes Mehl auf meine Pfote.\nDer Wolf ärgert sich.\nIch helfe dir nicht.\nDer Müller antwortet: Du bist der böse Wolf.']] Sacrebleu: {'score': 7.038176902477223, 'counts': [8, 4, 2, 0], 'totals': [29, 28, 27, 26], 'precisions': [27.586206896551722, 14.285714285714286, 7.407407407407407, 1.9230769230769231], 'bp': 0.8131037598190377, 'sys_len': 29, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.27586206896551724, 0.14285714285714285, 0.07407407407407407, 0.0], 'brevity_penalty': 0.8131037598190377, 'length_ratio': 0.8285714285714286, 'translation_length': 29, 'reference_length': 35} Rouge: {'rouge1': 0.23728813559322032, 'rouge2': 0.10526315789473685, 'rougeL': 0.20338983050847456, 'rougeLsum': 0.23728813559322032} Sari: {'sari': 39.45658515317958} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['»Streu mir weißes Mehl auf meine Pfote.'] Prediction: ['Ein Mehl auf meine Pfote ist immer mehr als ein Mehl.\nImmer mehr als ein Mehl wird das Mehl auf meine Pfote geschickt.\nDie Frau ist mit dem Mehl auf meine Pfote geschickt.'] Label: [['Mach weißes Mehl auf meine Pfote.']] Sacrebleu: {'score': 6.7871815015683685, 'counts': [5, 3, 2, 1], 'totals': [36, 35, 34, 33], 'precisions': [13.88888888888889, 8.571428571428571, 5.882352941176471, 3.0303030303030303], 'bp': 1.0, 'sys_len': 36, 'ref_len': 7} Bleu: {'bleu': 0.06787181501568366, 'precisions': [0.1388888888888889, 0.08571428571428572, 0.058823529411764705, 0.030303030303030304], 'brevity_penalty': 1.0, 'length_ratio': 5.142857142857143, 'translation_length': 36, 'reference_length': 7} Rouge: {'rouge1': 0.2, 'rouge2': 0.15789473684210525, 'rougeL': 0.2, 'rougeLsum': 0.2} Sari: {'sari': 41.60353535353536} Flesh Reading Ease: 92.95 ---------------------------------------- Source: ['Und als ihm der Bäcker die Pfote bestrichen hatte, so lief er zum Müller und sprach:'] Prediction: ['Ein Bäcker hatte die Pfote bestrichen und hatte die Pfote bestrichen.\nDer Bäcker sprach zum Müller und sprach: Er hatte die Pfote bestrichen und hatte die Pfote bestrichen.'] Label: [['Also sagt der Wolf zum Müller: Dann geht der Wolf zum Müller.\nDeshalb macht der Bäcker Teig auf die Pfote vom Wolf.']] Sacrebleu: {'score': 4.0341101701202575, 'counts': [8, 2, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [25.806451612903224, 6.666666666666667, 1.7241379310344827, 0.8928571428571429], 'bp': 1.0, 'sys_len': 31, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.25806451612903225, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.24, 'translation_length': 31, 'reference_length': 25} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.1851851851851852, 'rougeL': 0.21428571428571427, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 45.75573549257761} Flesh Reading Ease: 66.55 ---------------------------------------- Source: ['« Da lief der Wolf zu einem Bäcker und sprach: »Ich habe mich an den Fuß gestoßen, streich mir Teig darüber.«'] Prediction: ['Ein Bäcker aus dem Kanton Bern hatte am Sonntag einen Wolf gestoppt.\nDer Wolf war zu einem Bäcker und sprach: "Ich habe mich an den Fuß gestoßen, streich mir Teig darüber".'] Label: [['Mach mir Teig auf meine Pfote.\nMeine Pfote tut weh.\nDer Wolf sagt zum Bäcker: Der Wolf geht zum Bäcker.']] Sacrebleu: {'score': 5.546385070864082, 'counts': [10, 3, 1, 0], 'totals': [37, 36, 35, 34], 'precisions': [27.027027027027028, 8.333333333333334, 2.857142857142857, 1.4705882352941178], 'bp': 1.0, 'sys_len': 37, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.2702702702702703, 0.08333333333333333, 0.02857142857142857, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5416666666666667, 'translation_length': 37, 'reference_length': 24} Rouge: {'rouge1': 0.31578947368421045, 'rouge2': 0.14545454545454542, 'rougeL': 0.21052631578947367, 'rougeLsum': 0.2456140350877193} Sari: {'sari': 40.32355720952212} Flesh Reading Ease: 82.6 ---------------------------------------- Source: ['Aber der Wolf hatte seine schwarze Pfote in das Fenster gelegt, das sahen die Kinder und riefen: »Wir machen nicht auf, unsere Mutter hat keinen schwarzen Fuß wie du;'] Prediction: ['Eine Mutter hatte eine schwarze Pfote in einem Fenster gelegt, das sahen die Kinder und riefen.\nDie Kinder riefen ihre Pfote auf.\nDie Mutter hat keinen schwarzen Fuß wie du.'] Label: [['Deine Pfote ist schwarz.\nUnsere Ziegen∙mutter hat eine weiße Pfote.\nDu bist nicht unsere Ziegen∙mutter.\nDeshalb rufen die Ziegen∙kinder: Und die Ziegen∙kinder sehen eine schwarze Pfote.\nDie Ziegen∙kinder gucken aus dem Fenster.']] Sacrebleu: {'score': 5.516344562837626, 'counts': [11, 3, 1, 0], 'totals': [34, 33, 32, 31], 'precisions': [32.35294117647059, 9.090909090909092, 3.125, 1.6129032258064515], 'bp': 0.8890097654027757, 'sys_len': 34, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.3235294117647059, 0.09090909090909091, 0.03125, 0.0], 'brevity_penalty': 0.8890097654027757, 'length_ratio': 0.8947368421052632, 'translation_length': 34, 'reference_length': 38} Rouge: {'rouge1': 0.47058823529411764, 'rouge2': 0.12121212121212122, 'rougeL': 0.29411764705882354, 'rougeLsum': 0.35294117647058826} Sari: {'sari': 38.760469143176415} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Dann kam er zurück, klopfte an die Hausthür und rief: »Macht auf, ihr lieben Kinder, eure Mutter ist da und hat jedem von euch etwas mitgebracht.«'] Prediction: ['Ein Mann klopfte an die Hausthür und rief: Die Mutter ist da, ihr lieben Kinder.\nDer Mann klopfte an die Hausthür und rief: "Macht auf, ihr lieben Kinder, eure Mutter ist da und hat jedem von euch etwas mitgebracht".'] Label: [['Ich habe Geschenke für euch.\nMacht die Tür auf.\nUnd ruft: Liebe Kinder.\nDer Wolf klopft an die Tür.\nDann geht der Wolf wieder zum Haus von den Ziegen∙kindern.']] Sacrebleu: {'score': 4.430887934893373, 'counts': [12, 3, 1, 0], 'totals': [48, 47, 46, 45], 'precisions': [25.0, 6.382978723404255, 2.1739130434782608, 1.1111111111111112], 'bp': 1.0, 'sys_len': 48, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.06382978723404255, 0.021739130434782608, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3714285714285714, 'translation_length': 48, 'reference_length': 35} Rouge: {'rouge1': 0.32432432432432434, 'rouge2': 0.05555555555555556, 'rougeL': 0.24324324324324323, 'rougeLsum': 0.2972972972972973} Sari: {'sari': 39.641581087828854} Flesh Reading Ease: 78.6 ---------------------------------------- Source: ['die aß er und machte damit seine Stimme fein.'] Prediction: ['Ein Mann aus dem Kanton Bern feiert seine Stimme.\nEr war damit seine Stimme fein.\nDie Stimme aus dem Kanton wurde aufgefunden.'] Label: [['Der Wolf weiß nämlich: Kreide macht die Stimme hell.\nDer Wolf isst die Kreide.']] Sacrebleu: {'score': 1.9822566267103439, 'counts': [3, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [12.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.12, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4705882352941178, 'translation_length': 25, 'reference_length': 17} Rouge: {'rouge1': 0.10810810810810811, 'rouge2': 0.057142857142857134, 'rougeL': 0.10810810810810811, 'rougeLsum': 0.10810810810810811} Sari: {'sari': 38.854166666666664} Flesh Reading Ease: 79.1 ---------------------------------------- Source: ['« Da ging der Wolf fort zu einem Krämer und kaufte sich ein großes Stück Kreide;'] Prediction: ['Ein Kreider kaufte sich in einem großes Stück Kreide.\nDer Wolf war zu einem Krämer und kaufte sich ein großes Stück Kreide.'] Label: [['Der Wolf kauft ein großes Stück Kreide.\nDer Wolf geht in einen Laden.']] Sacrebleu: {'score': 25.51001274286627, 'counts': [9, 6, 5, 4], 'totals': [24, 23, 22, 21], 'precisions': [37.5, 26.08695652173913, 22.727272727272727, 19.047619047619047], 'bp': 1.0, 'sys_len': 24, 'ref_len': 15} Bleu: {'bleu': 0.25510012742866267, 'precisions': [0.375, 0.2608695652173913, 0.22727272727272727, 0.19047619047619047], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 24, 'reference_length': 15} Rouge: {'rouge1': 0.42857142857142855, 'rouge2': 0.35000000000000003, 'rougeL': 0.38095238095238093, 'rougeLsum': 0.42857142857142855} Sari: {'sari': 58.509891879457086} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['»Wir machen nicht auf,« riefen sie, »du bist unsere Mutter nicht, die hat eine feine und liebliche Stimme, aber deine Stimme ist rauh;'] Prediction: ['Eine Mutter hat eine feine und liebliche Stimme, aber deine Stimme ist rauh.\nDie Mutter hat eine feine und liebliche Stimme, aber deine Stimme ist rauh.'] Label: [['Und böse.\nAber deine Stimme ist dunkel.\nUnd freundlich.\nDie Stimme von unserer Ziegen∙mutter ist hell.\nDu bist nicht unsere Ziegen∙mutter.\nDeshalb rufen die Ziegen∙kinder:']] Sacrebleu: {'score': 6.321331511354372, 'counts': [8, 3, 1, 0], 'totals': [30, 29, 28, 27], 'precisions': [26.666666666666668, 10.344827586206897, 3.5714285714285716, 1.8518518518518519], 'bp': 0.9672161004820058, 'sys_len': 30, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.10344827586206896, 0.03571428571428571, 0.0], 'brevity_penalty': 0.967216100482006, 'length_ratio': 0.967741935483871, 'translation_length': 30, 'reference_length': 31} Rouge: {'rouge1': 0.4, 'rouge2': 0.1132075471698113, 'rougeL': 0.29090909090909095, 'rougeLsum': 0.3636363636363637} Sari: {'sari': 45.960166351308736} Flesh Reading Ease: 67.55 ---------------------------------------- Source: ['Aber die Geißerchen hörten an der rauhen Stimme, daß es der Wolf war.'] Prediction: ['Ein Wolf aus dem Kanton Graubünden hat sich am Sonntagabend einen rauhen Stimmen geschlossen.\nDer Wolf war nicht mehr, sondern auch auf die Strasse.\nDie Verantwortlichen hörten an der rauhen Stimme, da es der Wolf war.'] Label: [['Und böse.\nDie Stimme ist dunkel.']] Sacrebleu: {'score': 2.1297051846506916, 'counts': [4, 1, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [9.75609756097561, 2.5, 1.2820512820512822, 0.6578947368421053], 'bp': 1.0, 'sys_len': 41, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.0975609756097561, 0.025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.125, 'translation_length': 41, 'reference_length': 8} Rouge: {'rouge1': 0.08888888888888889, 'rouge2': 0.0, 'rougeL': 0.08888888888888889, 'rougeLsum': 0.08888888888888889} Sari: {'sari': 37.36772486772487} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['Es dauerte nicht lange, so klopfte jemand an die Hausthür und rief: »Macht auf, ihr lieben Kinder, eure Mutter ist da und hat jedem von euch etwas mitgebracht.«'] Prediction: ['Eine Mutter hat einen Kinder-Kinder-Kinder-Mutter mitgebracht.\nDie Mutter hat jedem von euch etwas mitgebracht.\nDie Hausthür ist nicht lange, so der Mutter.'] Label: [['Ich habe Geschenke für euch.\nMacht die Tür auf.\nEine Stimme ruft: Liebe Kinder.\nPlötzlich klopft es an der Tür.']] Sacrebleu: {'score': 2.2608914449138346, 'counts': [6, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [23.076923076923077, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.04, 'translation_length': 26, 'reference_length': 25} Rouge: {'rouge1': 0.24000000000000002, 'rouge2': 0.0, 'rougeL': 0.16, 'rougeLsum': 0.24000000000000002} Sari: {'sari': 35.01705029838023} Flesh Reading Ease: 61.55 ---------------------------------------- Source: ['Da meckerte die Alte und machte sich getrost auf den Weg.'] Prediction: ['Ein Alte-Besitzer meckerte sich auf den Weg.\nDie Alte meckerte sich und machte sich getrost auf den Weg.\nDie Alte meckerte sich und machte sich getrost auf den Weg.'] Label: [['Und die Ziegen∙mutter geht in den Wald.\nDie Ziegen∙mutter ist beruhigt.']] Sacrebleu: {'score': 2.7588924449082466, 'counts': [4, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [12.5, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4615384615384617, 'translation_length': 32, 'reference_length': 13} Rouge: {'rouge1': 0.18604651162790697, 'rouge2': 0.0, 'rougeL': 0.13953488372093023, 'rougeLsum': 0.13953488372093023} Sari: {'sari': 38.7037037037037} Flesh Reading Ease: 76.7 ---------------------------------------- Source: ['« Die Geißlein sagten: »Liebe Mutter, wir wollen uns schon in acht nehmen, ihr könnt ohne Sorge fortgehen.«'] Prediction: ['Mutter und ihr könnten sich in der Schweiz schon in acht nehmen, ihr könnt ohne Sorge fortgehen.\nDie Geißlein sind seit Beginn der Woche über die Tage nach dem Tod des Geißlein-Geschäfts gestorben.\nDie Geißlein sind seit Beginn der Woche über die Tage nach dem Tod des Geißlein-Geschäfts gestorben.'] Label: [['Wir passen gut auf uns auf.\nHab keine Angst.\nDie Ziegen∙kinder antworten: Liebe Mutter.']] Sacrebleu: {'score': 1.7268919138039225, 'counts': [5, 1, 0, 0], 'totals': [53, 52, 51, 50], 'precisions': [9.433962264150944, 1.9230769230769231, 0.9803921568627451, 0.5], 'bp': 1.0, 'sys_len': 53, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.09433962264150944, 0.019230769230769232, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.9444444444444446, 'translation_length': 53, 'reference_length': 18} Rouge: {'rouge1': 0.05405405405405406, 'rouge2': 0.0, 'rougeL': 0.02702702702702703, 'rougeLsum': 0.05405405405405406} Sari: {'sari': 33.11483739837398} Flesh Reading Ease: 75.95 ---------------------------------------- Source: ['Der Bösewicht verstellt sich oft, aber an seiner rauhen Stimme und an seinen schwarzen Füßen werdet ihr ihn gleich erkennen.'] Prediction: ['Der Bösewicht verstellt sich oft, aber an seinen schwarzen Füßen werdet ihr ihn gleich erkennen.\nDer Bösewicht verstellt sich oft, aber an seinen rauhen Stimmen und an seinen schwarzen Füßen werdet ihr ihn gleich erkennen.'] Label: [['Die Pfoten vom Wolf sind schwarz.\nUnd ihr erkennt den Wolf an seinen Pfoten: Und böse.\nDie Stimme vom Wolf ist dunkel.\nAber ihr erkennt den Wolf an seiner Stimme: Und der Wolf kann sich verkleiden.\nDer Wolf ist schlau.']] Sacrebleu: {'score': 2.661469385059225, 'counts': [9, 2, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [23.076923076923077, 5.2631578947368425, 1.3513513513513513, 0.6944444444444444], 'bp': 0.8145428811424836, 'sys_len': 39, 'ref_len': 47} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 0.8145428811424836, 'length_ratio': 0.8297872340425532, 'translation_length': 39, 'reference_length': 47} Rouge: {'rouge1': 0.275, 'rouge2': 0.02564102564102564, 'rougeL': 0.15, 'rougeLsum': 0.17500000000000002} Sari: {'sari': 28.843730948994107} Flesh Reading Ease: 63.05 ---------------------------------------- Source: ['wenn er hereinkommt, so frißt er euch alle mit Haut und Haar.'] Prediction: ['Ein 20-Minuten-Radio-Host hat seine 20-Minuten-App veröffentlicht, dass er alle mit Haut und Haar auf Spotify und Tune In geht.\nWir haben dir die besten Folgen der Woche, welche die besten Folgen der Woche bestehen.'] Label: [['Der Wolf will euch fressen.\nDer Wolf ist ein böses Tier.']] Sacrebleu: {'score': 1.038539619163422, 'counts': [2, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [4.761904761904762, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.047619047619047616, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.230769230769231, 'translation_length': 42, 'reference_length': 13} Rouge: {'rouge1': 0.11538461538461538, 'rouge2': 0.0, 'rougeL': 0.07692307692307691, 'rougeLsum': 0.11538461538461538} Sari: {'sari': 34.65277777777778} Flesh Reading Ease: 57.7 ---------------------------------------- Source: ['Eines Tages wollte sie in den Wald gehen und Futter holen, da rief sie alle sieben herbei und sprach: »Liebe Kinder, ich will hinaus in den Wald, seid auf eurer Hut vor dem Wolf;'] Prediction: ['Eine Kinderin wollte in den Wald gehen und Futter holen, da rief sie alle sieben herbei und sprach: Sie wollte in den Wald gehen und Futter holen.\nDie Kinder wollten sieben herbei und sprach: "Liebe Kinder, ich will hinaus in den Wald, seid auf eurer Hut vor dem Wolf;'] Label: [['Vielleicht kommt der Wolf.\nPasst gut auf euch auf!\nUnd die Ziegen∙mutter sagt zu ihren Ziegen∙kindern: Ich gehe in den Wald.\nEs ist ein schöner Morgen.']] Sacrebleu: {'score': 2.9313635073729056, 'counts': [7, 2, 1, 0], 'totals': [57, 56, 55, 54], 'precisions': [12.280701754385966, 3.5714285714285716, 1.8181818181818181, 0.9259259259259259], 'bp': 1.0, 'sys_len': 57, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.12280701754385964, 0.03571428571428571, 0.01818181818181818, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8387096774193548, 'translation_length': 57, 'reference_length': 31} Rouge: {'rouge1': 0.20512820512820512, 'rouge2': 0.052631578947368425, 'rougeL': 0.15384615384615385, 'rougeLsum': 0.1794871794871795} Sari: {'sari': 38.245164376019126} Flesh Reading Ease: 67.75 ---------------------------------------- Source: ['Es war einmal eine alte Geiß, die hatte sieben junge Geißlein und hatte sie lieb, wie eine Mutter ihre Kinder lieb hat.'] Prediction: ['Eine Mutter hatte sieben junge Geißlein und hatte sie lieb, wie eine Mutter ihre Kinder lieb hat.\nEs war einmal eine alte Geiß, die sieben junge Geißlein hatte.\nDie Mutter hatte sie lieb, wie eine Mutter ihre Kinder lieb hatte.'] Label: [['Die Ziegen∙mutter liebt ihre Ziegen∙kinder sehr.\nUnd die Geißlein sind die Kinder von der Ziege.\nEine Geiß hat 7 Geißlein.']] Sacrebleu: {'score': 1.479201874941306, 'counts': [12, 0, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [26.08695652173913, 1.1111111111111112, 0.5681818181818182, 0.29069767441860467], 'bp': 1.0, 'sys_len': 46, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.2608695652173913, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 46, 'reference_length': 23} Rouge: {'rouge1': 0.4242424242424242, 'rouge2': 0.06250000000000001, 'rougeL': 0.24242424242424246, 'rougeLsum': 0.3939393939393939} Sari: {'sari': 38.13559322033899} Flesh Reading Ease: 73.1 ---------------------------------------- Source: ['Er führte sie in sein Reich, wo er mit Freude empfangen ward, und sie lebten noch lange glücklich und vergnügt.'] Prediction: ['Eine Frau wurde in seinem Reich mit Freude empfangen, wo er mit Freude empfangen wurde, und sie lebten noch lange glücklich und vergnügt.\nDie Frau wurde von ihm lebt und lebte noch lange glücklich und vergnügt.'] Label: [['Und alle leben noch viele Jahre glücklich zusammen.\nDer Prinz nimmt Rapunzel und die beiden Kinder mit auf sein Schloss.']] Sacrebleu: {'score': 1.4378558189726398, 'counts': [6, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [15.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8181818181818181, 'translation_length': 40, 'reference_length': 22} Rouge: {'rouge1': 0.22950819672131145, 'rouge2': 0.033898305084745756, 'rougeL': 0.1967213114754098, 'rougeLsum': 0.16393442622950818} Sari: {'sari': 36.20809824095586} Flesh Reading Ease: 68.4 ---------------------------------------- Source: ['So wanderte er einige Jahre im Elend umher und geriet endlich in die Wüstenei, wo Rapunzel mit den Zwillingen, die sie geboren hatte, einem Knaben und Mädchen, kümmerlich lebte.'] Prediction: ['Ein Rapunzel hat einige Jahre im Elend umher und geriet in die Wüstenei, wo Rapunzel mit den Zwillingen, die sie geboren hatte, einem Knaben und Mädchen, kümmerlich lebte.\nDer Knaben und Mädchen lebten nicht.'] Label: [['Die Kinder sind Zwillinge.\nUnd von dem Prinzen.\nDiese Kinder sind die Kinder von Rapunzel.\nNach vielen Jahren kommt der Prinz zu einem einsamen Ort.']] Sacrebleu: {'score': 1.3737889784665156, 'counts': [5, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [12.5, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3793103448275863, 'translation_length': 40, 'reference_length': 29} Rouge: {'rouge1': 0.19047619047619047, 'rouge2': 0.0, 'rougeL': 0.12698412698412698, 'rougeLsum': 0.19047619047619047} Sari: {'sari': 36.66935700834006} Flesh Reading Ease: 57.7 ---------------------------------------- Source: ['Zwei von ihren Thränen aber benetzten seine Augen, da wurden sie wieder klar, und er konnte damit sehen wie sonst.'] Prediction: ['Zwei von ihren Thränen wurden wieder klar, da sie wieder klar konnten.\nDie Augen wurden zwei von ihren Augen benetzt.\nDie beiden waren wieder klar, da sie wieder klar konnten.'] Label: [['Plötzlich kann der Prinz wieder sehen: Dabei berühren 2 Tränen die Augen vom Prinzen.']] Sacrebleu: {'score': 1.389736936231864, 'counts': [3, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [8.571428571428571, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.08571428571428572, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1875, 'translation_length': 35, 'reference_length': 16} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.04347826086956522, 'rougeL': 0.125, 'rougeLsum': 0.125} Sari: {'sari': 37.160947712418306} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['da ging er darauf zu, und wie er herankam, erkannte ihn Rapunzel und fiel ihm um den Hals und weinte.'] Prediction: ['Ein Rapunzel hat einen Rapunzel gefangen, wie er herankam, erkannte ihn.\nDer Rapunzel fiel ihm um den Hals und weinte.\nDie beiden waren darauf zu sehen, wie er sich darauf zu ging.'] Label: [['Und Rapunzel weint vor Freude.\nRapunzel umarmt den Prinzen.\nUnd Rapunzel läuft auf den Prinzen zu.\nRapunzel erkennt den Prinzen.\nEs ist seine liebe Rapunzel.\nUnd der Prinz hat recht: Der Prinz geht auf die Stimme zu.']] Sacrebleu: {'score': 1.5070976699997818, 'counts': [11, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [28.94736842105263, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 0.8539396656235351, 'sys_len': 38, 'ref_len': 44} Bleu: {'bleu': 0.0, 'precisions': [0.2894736842105263, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8539396656235351, 'length_ratio': 0.8636363636363636, 'translation_length': 38, 'reference_length': 44} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.0, 'rougeL': 0.19999999999999998, 'rougeLsum': 0.2571428571428571} Sari: {'sari': 34.166666666666664} Flesh Reading Ease: 75.7 ---------------------------------------- Source: ['Er vernahm eine Stimme, und sie däuchte ihm so bekannt:'] Prediction: ['Einige Frauen wurden in der Nacht auf Sonntag bekannt, dass sie ihm so bekannt wurde.\nSie vernahm eine Stimme, und ihm däuchte ihm so bekannt: Sie vernahm eine Stimme, und ihm däuchte ihm so bekannt:'] Label: [['Und der Prinz kennt diese Stimme.\nDie Stimme ist sehr schön.\nPlötzlich hört der Prinz eine Stimme.']] Sacrebleu: {'score': 2.251889061850022, 'counts': [5, 1, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [12.195121951219512, 2.5, 1.2820512820512822, 0.6578947368421053], 'bp': 1.0, 'sys_len': 41, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.12195121951219512, 0.025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.05, 'translation_length': 41, 'reference_length': 20} Rouge: {'rouge1': 0.1754385964912281, 'rouge2': 0.03636363636363636, 'rougeL': 0.14035087719298245, 'rougeLsum': 0.1754385964912281} Sari: {'sari': 40.27176527176526} Flesh Reading Ease: 74.75 ---------------------------------------- Source: ['Da irrte er blind im Walde umher, aß nichts als Wurzeln und Beeren, und that nichts als jammern und weinen über den Verlust seiner liebsten Frau.'] Prediction: ['Ein Mann hat im Walde seine liebsten Frau verloren.\nDie Frau wurde von einem Walden im Walde umher entdeckt.\nDie Frau wurde dabei von ihm verloren.'] Label: [['Und der Prinz hat seine liebe Rapunzel verloren.\nDer Prinz kann nicht mehr sehen.\nSo irrt der Prinz ohne Ziel durch den Wald:']] Sacrebleu: {'score': 3.235912122544166, 'counts': [5, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [17.24137931034483, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1153846153846154, 'translation_length': 29, 'reference_length': 26} Rouge: {'rouge1': 0.12244897959183673, 'rouge2': 0.0, 'rougeL': 0.12244897959183673, 'rougeLsum': 0.12244897959183673} Sari: {'sari': 44.901734692932486} Flesh Reading Ease: 77.7 ---------------------------------------- Source: ['das Leben brachte er davon, aber die Dornen, in die er fiel, zerstachen ihm die Augen.'] Prediction: ['Ein Mann hatte sich in einem Leben in der Nacht auf Sonntagabend einen Leben gefunden.\nDabei brachte er davon, aber die Dornen, in die er fiel, zerstachen ihm die Augen.'] Label: [['Aber der Prinz ist jetzt blind.\nDer Prinz überlebt den Sturz: Und bleibt in einem spitzen Dornen∙busch liegen.']] Sacrebleu: {'score': 2.6556282775658278, 'counts': [5, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [14.285714285714286, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 35, 'reference_length': 21} Rouge: {'rouge1': 0.2040816326530612, 'rouge2': 0.0425531914893617, 'rougeL': 0.12244897959183673, 'rougeLsum': 0.163265306122449} Sari: {'sari': 37.97204066811909} Flesh Reading Ease: 77.25 ---------------------------------------- Source: ['« Der Königssohn geriet außer sich vor Schmerzen, und in der Verzweiflung sprang er den Turm herab;'] Prediction: ['Ein Königssohn geriet in der Verzweiflung von einem Turm in der Nacht auf Sonntag vor Schmerzen.\nDer Königssohn sprang in der Verzweiflung und sprang den Turm herab.'] Label: [['Der Prinz stürzt nach unten.\nDeshalb springt der Prinz aus dem Turm∙fenster.\nDer Prinz hat große Angst vor der Zauberin.']] Sacrebleu: {'score': 3.3868193354396166, 'counts': [6, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [20.689655172413794, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.20689655172413793, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2608695652173914, 'translation_length': 29, 'reference_length': 23} Rouge: {'rouge1': 0.23076923076923075, 'rouge2': 0.0, 'rougeL': 0.19230769230769232, 'rougeLsum': 0.23076923076923075} Sari: {'sari': 45.27986633249792} Flesh Reading Ease: 78.75 ---------------------------------------- Source: ['Für dich ist Rapunzel verloren, du wirst sie nie wieder erblicken.'] Prediction: ['Rapunzel verloren seine Rolle nicht wieder.\nDas ist nur einmal nur einmal nur einmal nur einmal nur einmal nie.\nDas ist das erste Mal, das ist nicht mehr nur einmal nur einmal nur einmal nur einmal nur einmal.'] Label: [['Du wirst Rapunzel nie wieder sehen.\nUnd jetzt werde ich dich bestrafen.']] Sacrebleu: {'score': 1.3058944351862714, 'counts': [5, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [11.904761904761905, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.11904761904761904, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 42, 'reference_length': 14} Rouge: {'rouge1': 0.11999999999999998, 'rouge2': 0.0, 'rougeL': 0.08, 'rougeLsum': 0.11999999999999998} Sari: {'sari': 49.08008658008658} Flesh Reading Ease: 79.55 ---------------------------------------- Source: ['»Aha,« rief sie höhnisch, »du willst die Frau Liebste holen, aber der schöne Vogel sitzt nicht mehr im Nest und singt nicht mehr, die Katze hat ihn geholt und wird dir auch noch die Augen auskratzen.'] Prediction: ['Eine Katze hat ihn geholt und wird noch die Augen auskratzen.\nDie Katze hat ihn geholt und wird noch die Augen auskratzen.'] Label: [['Ich habe Rapunzel bestraft.\nUnd sagt: Deine schöne Rapunzel ist nicht mehr hier.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 24, 'reference_length': 16} Rouge: {'rouge1': 0.05555555555555555, 'rouge2': 0.0, 'rougeL': 0.05555555555555555, 'rougeLsum': 0.05555555555555555} Sari: {'sari': 34.164722017522315} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['Der Königssohn stieg hinauf, aber er fand oben nicht seine liebste Rapunzel, sondern die Zauberin, die ihn mit bösen und giftigen Blicken ansah.'] Prediction: ['Der Königssohn hat einen Rapunzel mit bösen und giftigen Blicken ansah.\nDie Zauberin, die ihn mit bösen und giftigen Blicken ansah, fand ihn nicht seine liebste Rapunzel.\nDie Zauberin, die ihn mit bösen und giftigen Blicken ansah, fand ihn mit bösen und giftigen Blicken ansah.'] Label: [['Die Zauberin schaut den Prinzen böse an.\nDer Prinz sieht die Zauberin.\nDer Prinz klettert am Zopf nach oben.']] Sacrebleu: {'score': 1.9806835695592746, 'counts': [8, 1, 0, 0], 'totals': [52, 51, 50, 49], 'precisions': [15.384615384615385, 1.9607843137254901, 1.0, 0.5102040816326531], 'bp': 1.0, 'sys_len': 52, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0196078431372549, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3636363636363638, 'translation_length': 52, 'reference_length': 22} Rouge: {'rouge1': 0.17142857142857143, 'rouge2': 0.0588235294117647, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.17142857142857143} Sari: {'sari': 35.91008771929825} Flesh Reading Ease: 65.55 ---------------------------------------- Source: ['so ließ sie die Haare hinab.'] Prediction: ['Eine der besten Haare-Fotos der Schweizer Welt zeigt, wie sie sich in der Nacht auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag zum dritten Mal die Weltkamera.\nIm Interview verrät, dass sie sich die beiden Haare hinab, wie sie sie sich nicht bekannt haben.'] Label: [['Und die Zauberin lässt den langen Zopf von Rapunzel hinunter.']] Sacrebleu: {'score': 0.3518549046010758, 'counts': [2, 0, 0, 0], 'totals': [121, 120, 119, 118], 'precisions': [1.6528925619834711, 0.4166666666666667, 0.21008403361344538, 0.1059322033898305], 'bp': 1.0, 'sys_len': 121, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.01652892561983471, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 11.0, 'translation_length': 121, 'reference_length': 11} Rouge: {'rouge1': 0.015503875968992248, 'rouge2': 0.0, 'rougeL': 0.015503875968992248, 'rougeLsum': 0.015503875968992248} Sari: {'sari': 54.76190476190476} Flesh Reading Ease: 34.25 ---------------------------------------- Source: ['»Rapunzel, Rapunzel, laß dein Haar herunter.« Denselben Tag aber, wo sie Rapunzel verstoßen hatte, machte abends die Zauberin die abgeschnittenen Flechten oben am Fensterhaken fest, und als der Königssohn kam und rief:'] Prediction: ['Der Königssohn Rapunzel hat seine Zauberin am Fensterhaken in den Flammen geschlossen.\nDer Königssohn kam und rief, wie Rapunzel den Tag aber nicht.\nDie Zauberin machte abends die Flechten oben am Fensterhaken fest, als der Königssohn kam und rief.'] Label: [['Rapunzel: Lass deine Haare herunter!\nUnd ruft: Rapunzel!\nAm nächsten Tag kommt der Prinz zum Turm.']] Sacrebleu: {'score': 1.2443969494386207, 'counts': [5, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [11.363636363636363, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.11363636363636363, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0952380952380953, 'translation_length': 44, 'reference_length': 21} Rouge: {'rouge1': 0.20338983050847456, 'rouge2': 0.0, 'rougeL': 0.16949152542372883, 'rougeLsum': 0.20338983050847456} Sari: {'sari': 35.52896092473929} Flesh Reading Ease: 67.55 ---------------------------------------- Source: ['Und sie war so unbarmherzig, daß sie die arme Rapunzel in eine Wüstenei brachte, wo sie in großem Jammer und Elend leben mußte.'] Prediction: ['Eine Rapunzel in eine Wüstenei brachte eine arme Rapunzel in eine Wüstenei.\nDie arme Rapunzel war so unbarmherzig, da sie in großem Jammer und Elend leben mußte.\nDie Rapunzel wurde in eine Wüstenei gefunden.'] Label: [['An diesem Ort muss Rapunzel jetzt arm und alleine leben.\nDeshalb schickt die Zauberin Rapunzel an einen einsamen Ort.\nDie Zauberin kann Rapunzel nicht verzeihen.']] Sacrebleu: {'score': 2.822923857805611, 'counts': [9, 1, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [23.68421052631579, 2.7027027027027026, 1.3888888888888888, 0.7142857142857143], 'bp': 1.0, 'sys_len': 38, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.23684210526315788, 0.02702702702702703, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3571428571428572, 'translation_length': 38, 'reference_length': 28} Rouge: {'rouge1': 0.21875, 'rouge2': 0.0, 'rougeL': 0.15625, 'rougeLsum': 0.21875} Sari: {'sari': 35.56623931623932} Flesh Reading Ease: 51.7 ---------------------------------------- Source: ['In ihrem Zorne packte sie die schönen Haare der Rapunzel, schlug sie ein paarmal um ihre linke Hand, griff eine Schere mit der rechten, und ritsch, ratsch waren sie abgeschnitten, und die schönen Flechten lagen auf der Erde.'] Prediction: ['Eine Rapunzel-Fleckin wurde in ihrem Zuge von einem Rapunzel geschlagen.\nDie Flechten waren abgeschnitten, die schönen Flechten lagen auf der Erde.\nDie Rapunzel-Fleckin wurde dabei von einem paarmal um ihre linke Hand geschlagen.'] Label: [['Und die Zauberin schneidet Rapunzel den langen Zopf ab.\nDa nimmt die Zauberin eine Schere.']] Sacrebleu: {'score': 1.4091499441909465, 'counts': [4, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [10.81081081081081, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.10810810810810811, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.176470588235294, 'translation_length': 37, 'reference_length': 17} Rouge: {'rouge1': 0.1568627450980392, 'rouge2': 0.0, 'rougeL': 0.0784313725490196, 'rougeLsum': 0.1568627450980392} Sari: {'sari': 34.58153735632184} Flesh Reading Ease: 52.0 ---------------------------------------- Source: ['»Ach, du gottloses Kind,« rief die Zauberin, »was muß ich von dir hören, ich dachte, ich hätte dich von aller Welt geschieden, und du hast mich doch betrogen!«'] Prediction: ['Ein Kind, der sich in der Schweiz auf die Welt geschieden hat, ist ein Kind.\nDer Kind war zuvor auf der Welt geschieden und wurde von aller Welt geschieden.\nDie Zauberin rief die Zauberin, dass er sich von aller Welt geschieden hatte, und hast mich doch betrogen.'] Label: [['Du hast mich betrogen.\nDu gehörst mir allein.\nDu darfst keine anderen Menschen sehen.\nUnd schreit: Was sagst du da?\nDie Zauberin ist sehr wütend.']] Sacrebleu: {'score': 2.5823057186074765, 'counts': [9, 3, 0, 0], 'totals': [54, 53, 52, 51], 'precisions': [16.666666666666668, 5.660377358490566, 0.9615384615384616, 0.49019607843137253], 'bp': 1.0, 'sys_len': 54, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.05660377358490566, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7419354838709677, 'translation_length': 54, 'reference_length': 31} Rouge: {'rouge1': 0.18918918918918917, 'rouge2': 0.05555555555555555, 'rougeL': 0.08108108108108109, 'rougeLsum': 0.18918918918918917} Sari: {'sari': 40.31324867425772} Flesh Reading Ease: 82.4 ---------------------------------------- Source: ['Die Zauberin merkte auch nichts davon, bis einmal Rapunzel anfing und zu ihr sagte: »Sag sie mir doch, Frau Gothel, wie kommt es nur, sie wird mir viel schwerer heraufzuziehen als der junge Königssohn, der ist in einem Augenblick bei mir.«'] Prediction: ['Eine Zauberin hat einen Rapunzel angekündigt, bis einmal Rapunzel anfing.\nDie Zauberin sagte, wie kommt es nur, sie wird mir viel schwerer heraufzuziehen als der junge Königssohn, der ist in einem Augenblick bei mir.'] Label: [['Der Prinz klettert viel schneller den Zopf herauf als du.\nDu kletterst sehr langsam.\nUnd sagt zu der Zauberin: An einem Abend passt Rapunzel nicht auf.\nUnd besucht ihre Rapunzel jeden Abend.\nDie Zauberin weiß nichts von dem Prinzen.']] Sacrebleu: {'score': 4.17622492731235, 'counts': [11, 2, 1, 0], 'totals': [40, 39, 38, 37], 'precisions': [27.5, 5.128205128205129, 2.6315789473684212, 1.3513513513513513], 'bp': 0.8824969025845955, 'sys_len': 40, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.275, 0.05128205128205128, 0.02631578947368421, 0.0], 'brevity_penalty': 0.8824969025845955, 'length_ratio': 0.8888888888888888, 'translation_length': 40, 'reference_length': 45} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.027397260273972605, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.24000000000000002} Sari: {'sari': 35.799885195952605} Flesh Reading Ease: 57.7 ---------------------------------------- Source: ['« Sie verabredeten, daß er bis dahin alle Abend zu ihr kommen sollte, denn bei Tage kam die Alte.'] Prediction: ['Ein Mann wollte bis dahin alle Abend zu ihr kommen, da er bis dahin alle Abend zu ihr kommen sollte, denn bei Tage kam die Alte.\nDie Alte kam auf eine Alte, die sich verabredeten.'] Label: [['Und die Zauberin kommt am Abend.\nVon jetzt an kommt der Prinz immer am Tage zu Rapunzel.']] Sacrebleu: {'score': 1.4378558189726398, 'counts': [6, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [15.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1052631578947367, 'translation_length': 40, 'reference_length': 19} Rouge: {'rouge1': 0.15384615384615385, 'rouge2': 0.0, 'rougeL': 0.07692307692307693, 'rougeLsum': 0.07692307692307693} Sari: {'sari': 36.95652173913044} Flesh Reading Ease: 74.75 ---------------------------------------- Source: ['Wenn du kommst, so bring jedesmal einen Strang Seide mit, daraus will ich eine Leiter flechten und wenn die fertig ist, so steige ich herunter und du nimmst mich auf dein Pferd.'] Prediction: ['Ein 20-Minuten-Radio-Host hat seine 20-Minuten-App veröffentlicht, dass er sich mit dem Podcast "Unchained" bei 20 Minuten Radio-Host Andrea über seinen Leiter und ihre Leiterinnen und Leiterinnen und Leiter auf Spotify und Tune In beantwortet.\nWir stellen dir jeden Donnerstag die besten Neustarts vor, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen zu finden, welche Folgen z'] Label: [['Und wir können zusammen in mein Schloss reiten.\nErst dann kannst du den Turm verlassen.\nDas Seil muss bis zum Boden gehen.\nAus dem Stoff kannst du dir ein langes Seil machen.\nUnd sagt: Ich bringe dir jeden Tag ein Stück Stoff.\nDer Prinz hat eine Idee.']] Sacrebleu: {'score': 0.36515362532172835, 'counts': [5, 1, 0, 0], 'totals': [245, 244, 243, 242], 'precisions': [2.0408163265306123, 0.4098360655737705, 0.205761316872428, 0.10330578512396695], 'bp': 1.0, 'sys_len': 245, 'ref_len': 54} Bleu: {'bleu': 0.0, 'precisions': [0.02040816326530612, 0.004098360655737705, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.537037037037037, 'translation_length': 245, 'reference_length': 54} Rouge: {'rouge1': 0.07086614173228345, 'rouge2': 0.007936507936507936, 'rougeL': 0.031496062992125984, 'rougeLsum': 0.06299212598425197} Sari: {'sari': 61.9144212485334} Flesh Reading Ease: -24.31 ---------------------------------------- Source: ['Sie sprach: »Ich will gern mit dir gehen, aber ich weiß nicht wie ich herabkommen kann.'] Prediction: ['Die 20-Minuten-App-Hostin Andrea (24) und ihr Leben (29) wollen sich mit ihrem Leben auf ihre Welt über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen �'] Label: [['Mein lieber Prinz: Wie komme ich aus dem Turm heraus?\nAber Rapunzel sagt:']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [146, 145, 144, 143], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 146, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 9.125, 'translation_length': 146, 'reference_length': 16} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 56.61764705882353} Flesh Reading Ease: -76.01 ---------------------------------------- Source: ['»Der wird mich lieber haben als die alte Frau Gothel,« und sagte ja, und legte ihre Hand in seine Hand. Da verlor Rapunzel ihre Angst, und als er sie fragte, ob sie ihn zum Manne nehmen wollte, und sie sah, daß er jung und schön war, so dachte sie:'] Prediction: ['Eine Frau wurde als Frau Gothel aufgefunden, als sie ihn ihn zum Manne nehmen wollte.\nDie Frau war als die alte Frau Gothel, und sagte ihre Hand in seine Hand.\nDie Frau war als Rapunzel, als er sie fragte, ob sie ihn zum Manne nehmen wollte, so dachte sie:'] Label: [['Und Rapunzel möchte den Prinzen gerne heiraten.\nRapunzel ist glücklich.\nUnd fragt: Möchtest du meine Frau werden?\nDer Prinz verliebt sich sofort in das schöne Rapunzel.\nJetzt hat Rapunzel keine Angst mehr vor dem Prinzen.']] Sacrebleu: {'score': 0.9972131254285401, 'counts': [6, 0, 0, 0], 'totals': [57, 56, 55, 54], 'precisions': [10.526315789473685, 0.8928571428571429, 0.45454545454545453, 0.23148148148148148], 'bp': 1.0, 'sys_len': 57, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3902439024390243, 'translation_length': 57, 'reference_length': 41} Rouge: {'rouge1': 0.0909090909090909, 'rouge2': 0.0, 'rougeL': 0.06818181818181818, 'rougeLsum': 0.0909090909090909} Sari: {'sari': 35.53258145363409} Flesh Reading Ease: 81.8 ---------------------------------------- Source: ['Anfangs erschrak Rapunzel gewaltig, als ein Mann zu ihr hereinkam, wie ihre Augen noch nie einen erblickt hatten, doch der Königssohn fing an ganz freundlich mit ihr zu reden und erzählte ihr, daß von ihrem Gesange sein Herz so sehr sei bewegt worden, daß es ihm keine Ruhe gelassen, und er sie selbst habe sehen müssen.'] Prediction: ['Ein Mann hat in der Nacht auf Sonntag seinen Königssohn in einem Rücktritt aufgefunden.\nDer Königssohn fing an ganz freundlich mit ihr zu reden und erzählte ihr, daß er sein Herz so sehr sei bewegt worden, daß es ihm keine Ruhe gelassen, und er sie selbst habe sehen müssen.'] Label: [['Ich musste dich unbedingt sehen.\nDer Prinz sagt: Du hast so schön gesungen.\nAber der Prinz ist sehr freundlich.\nRapunzel hat nämlich noch nie einen Prinzen gesehen.\nUnd Rapunzel erschrickt.\nRapunzel sieht den Prinzen.']] Sacrebleu: {'score': 1.9621280362601403, 'counts': [9, 1, 0, 0], 'totals': [54, 53, 52, 51], 'precisions': [16.666666666666668, 1.8867924528301887, 0.9615384615384616, 0.49019607843137253], 'bp': 1.0, 'sys_len': 54, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.018867924528301886, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3170731707317074, 'translation_length': 54, 'reference_length': 41} Rouge: {'rouge1': 0.17777777777777776, 'rouge2': 0.0, 'rougeL': 0.08888888888888888, 'rougeLsum': 0.15555555555555556} Sari: {'sari': 34.06194646187564} Flesh Reading Ease: 67.75 ---------------------------------------- Source: ['Alsbald fielen die Haare herab und der Königssohn stieg hinauf.'] Prediction: ['Die Haare von Jaden Fischer sind immer wieder aufgefordert.\nDer Königssohn stieg hinauf.\nDie Haare fielen die Haare herab und der Königssohn stieg hinauf.'] Label: [['Der Prinz klettert am Zopf nach oben: Und Rapunzel lässt ihre langen Haare herunter.']] Sacrebleu: {'score': 1.826472886268134, 'counts': [3, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [11.11111111111111, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6875, 'translation_length': 27, 'reference_length': 16} Rouge: {'rouge1': 0.14634146341463417, 'rouge2': 0.0, 'rougeL': 0.0975609756097561, 'rougeLsum': 0.0975609756097561} Sari: {'sari': 38.095238095238095} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['»Rapunzel, Rapunzel, laß dein Haar herunter.« Und den folgenden Tag, als es anfing dunkel zu werden, ging er zu dem Turm und rief'] Prediction: ['Der Schweizer Rapunzel hat seinen neuen Tag veröffentlicht.\nDas hat er seinen neuen Tag geschlossen.\nWir haben dir die besten Tipps, welche die besten Tipps und Tipps auf den Radio-Format zu sehen.'] Label: [['Rapunzel: Lass deine Haare herunter!\nUnd ruft: Rapunzel!\nDer Prinz verstellt seine Stimme.\nAm nächsten Abend kommt der Prinz wieder zum Turm.']] Sacrebleu: {'score': 1.4500372328365223, 'counts': [4, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [11.11111111111111, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2857142857142858, 'translation_length': 36, 'reference_length': 28} Rouge: {'rouge1': 0.10526315789473685, 'rouge2': 0.0, 'rougeL': 0.07017543859649121, 'rougeLsum': 0.10526315789473685} Sari: {'sari': 61.33988818199344} Flesh Reading Ease: 75.7 ---------------------------------------- Source: ['Ist das die Leiter, auf welcher man hinaufkommt, so will ich auch einmal mein Glück versuchen.«'] Prediction: ['Eine Frau aus den USA will einmal mein Glück versuchen.\nIst das Leben, auf welcher man hinaufkommt, so will ich auch einmal mein Glück versuchen.'] Label: [['So komme ich also in den Turm.\nUnd denkt: Der Prinz beobachtet das.']] Sacrebleu: {'score': 1.9240848598265397, 'counts': [5, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [17.24137931034483, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8125, 'translation_length': 29, 'reference_length': 16} Rouge: {'rouge1': 0.2, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.2} Sari: {'sari': 37.64705882352941} Flesh Reading Ease: 85.6 ---------------------------------------- Source: ['Da ließ Rapunzel die Haarflechten herab und die Zauberin stieg zu ihr hinauf. »'] Prediction: ['Rapunzel hat seine Haarflechten hergestellt und die Zauberin stieg zu ihr hinauf.\nDie Zauberin stieg zu ihr hinauf.\nDie beiden haben sich immer noch nicht geschützt.'] Label: [['Die Zauberin klettert am Zopf nach oben.\nUnd Rapunzel lässt ihre langen Haare herunter.']] Sacrebleu: {'score': 3.235912122544166, 'counts': [5, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [17.24137931034483, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8125, 'translation_length': 29, 'reference_length': 16} Rouge: {'rouge1': 0.19047619047619047, 'rouge2': 0.05, 'rougeL': 0.09523809523809523, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 40.589080459770116} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['»Rapunzel, Rapunzel, laß dein Haar herunter.« Als er einmal so hinter einem Baume stand, sah er, daß eine Zauberin herankam und hörte wie sie hinaufrief:'] Prediction: ['Rapunzel, Rapunzel, laß dein Haar herunter.\nAls er einmal so hinter einem Baume stand, sah er, daß eine Zauberin herankam und hörte wie sie hinaufrief.'] Label: [['Rapunzel: Lass deine Haare herunter!\nUnd ruft : Rapunzel!\nDa kommt die böse Zauberin zum Turm.\nEinmal versteckt sich der Prinz hinter einem Baum.']] Sacrebleu: {'score': 3.392268780792677, 'counts': [8, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [25.806451612903224, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 1.0, 'sys_len': 31, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.25806451612903225, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0689655172413792, 'translation_length': 31, 'reference_length': 29} Rouge: {'rouge1': 0.35999999999999993, 'rouge2': 0.041666666666666664, 'rougeL': 0.2, 'rougeLsum': 0.35999999999999993} Sari: {'sari': 35.07236227824463} Flesh Reading Ease: 68.05 ---------------------------------------- Source: ['Er ritt heim, doch der Gesang hatte ihm so sehr das Herz gerührt, daß er jeden Tag hinaus in den Wald ging und zuhörte.'] Prediction: ['Ein Mann hatte einen Gesang in den Wald gerührt, da er sehr das Herz gerührt.\nDer Gesang hatte ihm so sehr das Herz gerührt, da er jeden Tag hinaus in den Wald ging und zuhörte.\nDer Gesang hatte ihm so sehr das Herz gerührt, da er jeden Tag hinaus in den Wald ging und zuhörte.'] Label: [['Und hört dem schönen Gesang von dem Mädchen zu.\nDeshalb kommt der Prinz jeden Tag zu dem Turm im Wald.\nAber der Prinz kann den Gesang von dem Mädchen im Turm nicht vergessen.\nDie Tage vergehen.\nDeshalb reitet der Prinz auf seinem Pferd weiter.']] Sacrebleu: {'score': 1.731202449684832, 'counts': [9, 1, 0, 0], 'totals': [61, 60, 59, 58], 'precisions': [14.754098360655737, 1.6666666666666667, 0.847457627118644, 0.43103448275862066], 'bp': 1.0, 'sys_len': 61, 'ref_len': 49} Bleu: {'bleu': 0.0, 'precisions': [0.14754098360655737, 0.016666666666666666, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2448979591836735, 'translation_length': 61, 'reference_length': 49} Rouge: {'rouge1': 0.1651376146788991, 'rouge2': 0.018691588785046728, 'rougeL': 0.12844036697247707, 'rougeLsum': 0.14678899082568808} Sari: {'sari': 38.764367816091955} Flesh Reading Ease: 85.65 ---------------------------------------- Source: ['Der Königssohn wollte zu ihr hinaufsteigen und suchte nach einer Thür des Turmes, aber es war keine zu finden.'] Prediction: ['Der Königssohn wollte zu ihr hinaufsteigen und suchte nach einer Thür des Turmes.\nDer Königssohn wollte zu ihr hinaufsteigen und suchte nach einer Thür des Turmes, aber es war keine zu finden.'] Label: [['Aber der Turm hat keine Tür.\nDer Prinz sucht eine Tür.\nDer Prinz möchte unbedingt in den Turm hinein.']] Sacrebleu: {'score': 2.6556282775658278, 'counts': [5, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [14.285714285714286, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5909090909090908, 'translation_length': 35, 'reference_length': 22} Rouge: {'rouge1': 0.20689655172413793, 'rouge2': 0.0, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 36.94444444444444} Flesh Reading Ease: 70.4 ---------------------------------------- Source: ['Da hörte er einen Gesang, der war so lieblich, daß er still hielt und horchte.'] Prediction: ['Ein Mann hatte einen Gesang, der er so lieblich war, und hörte einen Gesang.\nEr still hielt und horchte.\nDie Polizei vermutete den Gesang.'] Label: [['Der Prinz bleibt stehen.\nDa hört der Prinz ein Mädchen im Turm singen.']] Sacrebleu: {'score': 1.6934096677198087, 'counts': [3, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [10.344827586206897, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.10344827586206896, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9333333333333333, 'translation_length': 29, 'reference_length': 15} Rouge: {'rouge1': 0.15, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.1} Sari: {'sari': 32.169117647058826} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Nach ein paar Jahren trug es sich zu, daß der Sohn des Königs durch den Wald ritt und an dem Turm vorüberkam.'] Prediction: ['Nach einem paar Jahren trug es sich zu, daß der Sohn des Königs durch den Wald ritt und an dem Turm vorüberkam.\nNach einem paar Jahren trug es sich zu, daß der Sohn des Königs durch den Wald ritt und an dem Turm vorüberkam.'] Label: [['Der Prinz reitet an dem Turm von Rapunzel vorbei.\nAn einem Tag reitet ein Prinz durch den Wald.\nUnd die böse Zauberin besucht ihre Rapunzel jeden Tag.\nDie Jahre vergehen.']] Sacrebleu: {'score': 5.269243457954913, 'counts': [9, 4, 2, 0], 'totals': [48, 47, 46, 45], 'precisions': [18.75, 8.51063829787234, 4.3478260869565215, 1.1111111111111112], 'bp': 1.0, 'sys_len': 48, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.0851063829787234, 0.043478260869565216, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.411764705882353, 'translation_length': 48, 'reference_length': 34} Rouge: {'rouge1': 0.25316455696202533, 'rouge2': 0.10389610389610389, 'rougeL': 0.2278481012658228, 'rougeLsum': 0.2278481012658228} Sari: {'sari': 34.76893939393939} Flesh Reading Ease: 87.8 ---------------------------------------- Source: ['Wenn sie nun die Stimme der Zauberin vernahm, so band sie ihre Zöpfe los, wickelte sie oben um einen Fensterhaken und dann fielen die Haare zwanzig Ellen tief herunter, und die Zauberin stieg daran hinauf.'] Prediction: ['Die Zauberin hat sich mit einem neuen Zöpfen immer wieder zu tun.\nDie Haare fielen die Haare zwanzig Ellen tief herunter.\nDie Zauberin stieg daran hinauf.'] Label: [['So kann die Zauberin am Zopf nach oben klettern.\nRapunzel hat ihre langen Haare zu einem Zopf geflochten.\nUnd Rapunzel lässt ihre Haare herunter.']] Sacrebleu: {'score': 3.94096328781697, 'counts': [11, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [37.93103448275862, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.3793103448275862, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0740740740740742, 'translation_length': 29, 'reference_length': 27} Rouge: {'rouge1': 0.30769230769230765, 'rouge2': 0.04, 'rougeL': 0.23076923076923075, 'rougeLsum': 0.2692307692307692} Sari: {'sari': 39.26757669447728} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['Rapunzel hatte lange prächtige Haare, fein wie gesponnen Gold.'] Prediction: ['Rapunzel hatte lange prächtige Haare, fein wie gesponnen Gold.\nDer Rapunzel-Rapper hatte lange prächtige Haare, fein wie gesponnen Gold.\nDie beiden waren zuvor auf der Welt und waren zuvor auf der Welt.'] Label: [['Und Rapunzel bekommt sehr lange Haare:']] Sacrebleu: {'score': 1.3113617852675474, 'counts': [3, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [8.108108108108109, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.08108108108108109, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.285714285714286, 'translation_length': 37, 'reference_length': 7} Rouge: {'rouge1': 0.19512195121951217, 'rouge2': 0.0, 'rougeL': 0.14634146341463414, 'rougeLsum': 0.19512195121951217} Sari: {'sari': 38.18681318681319} Flesh Reading Ease: 64.0 ---------------------------------------- Source: ['»Rapunzel, Rapunzel, laß mir dein Haar herunter.«'] Prediction: ['Rapunzel, Rapunzel, laß mir dein Haar herunter.\nDie beiden waren einige Jahre alt.\nDie beiden waren einige Jahre alt.'] Label: [['Rapunzel: Lass deine Haare herunter!\nRapunzel!']] Sacrebleu: {'score': 2.0705706652424007, 'counts': [3, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [12.5, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 24, 'reference_length': 9} Rouge: {'rouge1': 0.23999999999999996, 'rouge2': 0.0, 'rougeL': 0.16, 'rougeLsum': 0.23999999999999996} Sari: {'sari': 36.66666666666667} Flesh Reading Ease: 68.4 ---------------------------------------- Source: ['Wenn die Zauberin hinein wollte, so stellte sie sich unten hin und rief:'] Prediction: ['Eine Zauberin wollte sich mit ihrem Zauberin hinein wollte, so stellte sie sich unten hin und rief.\nDie Zauberin wollte sich unten hin und rief: Sie wollte sich unten hin und rief:'] Label: [['Dann ruft die Zauberin zu Rapunzel: Die böse Zauberin besucht Rapunzel jeden Abend.']] Sacrebleu: {'score': 1.533227700920213, 'counts': [5, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [13.88888888888889, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.1388888888888889, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4, 'translation_length': 36, 'reference_length': 15} Rouge: {'rouge1': 0.13043478260869562, 'rouge2': 0.045454545454545456, 'rougeL': 0.13043478260869562, 'rougeLsum': 0.13043478260869562} Sari: {'sari': 38.74703727644904} Flesh Reading Ease: 76.25 ---------------------------------------- Source: ['Als es zwölf Jahre alt war, schloß es die Zauberin in einen Turm, der in einem Walde lag und weder Treppe noch Thür hatte, nur ganz oben war ein kleines Fensterchen. Rapunzel ward das schönste Kind unter der Sonne.'] Prediction: ['Eine Zauberin wurde zwölf Jahre alt, als sie zu einem schönsten Kind unter der Sonne schloß.\nDas Kind war zwölf Jahre alt, nur noch immer noch immer immer immer immer immer wieder immer wieder in einem Walde.\nDas Kind war zwölf Jahre alt, nur noch immer immer immer immer wieder immer wieder immer wieder in die Wohnung.'] Label: [['Und Rapunzel wird immer schöner.\nRapunzel wird älter.\nDer Turm hat nur ein kleines Fenster.\nDer Turm hat keine Tür.\nDer Turm ist mitten im Wald.\nDie Zauberin bringt Rapunzel in einen Turm.']] Sacrebleu: {'score': 0.935246702041104, 'counts': [7, 0, 0, 0], 'totals': [63, 62, 61, 60], 'precisions': [11.11111111111111, 0.8064516129032258, 0.4098360655737705, 0.20833333333333334], 'bp': 1.0, 'sys_len': 63, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6153846153846154, 'translation_length': 63, 'reference_length': 39} Rouge: {'rouge1': 0.14583333333333334, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.14583333333333334} Sari: {'sari': 32.433458197464994} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ['« Der Mann sagte in der Angst alles zu, und als die Frau in Wochen kam, so erschien sogleich die Zauberin, gab dem Kinde den Namen Rapunzel und nahm es mit sich fort.'] Prediction: ['Ein Kinde wurde in Wochen von einem Mann mit einem Namen Rapunzel gefunden.\nDer Mann sagte, als die Frau in Wochen kam, so erschien sogleich die Zauberin.\nDie Zauberin nahm den Namen Rapunzel fort.'] Label: [['Die Zauberin nennt das Mädchen: Rapunzel.\nUnd die Zauberin nimmt das kleine Mädchen mit.\nPlötzlich steht die Zauberin in der Tür.\nUnd die Frau bekommt ein Kind: Einige Wochen vergehen.\nWir werden dir unser Kind geben.\nDeshalb sagt der Mann zur Zauberin: Der Mann hat große Angst.']] Sacrebleu: {'score': 2.9015264810174672, 'counts': [16, 4, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [41.02564102564103, 10.526315789473685, 1.3513513513513513, 0.6944444444444444], 'bp': 0.6466840491033322, 'sys_len': 39, 'ref_len': 56} Bleu: {'bleu': 0.0, 'precisions': [0.41025641025641024, 0.10526315789473684, 0.0, 0.0], 'brevity_penalty': 0.6466840491033322, 'length_ratio': 0.6964285714285714, 'translation_length': 39, 'reference_length': 56} Rouge: {'rouge1': 0.3255813953488372, 'rouge2': 0.09523809523809525, 'rougeL': 0.13953488372093026, 'rougeLsum': 0.3023255813953488} Sari: {'sari': 38.248344278623186} Flesh Reading Ease: 75.1 ---------------------------------------- Source: ['du mußt mir das Kind geben, das deine Frau zur Welt bringen wird. « Da ließ die Zauberin in ihrem Zorne nach und sprach zu ihm: »Verhält es sich so, wie du sagst, so will ich dir gestatten, Rapunzeln mitzunehmen, soviel du willst, allein ich mache eine Bedingung:'] Prediction: ['Du mußt mir das Kind, das deine Frau zur Welt bringen wird.\nWie du sagst, so willst, so willst du dir gestatten, Rapunzeln mitzunehmen.'] Label: [['Dann musst du mir euer Kind für die Rapunzeln geben.\nDeine Frau hat euer Kind geboren?\nAber dafür musst du mir etwas versprechen: Dann nimm dir noch mehr von meinen Rapunzeln.\nUnd antwortet: Ist das wahr?\nDie Zauberin beruhigt sich.']] Sacrebleu: {'score': 1.252692675365468, 'counts': [10, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [33.333333333333336, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 0.5674136687970038, 'sys_len': 30, 'ref_len': 47} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5674136687970038, 'length_ratio': 0.6382978723404256, 'translation_length': 30, 'reference_length': 47} Rouge: {'rouge1': 0.26865671641791045, 'rouge2': 0.030769230769230767, 'rougeL': 0.2388059701492537, 'rougeLsum': 0.26865671641791045} Sari: {'sari': 35.79869405956362} Flesh Reading Ease: 86.1 ---------------------------------------- Source: ['meine Frau hat Euere Rapunzeln aus dem Fenster erblickt, und empfindet ein so großes Gelüsten, daß sie sterben würde, wenn sie nicht davon zu essen bekäme. »Ach,« antwortete er, »laßt Gnade für Recht ergehen, ich habe mich nur aus Not dazu entschlossen:'] Prediction: ['Eine Frau hat Euere Rapunzeln aus dem Fenster erblickt, und empfindet ein so großes Gelüsten, daß sie sterben würde, wenn sie nicht davon zu essen bekäme.\nEin Sprecher der Frau warnt vor einem Jahr für Recht.'] Label: [['Sonst stirbt meine Frau.\nMeine Frau wollte unbedingt Rapunzeln essen.\nMeine Frau ist schwanger.\nUnd sagt: Bitte bestraf mich nicht.\nDer Mann hat Angst.']] Sacrebleu: {'score': 1.5059289779946525, 'counts': [8, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [19.51219512195122, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.1951219512195122, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3666666666666667, 'translation_length': 41, 'reference_length': 30} Rouge: {'rouge1': 0.24615384615384614, 'rouge2': 0.0, 'rougeL': 0.15384615384615383, 'rougeLsum': 0.24615384615384614} Sari: {'sari': 35.49498746867168} Flesh Reading Ease: 68.4 ---------------------------------------- Source: ['Das soll dir schlecht bekommen.«'] Prediction: ['Immer mehr als eine Woche wird die Schweizerin aufgefunden, dass sie schlecht bekommen soll.\nDie Schweizerin soll sich schlecht bekommen.\nDie Schweizerin soll sich schlecht bekommen.'] Label: [['Deshalb werde ich dich bestrafen.']] Sacrebleu: {'score': 1.2414943415352928, 'counts': [1, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [3.3333333333333335, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.03333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.0, 'translation_length': 30, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 45.0} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['»Wie kannst du es wagen,« sprach sie mit zornigem Blick, »in meinen Garten zu steigen und wie ein Dieb mir meine Rapunzeln zu stehlen?'] Prediction: ['Die 20-Minuten-App-Hosts Andrea (30) und ihre 20-Minuten-App-Host Andrea (31) finden sich in ihrer Radio-Section deiner 20-Minuten-App (30) in der Radio-Section deiner 20-Minuten-App (30) zu Gast und bei ihren Lebens-Hosts (30) auf Spotify und Tune In.\nWir haben dir jeden Tag die besten Folgen der Radio-Section deiner 20-Minuten-App sowie auf Spotify und Tune In bekannt gegeben, wie sie ihnen ihnen ihnen kannst und wie ihnen ihnen ihnen ihnen zu stehen.\nWir haben dir jeden Tag, wie sie ihnen ihnen ihnen zu sehen, wie sie ihnen ihnen ihnen zu sehen, wie sie ihnen ihnen ihnen ihnen ihnen zu sehen, wie sie ihnen ihnen ihnen ihnen ihnen ihnen ihnen kannst, wie sie sie sie sind, wie sie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind, wie sie sie sind'] Label: [['Du bist ein Dieb!\nDu hast meine Rapunzeln genommen.\nUnd das sind meine Rapunzeln.\nDas ist mein Feld.\nUnd sagt wütend:']] Sacrebleu: {'score': 0.19842546615982581, 'counts': [3, 0, 0, 0], 'totals': [236, 235, 234, 233], 'precisions': [1.271186440677966, 0.2127659574468085, 0.10683760683760683, 0.0536480686695279], 'bp': 1.0, 'sys_len': 236, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.012711864406779662, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 9.076923076923077, 'translation_length': 236, 'reference_length': 26} Rouge: {'rouge1': 0.02643171806167401, 'rouge2': 0.0, 'rougeL': 0.01762114537444934, 'rougeLsum': 0.02643171806167401} Sari: {'sari': 49.28181386514721} Flesh Reading Ease: 29.25 ---------------------------------------- Source: ['Er machte sich also in der Abenddämmerung wieder hinab, als er aber die Mauer hinabgeklettert war, erschrak er gewaltig, denn er sah die Zauberin vor sich stehen.'] Prediction: ['Ein Mann hat sich in der Abenddämmerung wieder hinabgeklettert, als er aber die Mauer hinabgeklettert war.\nEr sah die Zauberin vor sich, als er aber die Mauer hinabgeklettert war.\nDie Zauberin sah die Zauberin vor sich.'] Label: [['Plötzlich steht die böse Zauberin vor dem Mann.\nDer Mann nimmt einige Rapunzeln.\nUnd geht auf das Feld.\nDann klettert der Mann wieder über die Mauer.\nDeshalb wartet der Mann auf die nächste Nacht.']] Sacrebleu: {'score': 3.333168744598931, 'counts': [12, 2, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [29.26829268292683, 5.0, 1.2820512820512822, 0.6578947368421053], 'bp': 1.0, 'sys_len': 41, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.2926829268292683, 0.05, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0512820512820513, 'translation_length': 41, 'reference_length': 39} Rouge: {'rouge1': 0.24324324324324326, 'rouge2': 0.05555555555555555, 'rougeL': 0.16216216216216217, 'rougeLsum': 0.21621621621621623} Sari: {'sari': 40.879866439329355} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['Sie hatten ihr aber so gut, so gut geschmeckt, daß sie den anderen Tag noch dreimal so viel Lust bekam.'] Prediction: ['Eine Frau wurde im Alter von 99 Jahren mit ihrem Partner aufgefunden.\nSie war dabei so gut, so gut geschmeckt, daß sie den anderen Tag noch dreimal so viel Lust bekam.\nDie Frau war so gut, so gut geschmeckt, daß sie den anderen Tag noch dreimal so viel Lust bekam.'] Label: [['Und die Frau möchte noch mehr von den Rapunzeln essen.']] Sacrebleu: {'score': 0.9527800929822878, 'counts': [5, 0, 0, 0], 'totals': [57, 56, 55, 54], 'precisions': [8.771929824561404, 0.8928571428571429, 0.45454545454545453, 0.23148148148148148], 'bp': 1.0, 'sys_len': 57, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.08771929824561403, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.181818181818182, 'translation_length': 57, 'reference_length': 11} Rouge: {'rouge1': 0.16393442622950818, 'rouge2': 0.033898305084745756, 'rougeL': 0.09836065573770492, 'rougeLsum': 0.13114754098360654} Sari: {'sari': 38.84057971014492} Flesh Reading Ease: 81.4 ---------------------------------------- Source: ['Sie machte sich sogleich Salat daraus und aß sie in voller Begierde auf.'] Prediction: ['Eine Frau aus der Schweiz hat sich in einem Begierde aufgefunden.\nSie machte sich sogleich Salat daraus und auss sie in voller Begierde auf.\nDie Frau war sogleich Salat daraus und auss sie in voller Begierde aufgefunden.'] Label: [['Die Frau isst die Rapunzeln.']] Sacrebleu: {'score': 2.033435199928181, 'counts': [3, 1, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [7.5, 2.5641025641025643, 1.3157894736842106, 0.6756756756756757], 'bp': 1.0, 'sys_len': 40, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.075, 0.02564102564102564, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.666666666666667, 'translation_length': 40, 'reference_length': 6} Rouge: {'rouge1': 0.09523809523809523, 'rouge2': 0.049999999999999996, 'rougeL': 0.09523809523809523, 'rougeLsum': 0.09523809523809523} Sari: {'sari': 37.56224451876626} Flesh Reading Ease: 74.1 ---------------------------------------- Source: ['« In der Abenddämmerung stieg er also über die Mauer in den Garten der Zauberin, stach in aller Eile eine Hand voll Rapunzeln und brachte sie seiner Frau.'] Prediction: ['Ein Mann hat in der Nacht auf Sonntag eine Frau mit Rapunzeln gefunden.\nDie Frau stieg dabei auf den Garten der Zauberin.\nDie Frau brachte ihn seiner Frau.'] Label: [['Und der Mann bringt die Rapunzeln seiner schwangeren Frau.\nDer Mann nimmt einige Rapunzeln.\nUnd geht auf das Feld.\nDer Mann klettert über die Mauer.\nDeshalb wartet der Mann auf die Nacht.']] Sacrebleu: {'score': 3.0935424070782167, 'counts': [12, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [38.70967741935484, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 0.8240299628128845, 'sys_len': 31, 'ref_len': 37} Bleu: {'bleu': 0.0, 'precisions': [0.3870967741935484, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 0.8240299628128845, 'length_ratio': 0.8378378378378378, 'translation_length': 31, 'reference_length': 37} Rouge: {'rouge1': 0.3666666666666667, 'rouge2': 0.0, 'rougeL': 0.19999999999999998, 'rougeLsum': 0.30000000000000004} Sari: {'sari': 39.270222136908004} Flesh Reading Ease: 88.8 ---------------------------------------- Source: ['« Der Mann, der sie lieb hatte, dachte: »Ehe du deine Frau sterben läßt, holst du ihr von den Rapunzeln, es mag kosten was es will.'] Prediction: ['Eine Frau wurde von einem Rapunzeln getötet.\nDer Mann, der sie lieb hatte, dachte: "Ehe du deine Frau sterben läßt, holst du ihr von den Rapunzeln, es mag kosten was es will".'] Label: [['Der Mann liebt seine Frau nämlich sehr.\nDer Mann will seiner Frau diesen Wunsch erfüllen.']] Sacrebleu: {'score': 4.119566303102715, 'counts': [7, 2, 1, 0], 'totals': [41, 40, 39, 38], 'precisions': [17.073170731707318, 5.0, 2.5641025641025643, 1.3157894736842106], 'bp': 1.0, 'sys_len': 41, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.17073170731707318, 0.05, 0.02564102564102564, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.411764705882353, 'translation_length': 41, 'reference_length': 17} Rouge: {'rouge1': 0.23529411764705885, 'rouge2': 0.04081632653061225, 'rougeL': 0.15686274509803924, 'rougeLsum': 0.23529411764705885} Sari: {'sari': 37.994131241257676} Flesh Reading Ease: 82.1 ---------------------------------------- Source: ['»Ach,« antwortete sie, »wenn ich keine Rapunzeln aus dem Garten hinter unserem Hause zu essen kriege, so sterbe ich.'] Prediction: ['Eine Rapunzeln aus dem Garten in der Nähe des Kantons Bern wurde von der Polizei verhaftet.\nDie Polizei hatte sich mit dem Garten aufgefunden, dass sie keine Rapunzeln aus dem Garten essen kriege, so sterbe ich.'] Label: [['Sonst sterbe ich.\nIch will unbedingt Rapunzeln essen.\nUnd so sagt die Frau zu ihrem Mann: Hol mir Rapunzeln.']] Sacrebleu: {'score': 4.370136648308831, 'counts': [8, 2, 1, 0], 'totals': [40, 39, 38, 37], 'precisions': [20.0, 5.128205128205129, 2.6315789473684212, 1.3513513513513513], 'bp': 1.0, 'sys_len': 40, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.05128205128205128, 0.02631578947368421, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7391304347826086, 'translation_length': 40, 'reference_length': 23} Rouge: {'rouge1': 0.25, 'rouge2': 0.037037037037037035, 'rougeL': 0.10714285714285714, 'rougeLsum': 0.21428571428571427} Sari: {'sari': 41.63291370187922} Flesh Reading Ease: 62.55 ---------------------------------------- Source: ['Eines Tages stand die Frau an diesem Fenster und sah in den Garten hinab, da erblickte sie ein Beet, das mit den schönsten Rapunzeln bepflanzt war: und sie sahen so frisch und grün aus, daß sie lüstern ward und das größte Verlangen empfand, von den Rapunzeln zu essen.'] Prediction: ['Eine Frau hat einen Beet in den Garten geschickt, das mit den schönsten Rapunzeln bepflanzt war.\nDieser sahen so frisch und grün aus, daß sie lüstern ward und das größte Verlangen empfand, von den Rapunzeln zu essen.'] Label: [['Die Frau möchte unbedingt von den Rapunzeln essen.\nAuf dem Feld von der Zauberin wachsen Rapunzeln.']] Sacrebleu: {'score': 4.597332077682467, 'counts': [8, 3, 1, 0], 'totals': [42, 41, 40, 39], 'precisions': [19.047619047619047, 7.317073170731708, 2.5, 1.2820512820512822], 'bp': 1.0, 'sys_len': 42, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.19047619047619047, 0.07317073170731707, 0.025, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 42, 'reference_length': 18} Rouge: {'rouge1': 0.20689655172413793, 'rouge2': 0.07142857142857144, 'rougeL': 0.17241379310344826, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 36.969786785953794} Flesh Reading Ease: 73.75 ---------------------------------------- Source: ['er war aber von einer hohen Mauer umgeben und niemand wagte hineinzugehen, weil er einer Zauberin gehörte, die große Macht hatte und von aller Welt gefürchtet ward. Die Leute hatten in ihrem Hinterhause ein kleines Fenster, daraus konnte man in einen prächtigen Garten sehen, der voll der schönsten Blumen und Kräuter stand;'] Prediction: ['Ein kleines Fenster hatte in einem Hinterhause eine Zauberin gehörte, die große Macht hatte.\nDie Leute hatten in ihrem Hinterhause ein kleines Fenster.\nDie Leute hatten in einen prächtigen Garten sehen, der voll der schönsten Blumen und Kräuter stand.'] Label: [['Deshalb haben die Menschen Angst vor der Zauberin: Das wissen die Menschen.\nNiemand soll auf das Feld gehen.\nDie Zauberin hat eine Mauer um das Feld gebaut.\nDas Feld gehört einer Zauberin.\nDas Haus ist an einem Feld.\nDer Mann und die Frau wohnen in einem kleinen Haus.']] Sacrebleu: {'score': 2.3605922837895696, 'counts': [11, 2, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [25.0, 4.651162790697675, 1.1904761904761905, 0.6097560975609756], 'bp': 0.7788007830714049, 'sys_len': 44, 'ref_len': 55} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.046511627906976744, 0.0, 0.0], 'brevity_penalty': 0.7788007830714049, 'length_ratio': 0.8, 'translation_length': 44, 'reference_length': 55} Rouge: {'rouge1': 0.23655913978494622, 'rouge2': 0.02197802197802198, 'rougeL': 0.1075268817204301, 'rougeLsum': 0.2150537634408602} Sari: {'sari': 36.644334613294} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Es war einmal ein Mann und eine Frau, die wünschten sich schon lange vergeblich ein Kind, endlich machte sich die Frau Hoffnung, der liebe Gott werde ihren Wunsch erfüllen.'] Prediction: ['Ein Mann und eine Frau wünschten sich schon lange vergeblich ein Kind, endlich machte sich die Frau Hoffnung, der liebe Gott werde ihren Wunsch erfüllen.\nDie Frau war einmal ein Mann und eine Frau, die wünschten sich schon lange vergeblich ein Kind, endlich machte sich die Frau Hoffnung, der liebe Gott werde ihren Wunsch erfüllen.'] Label: [['Bald wird die Frau ein Kind bekommen.\nEin Mann und eine Frau wünschen sich ein Kind.\nEs war einmal:']] Sacrebleu: {'score': 8.702802110225116, 'counts': [16, 8, 3, 2], 'totals': [62, 61, 60, 59], 'precisions': [25.806451612903224, 13.114754098360656, 5.0, 3.389830508474576], 'bp': 1.0, 'sys_len': 62, 'ref_len': 22} Bleu: {'bleu': 0.0870280211022512, 'precisions': [0.25806451612903225, 0.13114754098360656, 0.05, 0.03389830508474576], 'brevity_penalty': 1.0, 'length_ratio': 2.8181818181818183, 'translation_length': 62, 'reference_length': 22} Rouge: {'rouge1': 0.37974683544303794, 'rouge2': 0.23376623376623376, 'rougeL': 0.3037974683544304, 'rougeLsum': 0.37974683544303794} Sari: {'sari': 18.40341883056229} Flesh Reading Ease: 64.75 ---------------------------------------- Source: ['»Das hat dir der Teufel gesagt, das hat dir der Teufel gesagt,« schrie das Männlein und stieß mit dem rechten Fuß vor Zorn so tief in die Erde, daß es bis an den Leib hineinfuhr, dann packte es in seiner Wut den linken Fuß mit beiden Händen und riß sich selbst mitten entzwei.'] Prediction: ['Ein Männlein riß mit einem rechten Fuß vor Zorn.\nDabei riß sich der Fuß selbst mitten entzwei.\nDie beiden Händen riessen sich selbst mitten entzwei.'] Label: [['Und Rumpelstilzchen ist weg.\nDann geht das Loch wieder zu.\nUnd Rumpelstilzchen fällt in das Loch im Boden.\nIm Boden ist jetzt ein Loch.\nPlötzlich öffnet sich der Boden: Dann stampft Rumpelstilzchen mit dem rechten Fuß auf den Boden.\nErst stampft Rumpelstilzchen mit dem linken Fuß auf den Boden.\nUnd stampft mit den Füßen auf den Boden: Und schreit ganz laut.\nDeshalb ist Rumpelstilzchen sehr wütend.\nUnd das Männchen sagt: Du hast meinen Namen erraten.']] Sacrebleu: {'score': 0.5624272132921655, 'counts': [9, 2, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [32.142857142857146, 7.407407407407407, 1.9230769230769231, 1.0], 'bp': 0.12158485594365534, 'sys_len': 28, 'ref_len': 87} Bleu: {'bleu': 0.0, 'precisions': [0.32142857142857145, 0.07407407407407407, 0.0, 0.0], 'brevity_penalty': 0.12158485594365534, 'length_ratio': 0.3218390804597701, 'translation_length': 28, 'reference_length': 87} Rouge: {'rouge1': 0.14953271028037385, 'rouge2': 0.0380952380952381, 'rougeL': 0.09345794392523364, 'rougeLsum': 0.14953271028037385} Sari: {'sari': 35.022745258856375} Flesh Reading Ease: 89.8 ---------------------------------------- Source: ['»Heißt du etwa Rumpelstilzchen?«'] Prediction: ['Ein Rumpelstilzchen ist in der Schweiz immer mehrfach nicht mehr gefährlich.\nImmer mehr Rumpelstilzchen, wie es sich um einen Rumpelstilzchen handelt.\nDie beiden waren nicht mehr, sondern auch einige von ihnen.'] Label: [['Heißt du vielleicht Rumpelstilzchen?']] Sacrebleu: {'score': 1.0253311603116817, 'counts': [1, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [2.7777777777777777, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.027777777777777776, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.2, 'translation_length': 36, 'reference_length': 5} Rouge: {'rouge1': 0.05405405405405406, 'rouge2': 0.0, 'rougeL': 0.05405405405405406, 'rougeLsum': 0.05405405405405406} Sari: {'sari': 49.16666666666667} Flesh Reading Ease: 70.25 ---------------------------------------- Source: ['»Heißest du Heinz?« »Nein.«'] Prediction: ['Im Alter von 99 Jahren ist der Schweizer Heinz-Schweizer auf der Kippe.\nErst vor dem Jahr 2020 ist er im Alter von 99 Jahren gestorben.\nErst vor dem Jahr 2020 ist er noch nicht mehr immer.'] Label: [['Und das Männchen antwortet: Nein.\nHeißt du Hinz?']] Sacrebleu: {'score': 0.9432284668356838, 'counts': [1, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [2.5641025641025643, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.02564102564102564, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5454545454545454, 'translation_length': 39, 'reference_length': 11} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 59.72222222222222} Flesh Reading Ease: 91.95 ---------------------------------------- Source: ['« fragte sie erst: »Heißest du Kunz?« »Nein.«'] Prediction: ['Eine Frau fragte sie erst, wie sie ihn nicht mehr im Kunz kam.\nDie Frau fragte sie erst: "Heißest du Kunz?« »Nein.'] Label: [['Nein Oder heißt du Kunz?\nUnd die Königin fragt das Männchen:']] Sacrebleu: {'score': 5.146852383843665, 'counts': [4, 2, 1, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 7.142857142857143, 3.7037037037037037, 1.9230769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.07142857142857142, 0.037037037037037035, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.230769230769231, 'translation_length': 29, 'reference_length': 13} Rouge: {'rouge1': 0.27027027027027023, 'rouge2': 0.05714285714285715, 'rougeL': 0.16216216216216214, 'rougeLsum': 0.2162162162162162} Sari: {'sari': 44.6031746031746} Flesh Reading Ease: 98.8 ---------------------------------------- Source: ['Da könnt ihr denken wie die Königin froh war, als sie den Namen hörte, und als bald hernach das Männlein hereintrat und fragte: »Nun, Frau Königin, wie heiß ich?'] Prediction: ['Die Königin hat ihr Männlein auf dem Männlein geschafft.\nDie Frau war froh und könnte den Namen hörten, als sie den Namen hörte.\nWir haben ihr die besten Namen und fragten ihnen, wie sie ihr Männlein kommt.'] Label: [['Kennst du meinen Namen jetzt?\nDas Männchen fragt die Königin: Am Abend kommt das Männchen wieder ins Schloss.\nDie Königin ist glücklich:']] Sacrebleu: {'score': 2.733590008405116, 'counts': [6, 2, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [14.285714285714286, 4.878048780487805, 1.25, 0.6410256410256411], 'bp': 1.0, 'sys_len': 42, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.04878048780487805, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6153846153846154, 'translation_length': 42, 'reference_length': 26} Rouge: {'rouge1': 0.2535211267605634, 'rouge2': 0.057971014492753624, 'rougeL': 0.16901408450704225, 'rougeLsum': 0.2535211267605634} Sari: {'sari': 37.227727791453276} Flesh Reading Ease: 85.8 ---------------------------------------- Source: ['ach, wie gut ist, daß niemand weiß daß ich Rumpelstilzchen heiß!«'] Prediction: ['Ein Rumpelstilzchen hat einen Rumpelstilzchen heiß.\nDie Welt ist ein grosser Rumpelstilzchen.\nDie Welt ist ein grosser Rumpelstilzchen.'] Label: [['Und kein Mensch weiß: Dass ich Rumpelstilzchen heiß.']] Sacrebleu: {'score': 6.760229884571737, 'counts': [3, 2, 1, 0], 'totals': [21, 20, 19, 18], 'precisions': [14.285714285714286, 10.0, 5.2631578947368425, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.1, 0.05263157894736842, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1, 'translation_length': 21, 'reference_length': 10} Rouge: {'rouge1': 0.15384615384615383, 'rouge2': 0.08333333333333333, 'rougeL': 0.15384615384615383, 'rougeLsum': 0.15384615384615383} Sari: {'sari': 52.0279866332498} Flesh Reading Ease: 68.7 ---------------------------------------- Source: ['»Heute back ich, morgen brau ich, übermorgen hol ich der Königin ihr Kind;'] Prediction: ['Eine Königin ist tot, wie sie ihr Kind kam.\nDie Königin ist nach dem Kind zu sehen, wie sie ihr Kind war.\nDie Königin ist nicht nur mit ihrem Kind, sondern auch mit ihrem Kind.'] Label: [['Übermorgen hole ich mir das Kind von der Königin.\nMorgen brau ich.\nHeute back ich.']] Sacrebleu: {'score': 1.3389812472744242, 'counts': [5, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [12.195121951219512, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.12195121951219512, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2777777777777777, 'translation_length': 41, 'reference_length': 18} Rouge: {'rouge1': 0.11111111111111109, 'rouge2': 0.038461538461538464, 'rougeL': 0.11111111111111109, 'rougeLsum': 0.07407407407407407} Sari: {'sari': 35.9993894993895} Flesh Reading Ease: 92.25 ---------------------------------------- Source: ['« Den dritten Tag kam der Bote wieder zurück und erzählte: »Neue Namen habe ich keinen einzigen finden können, aber wie ich an einen hohen Berg um die Waldecke kam, wo Fuchs und Hase sich gute Nacht sagen, so sah ich da ein kleines Haus, und vor dem Haus brannte ein Feuer, und um das Feuer sprang ein gar zu lächerliches Männchen, hüpfte auf einem Bein und schrie:'] Prediction: ['Einige Männchen wurden am dritten Tag in einem Waldecke in einem Haus in der Nähe von Fuchs und Hase gestohlen.\nDie Waldecke kam auf einem hohen Berg um die Waldecke.\nDie Männchen waren zu lächerliches Männchen, hüpfte auf einem Bein und schrie.'] Label: [['Und hat ein Lied gesungen: Ein kleines Männchen ist um das Feuer getanzt.\nBei dem Haus war ein kleines Feuer.\nHinter dem Berg war ein kleines Haus.\nMitten im Wald war ein Berg.\nGestern war ich im Wald.\nDer Diener hat die letzten 3 Tage und Nächte nach dem Namen von dem Männchen gesucht.\nAm nächsten Morgen kommt ein Diener zur Königin ins Schloss.']] Sacrebleu: {'score': 0.8224500177152265, 'counts': [11, 0, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [23.91304347826087, 1.1111111111111112, 0.5681818181818182, 0.29069767441860467], 'bp': 0.5682366036329846, 'sys_len': 46, 'ref_len': 72} Bleu: {'bleu': 0.0, 'precisions': [0.2391304347826087, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5682366036329846, 'length_ratio': 0.6388888888888888, 'translation_length': 46, 'reference_length': 72} Rouge: {'rouge1': 0.23931623931623933, 'rouge2': 0.034782608695652174, 'rougeL': 0.13675213675213677, 'rougeLsum': 0.20512820512820512} Sari: {'sari': 34.66759680020212} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ['»So heiß ich nicht. aber es antwortete immer:'] Prediction: ['Immer mehr als eine Woche nach der Woche wurde die Woche nicht mehr geschickt.\nDie Woche wurde nur noch nicht mehr geschickt.\nDie Woche wurde nicht mehr geschickt.'] Label: [['So heiße ich nicht.\nUnd sagt: Nein.']] Sacrebleu: {'score': 1.5784309053930103, 'counts': [3, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [9.67741935483871, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.0967741935483871, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1, 'translation_length': 31, 'reference_length': 10} Rouge: {'rouge1': 0.05555555555555556, 'rouge2': 0.0, 'rougeL': 0.05555555555555556, 'rougeLsum': 0.05555555555555556} Sari: {'sari': 41.15410052910053} Flesh Reading Ease: 82.95 ---------------------------------------- Source: ['« Den zweiten Tag ließ sie in der Nachbarschaft herumfragen, wie die Leute da genannt würden, und sagte dem Männlein die ungewöhnlichsten und seltsamsten Namen vor: »Heißt du vielleicht Rippenbiest oder Hammelswade oder Schnürbein?«'] Prediction: ['Ein Männlein hat in der Nachbarschaft von Zürich einen zweiten Tag gemacht.\nDer Männlein warnt vor, wie die Leute da genannt würden.\nDer Männlein warnt vor: "Rippenbiest oder Hammelswade oder Schnürbein".'] Label: [['Oder heißt du Schnür∙bein?\nOder heißt du Hammels∙wade?\n?\nRippen∙biest Heißt du Und die Königin fragt das Männchen: Und am nächsten Morgen kommt das Männchen wieder ins Schloss.\nDie Königin sucht die ganze Nacht nach dem Namen von dem Männchen.']] Sacrebleu: {'score': 1.2053326643735855, 'counts': [5, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [13.157894736842104, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 0.8317606778818756, 'sys_len': 38, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.13157894736842105, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8317606778818756, 'length_ratio': 0.8444444444444444, 'translation_length': 38, 'reference_length': 45} Rouge: {'rouge1': 0.1797752808988764, 'rouge2': 0.0, 'rougeL': 0.0898876404494382, 'rougeLsum': 0.15730337078651685} Sari: {'sari': 33.33813035917731} Flesh Reading Ease: 81.95 ---------------------------------------- Source: ['Als am anderen Tage das Männchen kam, fing sie an mit Kaspar, Melchior, Balzer, und sagte alle Namen, die sie wußte, nach der Reihe her, aber bei jedem sprach das Männlein: »So heiß ich nicht.'] Prediction: ['Das Männchen ist am Freitagabend in der Schweiz gestorben.\nAls sie das erste Mal kam, fing sie an den Kaspar, Melchior, Balzer, und sagte alle Namen, die sie wußte, nach der Reihe her.\nDie beiden waren nicht bekannt, sondern auch bei den beiden.'] Label: [['So heiße ich nicht.\nAber das Männchen antwortet: Nein.\nOder heißt du Balthasar?\nOder heißt du Melchior?\nHeißt du Kaspar?\nDie Königin fragt das Männchen: Am nächsten Morgen kommt das Männchen ins Schloss.']] Sacrebleu: {'score': 1.189353035827293, 'counts': [9, 0, 0, 0], 'totals': [53, 52, 51, 50], 'precisions': [16.9811320754717, 0.9615384615384616, 0.49019607843137253, 0.25], 'bp': 1.0, 'sys_len': 53, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.16981132075471697, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2926829268292683, 'translation_length': 53, 'reference_length': 41} Rouge: {'rouge1': 0.20689655172413796, 'rouge2': 0.047058823529411764, 'rougeL': 0.11494252873563218, 'rougeLsum': 0.20689655172413796} Sari: {'sari': 34.227828246519834} Flesh Reading Ease: 77.95 ---------------------------------------- Source: ['Nun besann sich die Königin die ganze Nacht über auf alle Namen, die sie jemals gehört hatte, und schickte einen Boten über Land, der sollte sich erkundigen weit und breit, was es sonst noch für Namen gäbe!'] Prediction: ['Die Königin hat sich in der Nacht auf Sonntag auf alle Namen beschlossen.\nSie hatte einen Boten über Land, der sollte sich erkundigen weit und breit gäbe.\nDie Königin hatte sich dabei über die Namen, die sie jemals gehört hatte, und schickte einen Boten über Land, der sollte sich erkundigen weit und breit, was es sonst noch für Namen gäbe.'] Label: [['Das macht die Königin die ganze Nacht.\nDie Königin schreibt die Namen auf.\nUnd fragt alle Menschen im Schloss nach ihren Namen.\nDeshalb geht die Königin durch das Schloss.\nAber die Königin kennt den Namen von dem Männchen nicht.']] Sacrebleu: {'score': 3.2195455346781636, 'counts': [14, 3, 1, 0], 'totals': [68, 67, 66, 65], 'precisions': [20.58823529411765, 4.477611940298507, 1.5151515151515151, 0.7692307692307693], 'bp': 1.0, 'sys_len': 68, 'ref_len': 44} Bleu: {'bleu': 0.0, 'precisions': [0.20588235294117646, 0.04477611940298507, 0.015151515151515152, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5454545454545454, 'translation_length': 68, 'reference_length': 44} Rouge: {'rouge1': 0.2727272727272727, 'rouge2': 0.09259259259259259, 'rougeL': 0.21818181818181817, 'rougeLsum': 0.2545454545454546} Sari: {'sari': 29.738605267114348} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['»Drei Tage will ich dir Zeit lassen,« sprach er, »wenn du bis dahin meinen Namen weißt, so sollst du dein Kind behalten.«'] Prediction: ['Ein Kind wird im Alter von 99 Jahren nicht mehr behalten.\nDie Welt will das Kind sein, das wäre nicht mehr.\nDie Welt will das nicht mehr sein, sondern auch ein Kind zu behalten.'] Label: [['Dann darfst du dein Kind behalten.\nDu errätst meinen Namen?\nDafür hast du 3 Tage Zeit.\nDu musst meinen Namen erraten.\nIch gebe dir ein Rätsel auf:']] Sacrebleu: {'score': 2.482716946958931, 'counts': [6, 1, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [15.384615384615385, 2.6315789473684212, 1.3513513513513513, 0.6944444444444444], 'bp': 1.0, 'sys_len': 39, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.02631578947368421, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.21875, 'translation_length': 39, 'reference_length': 32} Rouge: {'rouge1': 0.09230769230769231, 'rouge2': 0.0, 'rougeL': 0.09230769230769231, 'rougeLsum': 0.09230769230769231} Sari: {'sari': 33.346332246711754} Flesh Reading Ease: 98.5 ---------------------------------------- Source: ['« Da fing die Königin so an zu jammern und zu weinen, daß das Männlein Mitleid mit ihr hatte:'] Prediction: ['Ein Männlein Mitleid mit ihr hatte die Königin so an zu jammern und zu weinen, da sie ihr Männlein Mitleid mit ihr hatte.\nDie Königin hatte ihr Mitleid mit ihr und ihr Mitleid mit ihr.'] Label: [['Also sagt das Männchen: Und weint viele Tränen.\nDeshalb ist die Königin sehr traurig.']] Sacrebleu: {'score': 2.304907678117588, 'counts': [4, 1, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [10.526315789473685, 2.7027027027027026, 1.3888888888888888, 0.7142857142857143], 'bp': 1.0, 'sys_len': 38, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.02702702702702703, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.235294117647059, 'translation_length': 38, 'reference_length': 17} Rouge: {'rouge1': 0.17857142857142858, 'rouge2': 0.07407407407407407, 'rougeL': 0.17857142857142858, 'rougeLsum': 0.17857142857142858} Sari: {'sari': 34.88095238095239} Flesh Reading Ease: 80.6 ---------------------------------------- Source: ['da trat es plötzlich in ihre Kammer und sprach: »Nun gieb mir was du versprochen hast.'] Prediction: ['Eine Frau wurde in ihre Kammer mit einem Messer versprochen.\nDie Frau war mit dem Messer auf der Flucht und sprach von ihrem Messer.\nDie Frau war mit dem Messer auf der Flucht und sprach von ihrem Messer.'] Label: [['Das Männchen möchte das Kind von der Königin.\nUnd das Männchen kommt ins Schloss.\nPlötzlich geht die Tür auf.']] Sacrebleu: {'score': 1.4014248243844825, 'counts': [6, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [14.634146341463415, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.14634146341463414, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8636363636363635, 'translation_length': 41, 'reference_length': 22} Rouge: {'rouge1': 0.1587301587301587, 'rouge2': 0.0, 'rougeL': 0.12698412698412698, 'rougeLsum': 0.12698412698412698} Sari: {'sari': 46.623376623376615} Flesh Reading Ease: 85.4 ---------------------------------------- Source: ['Über ein Jahr brachte sie ein schönes Kind zur Welt und dachte gar nicht mehr an das Männchen;'] Prediction: ['Eine Frau (24) ist nach einem schönes Kind zur Welt gekommen.\nDas Männchen wurde nicht mehr an das Männchen verkündet.\nDie Frau hatte ein schönes Kind zur Welt und dachte nicht mehr an das Männchen.'] Label: [['Und die neue Königin und der König bekommen ein Kind.\nEin Jahr vergeht.']] Sacrebleu: {'score': 1.3737889784665156, 'counts': [5, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [12.5, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 40, 'reference_length': 15} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.0, 'rougeL': 0.10714285714285712, 'rougeLsum': 0.10714285714285712} Sari: {'sari': 34.36704227145404} Flesh Reading Ease: 86.4 ---------------------------------------- Source: ['Und als am Morgen der König kam und alles fand, wie er gewünscht hatte, so hielt er Hochzeit mit ihr und die schöne Müllerstochter ward eine Königin.'] Prediction: ['Ein Königin wurde am Morgen der Königin gewünscht.\nAls er gewünscht hatte, hielt er Hochzeit mit ihr und die schöne Müllerstochter.\nDie Königin wurde am Morgen von der Familie gewünscht.'] Label: [['Und ist jetzt die neue Königin.\nDie Tochter vom Müller heiratet den König.\nUnd die neue Königin sein.\nDu sollst meine Frau werden.\nDer König sagt zu der Tochter vom Müller: Und der König freut sich sehr.\nDer König sieht das Gold.\nDer König kommt in das Zimmer.']] Sacrebleu: {'score': 1.6601522632823968, 'counts': [9, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [26.470588235294116, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 0.523583465714997, 'sys_len': 34, 'ref_len': 56} Bleu: {'bleu': 0.0, 'precisions': [0.2647058823529412, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 0.5235834657149969, 'length_ratio': 0.6071428571428571, 'translation_length': 34, 'reference_length': 56} Rouge: {'rouge1': 0.23157894736842105, 'rouge2': 0.08602150537634409, 'rougeL': 0.16842105263157894, 'rougeLsum': 0.23157894736842105} Sari: {'sari': 35.15428074750108} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['sie versprach also dem Männchen was er verlangte und das Männchen spann dafür noch einmal das Stroh zu Gold. »Wer weiß, wie das noch geht,« dachte die Müllerstochter und wußte sich auch in der Not nicht anders zu helfen;'] Prediction: ['Ein Männchen wurde von einem Männchen verlangt und das Männchen spann dafür noch einmal das Gold zu Gold.\nDie Müllerstochter wollten sich auch in der Not helfen.'] Label: [['Am nächsten Morgen ist auch das 3. Zimmer voll mit Gold.\nUnd macht das ganze Stroh zu Gold.\nDas Männchen sitzt die ganze Nacht am Spinn∙rad.\nUnd das Spinn∙rad macht das Stroh zu Gold.\nDas Männchen dreht am Spinn∙rad.\nDann setzt sich das Männchen an das Spinn∙rad.\nDu bekommst mein 1.\nKind.\nDeshalb sagt die Tochter vom Müller zu dem Männchen: Aber die Tochter vom Müller hat sonst nichts.']] Sacrebleu: {'score': 1.2914737391724667, 'counts': [12, 3, 1, 0], 'totals': [29, 28, 27, 26], 'precisions': [41.37931034482759, 10.714285714285714, 3.7037037037037037, 1.9230769230769231], 'bp': 0.17228233081618782, 'sys_len': 29, 'ref_len': 80} Bleu: {'bleu': 0.0, 'precisions': [0.41379310344827586, 0.10714285714285714, 0.037037037037037035, 0.0], 'brevity_penalty': 0.17228233081618782, 'length_ratio': 0.3625, 'translation_length': 29, 'reference_length': 80} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.10909090909090909, 'rougeL': 0.19642857142857145, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 38.92985661331607} Flesh Reading Ease: 78.75 ---------------------------------------- Source: ['»So versprich mir, wenn du Königin wirst, dein erstes Kind.«'] Prediction: ['Im Interview mit 20 Minuten spricht der "Morning Show" host Andrea über ihre ersten Tageshow-Hosts, die ihre ersten Folge mit ihrem 20-Minuten-Radio-Host Andrea über ihre ersten Tageshow-Host Andrea über ihre ersten Folge, die ihre ersten Folge mit ihrem 20-Minuten-Host Andrea über ihren 20-Minuten-Host Andrea über ihre ersten Tage-Hosts und ihre ersten Folge, die ihre Woche-Hosts sowie ihre 20-Minuten-Host Andrea über ihre Antworten und ihre Antworten sowie ihre Antworten sowie ihre Antworten sowie ihre Antworten sowie ihre Antworten sowie ihre Antworten sowie ihre Antworten sowie ihre Antworten sowie ihre Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihre Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie ihrer Antworten sowie'] Label: [['Dann musst du mir euer Kind geben!\nDu bekommst mit dem König ein Kind?\nUnd sagt: Dann gib mir dein 1.\nKind.']] Sacrebleu: {'score': 0.20736715085908453, 'counts': [1, 0, 0, 0], 'totals': [172, 171, 170, 169], 'precisions': [0.5813953488372093, 0.29239766081871343, 0.14705882352941177, 0.07396449704142012], 'bp': 1.0, 'sys_len': 172, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.005813953488372093, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.37037037037037, 'translation_length': 172, 'reference_length': 27} Rouge: {'rouge1': 0.020512820512820516, 'rouge2': 0.0, 'rougeL': 0.020512820512820516, 'rougeLsum': 0.020512820512820516} Sari: {'sari': 46.61138981791156} Flesh Reading Ease: -107.71 ---------------------------------------- Source: ['»Ich habe nichts mehr, das ich geben könnte,« antwortete das Mädchen.'] Prediction: ['Ein Mädchen hatte im Alter von 99 Jahren einen Mädchen geschützt.\nEr war nichts mehr, das ich geben könnte, selbst antwortete das Mädchen.'] Label: [['Jetzt habe ich nichts mehr.\nUnd du hast meinen Ring.\nDie Tochter vom Müller sagt: Du hast meine Kette.']] Sacrebleu: {'score': 3.4901807086831904, 'counts': [5, 1, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [18.51851851851852, 3.8461538461538463, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.18518518518518517, 0.038461538461538464, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.173913043478261, 'translation_length': 27, 'reference_length': 23} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.043478260869565216, 'rougeL': 0.125, 'rougeLsum': 0.125} Sari: {'sari': 36.515151515151516} Flesh Reading Ease: 80.75 ---------------------------------------- Source: ['« Als das Mädchen allein war, kam das Männlein zum drittenmal wieder und sprach: »Was giebst du mir, wenn ich dir noch diesmal das Stroh spinne?«'] Prediction: ['Im Männlein von St. Gallen ist ein Mädchen zum drittenmal wieder gestorben.\nAls das Männlein allein war, sprach der 39-Jährige: "Was giebst du mir, wenn ich dir noch diesmal das Stroh spinne?'] Label: [['Aber dafür möchte ich eine Belohnung.\nUnd sagt: Ich helfe dir.\nUnd das Männchen kommt ins Zimmer.\nDie Tochter vom Müller weint viele Tränen.\nJetzt ist die Tochter vom Müller allein in dem Zimmer.']] Sacrebleu: {'score': 1.5059289779946525, 'counts': [8, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [19.51219512195122, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.1951219512195122, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.025, 'translation_length': 41, 'reference_length': 40} Rouge: {'rouge1': 0.2077922077922078, 'rouge2': 0.026666666666666665, 'rougeL': 0.1038961038961039, 'rougeLsum': 0.2077922077922078} Sari: {'sari': 33.54174597132344} Flesh Reading Ease: 81.55 ---------------------------------------- Source: ["gelingt dir's aber, so sollst du meine Gemahlin werden.«"] Prediction: ['Im Alter von 99 Jahren wurde die Schweizer Gemahlin von 20 Jahren aufgefunden.\nNun wurde der Gemahlin von 20 Jahren aufgefunden.\nDie Gemahlin wurde von 20 Jahren nach dem Gemahlin geschlossen.'] Label: [['Dann heirate ich dich.\nDu machst das ganze Stroh zu Gold?']] Sacrebleu: {'score': 1.0885011049519644, 'counts': [1, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [2.9411764705882355, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.029411764705882353, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6153846153846154, 'translation_length': 34, 'reference_length': 13} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 61.66666666666667} Flesh Reading Ease: 64.4 ---------------------------------------- Source: ['Der König freute sich über die Maßen bei dem Anblick, war aber noch immer nicht Goldes satt, sondern ließ die Müllerstochter in eine noch größere Kammer voll Stroh bringen und sprach: »Die mußt du noch in dieser Nacht verspinnen;'] Prediction: ['Die Müllerstochter sind in eine noch größere Kammer voll Stroh bringen.\nDie Müllerstochter sind noch immer nicht Goldes satt.\nDie Müllerstochter sind noch immer nicht Goldes satt.'] Label: [['Heute Nacht musst du das ganze Stroh zu Gold machen.\nDer König sagt zur Tochter vom Müller: Und auch das 3. Zimmer ist voll mit Stroh.\nDas 3. Zimmer ist noch größer.\nAlso schickt der König das Mädchen in ein 3. Zimmer.\nDer König will noch mehr Gold.\nJetzt freut sich der König sehr.\nUnd der König sieht das Gold.\nDer König kommt in das Zimmer.']] Sacrebleu: {'score': 0.42154706527377206, 'counts': [8, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [26.666666666666668, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 0.20189651799465538, 'sys_len': 30, 'ref_len': 78} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 0.20189651799465547, 'length_ratio': 0.38461538461538464, 'translation_length': 30, 'reference_length': 78} Rouge: {'rouge1': 0.1509433962264151, 'rouge2': 0.019230769230769232, 'rougeL': 0.11320754716981132, 'rougeLsum': 0.1509433962264151} Sari: {'sari': 33.50651164620711} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Das Männchen nahm den Ring, fing wieder an zu schnurren mit dem Rade und hatte bis zum Morgen alles Stroh zu glänzendem Gold gesponnen.'] Prediction: ['Das Männchen nahm den Ring, fing wieder an zu schnurren mit dem Rade und hatte bis zum Morgen alles Stroh zu glänzendem Gold gesponnen.\nDer Männchen nahm den Ring, fing wieder an zu schnurren mit dem Rade und hatte bis zum Morgen alles Stroh zu glänzendem Gold gesponnen.'] Label: [['Am nächsten Morgen ist auch das 2. Zimmer voll mit Gold.\nUnd macht das ganze Stroh zu Gold.\nDas Männchen sitzt die ganze Nacht am Spinn∙rad.\nUnd das Spinn∙rad macht das Stroh zu Gold.\nDas Männchen dreht am Spinn∙rad.\nDann setzt sich das Männchen an das Spinn∙rad.\nDas Männchen nimmt den Ring.']] Sacrebleu: {'score': 2.856097703641688, 'counts': [16, 4, 0, 0], 'totals': [52, 51, 50, 49], 'precisions': [30.76923076923077, 7.8431372549019605, 1.0, 0.5102040816326531], 'bp': 0.8574039191604413, 'sys_len': 52, 'ref_len': 60} Bleu: {'bleu': 0.0, 'precisions': [0.3076923076923077, 0.0784313725490196, 0.0, 0.0], 'brevity_penalty': 0.8574039191604413, 'length_ratio': 0.8666666666666667, 'translation_length': 52, 'reference_length': 60} Rouge: {'rouge1': 0.3185840707964602, 'rouge2': 0.1081081081081081, 'rougeL': 0.21238938053097348, 'rougeLsum': 0.3185840707964602} Sari: {'sari': 40.524453024453024} Flesh Reading Ease: 68.25 ---------------------------------------- Source: ['»Meinen Ring von dem Finger,« antwortete das Mädchen. Was giebst du mir, wenn ich dir das Stroh zu Gold spinne?«'] Prediction: ['Ein Mädchen hat einen Ring von dem Finger.\nDer Ring antwortete das Mädchen.\nDer Ring ist auf dem Ring von dem Finger.'] Label: [['Und gibt den Ring dem Männchen.\nDie Tochter vom Müller nimmt den Ring ab.\nDie Tochter vom Müller hat einen schönen Ring am Finger.\nAber dafür möchte ich eine Belohnung.\nUnd sagt: Ich helfe dir.']] Sacrebleu: {'score': 2.8246269077702633, 'counts': [10, 2, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [40.0, 8.333333333333334, 2.1739130434782608, 1.1363636363636365], 'bp': 0.5272924240430487, 'sys_len': 25, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.4, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 0.5272924240430485, 'length_ratio': 0.6097560975609756, 'translation_length': 25, 'reference_length': 41} Rouge: {'rouge1': 0.27692307692307694, 'rouge2': 0.03174603174603175, 'rougeL': 0.1846153846153846, 'rougeLsum': 0.27692307692307694} Sari: {'sari': 38.953267477203646} Flesh Reading Ease: 96.65 ---------------------------------------- Source: ['Das Mädchen wußte sich nicht zu helfen und weinte, da ging abermals die Thür auf und das kleine Männchen erschien und sprach: »'] Prediction: ['Ein kleine Männchen wurde in der Thür von einem Mädchen erschien und sprach.\nDas Männchen wurde nicht zu helfen und weinte, da ging abermals die Thür auf und das kleine Männchen erschien und sprach.'] Label: [['Das Männchen fragt die Tochter vom Müller: Und das Männchen kommt ins Zimmer.\nPlötzlich geht die Tür auf.\nDie Tochter vom Müller weint viele Tränen.']] Sacrebleu: {'score': 2.8182998883818935, 'counts': [8, 1, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [21.62162162162162, 2.7777777777777777, 1.4285714285714286, 0.7352941176470589], 'bp': 1.0, 'sys_len': 37, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.21621621621621623, 0.027777777777777776, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2758620689655173, 'translation_length': 37, 'reference_length': 29} Rouge: {'rouge1': 0.33333333333333326, 'rouge2': 0.14285714285714285, 'rougeL': 0.3055555555555556, 'rougeLsum': 0.33333333333333326} Sari: {'sari': 36.51633685955182} Flesh Reading Ease: 81.1 ---------------------------------------- Source: ['Er ließ die Müllerstochter in eine andere Kammer voll Stroh bringen, die noch viel größer war, und befahl ihr das auch in einer Nacht zu spinnen, wenn ihr das Leben lieb wäre.'] Prediction: ['Ein Mann aus Müller (D) liegt in eine andere Kammer voll Stroh bringen, die noch viel größer war, und befahl ihr das auch in einer Nacht zu spinnen, wenn ihr das Leben lieb wäre.\nDer Mann liegt in eine andere Kammer voll Stroh bringen, die noch viel größer war.'] Label: [['Und du musst sterben.\nOder ich bestrafe dich.\nHeute Nacht musst du das ganze Stroh zu Gold machen.\nDer König sagt zur Tochter vom Müller: Und auch das 2. Zimmer ist voll mit Stroh.\nDas 2. Zimmer ist größer.\nAlso schickt der König das Mädchen in ein 2. Zimmer.']] Sacrebleu: {'score': 2.0013188056653357, 'counts': [14, 1, 0, 0], 'totals': [57, 56, 55, 54], 'precisions': [24.56140350877193, 1.7857142857142858, 0.9090909090909091, 0.46296296296296297], 'bp': 0.9655207177429715, 'sys_len': 57, 'ref_len': 59} Bleu: {'bleu': 0.0, 'precisions': [0.24561403508771928, 0.017857142857142856, 0.0, 0.0], 'brevity_penalty': 0.9655207177429715, 'length_ratio': 0.9661016949152542, 'translation_length': 57, 'reference_length': 59} Rouge: {'rouge1': 0.2990654205607477, 'rouge2': 0.0380952380952381, 'rougeL': 0.16822429906542055, 'rougeLsum': 0.2616822429906542} Sari: {'sari': 39.32467203015149} Flesh Reading Ease: 73.6 ---------------------------------------- Source: ['Bei Sonnenaufgang kam schon der König und als er das Gold erblickte, erstaunte er und freute sich, aber sein Herz ward nur noch goldgieriger.'] Prediction: ['Ein Herz ward ist bei Sonnenaufgang nur noch goldgieriger.\nDer König und seine Herz ward freute sich, aber sein Herz ward ist nur noch goldgieriger.'] Label: [['Der König will jetzt nämlich noch mehr Gold.\nJetzt freut sich der König sehr.\nUnd der König sieht das Gold.\nDer König kommt in das Zimmer.']] Sacrebleu: {'score': 5.5037410234538315, 'counts': [6, 2, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [21.428571428571427, 7.407407407407407, 3.8461538461538463, 2.0], 'bp': 0.9310627797040228, 'sys_len': 28, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.07407407407407407, 0.038461538461538464, 0.0], 'brevity_penalty': 0.9310627797040228, 'length_ratio': 0.9333333333333333, 'translation_length': 28, 'reference_length': 30} Rouge: {'rouge1': 0.21052631578947367, 'rouge2': 0.07272727272727272, 'rougeL': 0.17543859649122806, 'rougeLsum': 0.14035087719298245} Sari: {'sari': 36.503668327796234} Flesh Reading Ease: 79.75 ---------------------------------------- Source: ["Dann steckte es eine andere auf, und schnurr, schnurr, schnurr, dreimal gezogen, war auch die zweite voll: und so ging's fort bis zum Morgen, da war alles Stroh versponnen und alle Spulen waren voll Gold. Das Männchen nahm das Halsband, setzte sich vor das Rädchen, und schnurr, schnurr, schnurr, dreimal gezogen, war die Spule voll."] Prediction: ['Im Männchen in der Nähe von St. Gallen wurde ein Männchen von einem Stroh versponnen.\nDas Männchen nahm das Halsband, setzte sich vor das Rädchen, und schnurr, schnurr, schnurr, dreimal gezogen, war die Spule voll.'] Label: [['Am nächsten Morgen ist das Zimmer voll mit Gold.\nUnd macht das ganze Stroh zu Gold.\nDas Männchen sitzt die ganze Nacht am Spinn∙rad.\nUnd das Spinn∙rad macht das Stroh zu Gold.\nDas Männchen dreht am Spinn∙rad.\nDann setzt sich das Männchen an das Spinn∙rad.\nDas Männchen nimmt die Kette.']] Sacrebleu: {'score': 3.326082287848807, 'counts': [13, 2, 1, 0], 'totals': [44, 43, 42, 41], 'precisions': [29.545454545454547, 4.651162790697675, 2.380952380952381, 1.2195121951219512], 'bp': 0.7441932409198291, 'sys_len': 44, 'ref_len': 57} Bleu: {'bleu': 0.0, 'precisions': [0.29545454545454547, 0.046511627906976744, 0.023809523809523808, 0.0], 'brevity_penalty': 0.7441932409198289, 'length_ratio': 0.7719298245614035, 'translation_length': 44, 'reference_length': 57} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.08247422680412371, 'rougeL': 0.20202020202020202, 'rougeLsum': 0.2828282828282828} Sari: {'sari': 37.26383661083874} Flesh Reading Ease: 80.55 ---------------------------------------- Source: ["»Mein Halsband,« sagte das Mädchen. Was giebst du mir, wenn ich dir's spinne?«"] Prediction: ['Ein Mädchen hat seinen Halsband aufgefunden.\nEr wurde von seinem Mädchen aufgefunden.\nDie beiden waren nicht nur, sondern auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch'] Label: [['Und gibt die Kette dem Männchen.\nDie Tochter vom Müller nimmt die Kette ab.\nDie Tochter vom Müller hat eine schöne Kette um den Hals.\nAber dafür möchte ich eine Belohnung.\nIch kann Stroh zu Gold machen.\nUnd sagt: Ich helfe dir.']] Sacrebleu: {'score': 0.3813638208817408, 'counts': [4, 1, 0, 0], 'totals': [222, 221, 220, 219], 'precisions': [1.8018018018018018, 0.45248868778280543, 0.22727272727272727, 0.1141552511415525], 'bp': 1.0, 'sys_len': 222, 'ref_len': 49} Bleu: {'bleu': 0.0, 'precisions': [0.018018018018018018, 0.004524886877828055, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.530612244897959, 'translation_length': 222, 'reference_length': 49} Rouge: {'rouge1': 0.029739776951672865, 'rouge2': 0.0, 'rougeL': 0.022304832713754646, 'rougeLsum': 0.029739776951672865} Sari: {'sari': 61.51703042328042} Flesh Reading Ease: 42.65 ---------------------------------------- Source: ['»Ach,« antwortete das Mädchen, »ich soll Stroh zu Gold spinnen und verstehe das nicht.'] Prediction: ['Ein Mädchen, der einen Stroh zu Gold spinnen soll, ist nicht bekannt.\nDer Mädchen war das erste Mädchen, der einen Gold-Spinze spinnen soll.\nDer Mädchen war das nicht.'] Label: [['Aber ich kann Stroh nicht zu Gold machen.\nUnd die Tochter vom Müller antwortet: Ich soll Stroh zu Gold machen.']] Sacrebleu: {'score': 5.007816165264322, 'counts': [7, 2, 1, 0], 'totals': [34, 33, 32, 31], 'precisions': [20.58823529411765, 6.0606060606060606, 3.125, 1.6129032258064515], 'bp': 1.0, 'sys_len': 34, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.20588235294117646, 0.06060606060606061, 0.03125, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4782608695652173, 'translation_length': 34, 'reference_length': 23} Rouge: {'rouge1': 0.25925925925925924, 'rouge2': 0.07692307692307693, 'rougeL': 0.18518518518518517, 'rougeLsum': 0.25925925925925924} Sari: {'sari': 42.869994928818464} Flesh Reading Ease: 88.8 ---------------------------------------- Source: ['Da ging auf einmal die Thür auf und trat ein kleines Männchen herein und sprach: »Guten Abend, Jungfer Müllerin, warum weint sie so sehr?«'] Prediction: ['Ein kleines Männchen hat einen kleines Männchen herein und sprach: "Guten Abend, Jungfer Müllerin, warum weint sie so sehr sehr?\nWir haben ein kleines Männchen zu sehen, wie sie so sehr weint.\nWir haben einen kleines Männchen aufgefordert, wie sie sich nicht bekannt hat.'] Label: [['Warum weinst du?\nDas Männchen fragt die Tochter vom Müller: Ein Männchen ist ein sehr kleiner Mann.\nUnd ein Männchen kommt ins Zimmer.\nPlötzlich geht die Tür auf.']] Sacrebleu: {'score': 1.2210969826269686, 'counts': [10, 0, 0, 0], 'totals': [53, 52, 51, 50], 'precisions': [18.867924528301888, 0.9615384615384616, 0.49019607843137253, 0.25], 'bp': 1.0, 'sys_len': 53, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.18867924528301888, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.606060606060606, 'translation_length': 53, 'reference_length': 33} Rouge: {'rouge1': 0.2891566265060241, 'rouge2': 0.07407407407407407, 'rougeL': 0.21686746987951805, 'rougeLsum': 0.26506024096385544} Sari: {'sari': 36.27481389578164} Flesh Reading Ease: 77.55 ---------------------------------------- Source: ['sie verstand gar nichts davon, wie man Stroh zu Gold spinnen konnte, und ihre Angst ward immer größer, daß sie endlich zu weinen anfing.'] Prediction: ['Eine Angst ward in der Stadt Bern hat einen Stroh-Gold-Spinz ausgelöst.\nDie Angst ward wurde immer größer, daß sie endlich zu weinen anfing.\nDie Angst ward wurde nicht davon, wie sie sich davon anfing.'] Label: [['Die Tochter vom Müller weint viele Tränen.\nDie Tochter vom Müller kann nämlich Stroh nicht zu Gold machen.']] Sacrebleu: {'score': 2.482716946958931, 'counts': [6, 1, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [15.384615384615385, 2.6315789473684212, 1.3513513513513513, 0.6944444444444444], 'bp': 1.0, 'sys_len': 39, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.02631578947368421, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.95, 'translation_length': 39, 'reference_length': 20} Rouge: {'rouge1': 0.19999999999999998, 'rouge2': 0.0, 'rougeL': 0.09999999999999999, 'rougeLsum': 0.19999999999999998} Sari: {'sari': 34.411375661375665} Flesh Reading Ease: 86.8 ---------------------------------------- Source: ['Da saß nun die arme Müllerstochter und wußte um ihr Leben keinen Rat:'] Prediction: ['Ein Rat hat im Alter von 99 Jahren einen Rat aufgefunden.\nDas hatte die Müllerstochter einen Rat aufgefunden und wurde dabei von ihr Leben keinen Rat.\nDie Rat-Müllerstochter wurde von ihr Leben nicht mehr entdeckt.'] Label: [['Die Tochter vom Müller hat Angst:']] Sacrebleu: {'score': 1.1524538390587937, 'counts': [2, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [5.2631578947368425, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.05263157894736842, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.428571428571429, 'translation_length': 38, 'reference_length': 7} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.08888888888888889, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 34.719346675868415} Flesh Reading Ease: 68.85 ---------------------------------------- Source: ['« Darauf schloß er die Kammer selbst zu, und sie blieb allein darin.'] Prediction: ['Ein Mann hat sich am Sonntag in der Nähe des Kantons Bern mit einem Messer aufgefunden.\nDie Kammer blieb allein darin.\nDie Polizei vermutete den Mann, dass er sich selbst schloß und selbst zu sein.'] Label: [['Jetzt ist die Tochter vom Müller allein in dem Zimmer.\nUnd schließt die Tür hinter sich zu.\nDer König verlässt das Zimmer.']] Sacrebleu: {'score': 1.5342333164810604, 'counts': [7, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [17.94871794871795, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.1794871794871795, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.56, 'translation_length': 39, 'reference_length': 25} Rouge: {'rouge1': 0.25396825396825395, 'rouge2': 0.0, 'rougeL': 0.15873015873015875, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 39.58664546899841} Flesh Reading Ease: 80.55 ---------------------------------------- Source: ['Als nun das Mädchen zu ihm gebracht ward, führte er es in eine Kammer, die ganz voll Stroh lag, gab ihr Rad und Haspel und sprach: »Jetzt mache dich an die Arbeit und wenn du diese Nacht durch bis morgen früh dieses Stroh nicht zu Gold versponnen hast, so mußt du sterben.'] Prediction: ['Ein Mädchen, der zu ihm gebracht wurde, führte in eine Kammer, die ganz voll Stroh lag, gab ihr Rad und Haspel und sprach: "Jetzt mache dich an die Arbeit und wenn du diese Nacht durch bis morgen früh dieses Stroh nicht zu Gold versponnen hast, so mußt du sterben".'] Label: [['Und du musst sterben.\nOder ich bestrafe dich.\nHeute Nacht musst du das ganze Stroh zu Gold machen.\nDann sagt der König zur Tochter vom Müller: Der König gibt der Tochter vom Müller ein Spinn∙rad.\nDas Zimmer ist voll mit Stroh.\nIm Schloss bringt der König die Tochter vom Müller gleich in ein Zimmer.\nAm nächsten Tag bringt der Müller seine Tochter ins Schloss.']] Sacrebleu: {'score': 1.6272610302560713, 'counts': [15, 1, 0, 0], 'totals': [58, 57, 56, 55], 'precisions': [25.862068965517242, 1.7543859649122806, 0.8928571428571429, 0.45454545454545453], 'bp': 0.7855436050549208, 'sys_len': 58, 'ref_len': 72} Bleu: {'bleu': 0.0, 'precisions': [0.25862068965517243, 0.017543859649122806, 0.0, 0.0], 'brevity_penalty': 0.7855436050549208, 'length_ratio': 0.8055555555555556, 'translation_length': 58, 'reference_length': 72} Rouge: {'rouge1': 0.2698412698412698, 'rouge2': 0.01612903225806452, 'rougeL': 0.09523809523809525, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 36.24759749934578} Flesh Reading Ease: 54.95 ---------------------------------------- Source: ['»Das ist eine Kunst, die mir wohlgefällt, wenn deine Tochter so geschickt ist, wie du sagst, so bringe sie morgen in mein Schloß, da will ich sie auf die Probe stellen.« Der König sprach zum Müller:'] Prediction: ['Eine Tochter wurde im Alter von 99 Jahren in ein Schloß von einem König entdeckt.\nDie Tochter wurde dabei von der Probe entdeckt.\nDer König spricht zum Müller:'] Label: [['Deine Tochter soll mein Stroh zu Gold machen.\nUnd sagt: Bring deine Tochter zu mir ins Schloss.\nDer König ist überrascht.']] Sacrebleu: {'score': 5.517784889816492, 'counts': [7, 2, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [22.580645161290324, 6.666666666666667, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.22580645161290322, 0.06666666666666667, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.24, 'translation_length': 31, 'reference_length': 25} Rouge: {'rouge1': 0.18867924528301885, 'rouge2': 0.0784313725490196, 'rougeL': 0.18867924528301885, 'rougeLsum': 0.18867924528301885} Sari: {'sari': 48.282370194454586} Flesh Reading Ease: 82.95 ---------------------------------------- Source: ['Nun traf es sich, daß er mit dem König zu sprechen kam, und um sich ein Ansehen zu geben, sagte er zu ihm: »Ich habe eine Tochter, die kann Stroh zu Gold spinnen.«'] Prediction: ['Ein Schweizer hat einen Gold-Spieler mit dem König zu sprechen.\nDer König war mit dem König zu sprechen, und um sich ein Ansehen zu geben, sagte er zu ihm: "Ich habe eine Tochter, die kann Stroh zu Gold spinnen".'] Label: [['Meine Tochter kann Stroh zu Gold machen.\nUnd sagt: Herr König: Und so lügt der Müller den König an.\nDer Müller schämt sich vor dem König.\nAn einem Tag kommt der König zum Müller.']] Sacrebleu: {'score': 7.56226320528195, 'counts': [14, 5, 2, 1], 'totals': [47, 46, 45, 44], 'precisions': [29.78723404255319, 10.869565217391305, 4.444444444444445, 2.272727272727273], 'bp': 1.0, 'sys_len': 47, 'ref_len': 40} Bleu: {'bleu': 0.07562263205281951, 'precisions': [0.2978723404255319, 0.10869565217391304, 0.044444444444444446, 0.022727272727272728], 'brevity_penalty': 1.0, 'length_ratio': 1.175, 'translation_length': 47, 'reference_length': 40} Rouge: {'rouge1': 0.3488372093023256, 'rouge2': 0.19047619047619047, 'rougeL': 0.20930232558139536, 'rougeLsum': 0.3023255813953488} Sari: {'sari': 43.05665315771699} Flesh Reading Ease: 78.6 ---------------------------------------- Source: ['Es war einmal ein Müller, der war arm, aber er hatte eine schöne Tochter.'] Prediction: ['Ein Müller hatte eine schöne Tochter.\nDer Mann war einmal ein Müller, der war arm, aber er hatte eine schöne Tochter.'] Label: [['Die Tochter vom Müller ist sehr schön.\nDer Müller hat eine Tochter.\nDer Müller ist arm.\nEin Müller hat eine Mühle.\nEs war einmal:']] Sacrebleu: {'score': 8.19748778270835, 'counts': [13, 4, 1, 0], 'totals': [25, 24, 23, 22], 'precisions': [52.0, 16.666666666666668, 4.3478260869565215, 2.272727272727273], 'bp': 0.8521437889662115, 'sys_len': 25, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.52, 0.16666666666666666, 0.043478260869565216, 0.0], 'brevity_penalty': 0.8521437889662112, 'length_ratio': 0.8620689655172413, 'translation_length': 25, 'reference_length': 29} Rouge: {'rouge1': 0.5454545454545454, 'rouge2': 0.18867924528301888, 'rougeL': 0.3272727272727273, 'rougeLsum': 0.509090909090909} Sari: {'sari': 18.287759545852747} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['»Aber«, sagte Hauke wieder, »unsere Deiche sind nichts wert!«'] Prediction: ['Die Schweizer Hauke ist ein öffentlicher Deiche-Kollegen.\nDie Deiche sind nichts wert.\nDie Schweizer Hauke warnt vor einem Jahr, warum sie nichts wert sind.'] Label: [['Hauke sieht ihn an und sagt: „Unsere Deiche sind nichts wert, Vater.']] Sacrebleu: {'score': 9.615094003919298, 'counts': [7, 3, 2, 1], 'totals': [28, 27, 26, 25], 'precisions': [25.0, 11.11111111111111, 7.6923076923076925, 4.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 15} Bleu: {'bleu': 0.09615094003919297, 'precisions': [0.25, 0.1111111111111111, 0.07692307692307693, 0.04], 'brevity_penalty': 1.0, 'length_ratio': 1.8666666666666667, 'translation_length': 28, 'reference_length': 15} Rouge: {'rouge1': 0.2702702702702703, 'rouge2': 0.17142857142857143, 'rougeL': 0.2702702702702703, 'rougeLsum': 0.2702702702702703} Sari: {'sari': 66.23376623376623} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['»Nein«, erwiderte nach einer Weile der Alte und sah ihm wie abwesend ins Gesicht – »diesmal noch nicht.«'] Prediction: ['Ein Mann wurde im Alter von 99 Jahren von einem Jahr gestorben.\nEr wurde von einem Gesicht nicht mehr verletzt.\nNun hat er seinen Job nicht mehr geschützt.'] Label: [['„Diesmal noch nicht“, entgegnet sein Vater.']] Sacrebleu: {'score': 1.199348129252962, 'counts': [1, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [3.225806451612903, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.03225806451612903, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.875, 'translation_length': 31, 'reference_length': 8} Rouge: {'rouge1': 0.05714285714285715, 'rouge2': 0.0, 'rougeL': 0.05714285714285715, 'rougeLsum': 0.05714285714285715} Sari: {'sari': 60.185185185185176} Flesh Reading Ease: 88.8 ---------------------------------------- Source: ['»Ja«, sagte Hauke; »ich bin doch nicht versoffen!« Hauke sah ihn trotzig an.'] Prediction: ['Einige Frauen haben ihre Wohnungen aufgefordert, dass sie ihn trotzig anstecken.\nDie Frauen haben ihn nicht versoffen.'] Label: [['„Ich bin aber nicht ersoffen“, sagt Hauke trotzig.']] Sacrebleu: {'score': 2.7076576267554477, 'counts': [4, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [20.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 20, 'reference_length': 10} Rouge: {'rouge1': 0.15999999999999998, 'rouge2': 0.0, 'rougeL': 0.07999999999999999, 'rougeLsum': 0.15999999999999998} Sari: {'sari': 54.419191919191924} Flesh Reading Ease: 54.5 ---------------------------------------- Source: ['Du hättest ja versaufen können, die Wasser beißen heute in den Deich.«'] Prediction: ['Du hättest ja versaufen können, die Wasser beißen heute in den Deich.\nDie Wasser beißen heute in den Deich.'] Label: [['„Du hättest ersaufen können, bei dieser Flut.“']] Sacrebleu: {'score': 4.108053662461269, 'counts': [4, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2, 'translation_length': 22, 'reference_length': 10} Rouge: {'rouge1': 0.37500000000000006, 'rouge2': 0.19999999999999998, 'rougeL': 0.37500000000000006, 'rougeLsum': 0.37500000000000006} Sari: {'sari': 38.22751322751323} Flesh Reading Ease: 82.75 ---------------------------------------- Source: ['»Was treibst du draußen? Als er so eines Abends zu seinem Vater in die Stube trat, der an seinen Meßgeräten putzte, fuhr dieser auf:'] Prediction: ['Ein Vater trat im Alter von 99 Jahren zu seinem Vater in die Stube.\nAls er so eines Abends zu seinem Vater in die Stube trat, fuhr dieser auf.'] Label: [['„Was treibst du denn da draußen?“, schimpft sein Vater.']] Sacrebleu: {'score': 1.526608193588886, 'counts': [3, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [9.375, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.09375, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4615384615384617, 'translation_length': 32, 'reference_length': 13} Rouge: {'rouge1': 0.05128205128205129, 'rouge2': 0.0, 'rougeL': 0.05128205128205129, 'rougeLsum': 0.05128205128205129} Sari: {'sari': 31.177849927849927} Flesh Reading Ease: 83.6 ---------------------------------------- Source: ['Wurde es so dunkel, daß alle Erdendinge vor seinen Augen verschwanden und nur die Flut ihm in die Ohren donnerte, dann stand er auf und trabte halb durchnäßt nach Hause.'] Prediction: ['Ein Erdendinge hat in der Nacht auf Sonntag einen Erdendinge verschwanden.\nDer Erdendinge war nur noch nicht in die Ohren gefunden.\nEinige Erdendinge wurden dabei aufgefunden, dann stand er auf und trabte halb durchnäßt nach Hause.'] Label: [['Erst als Wind und Flut ihm in den Ohren donnern, geht Hauke nach Hause.']] Sacrebleu: {'score': 4.226657240185127, 'counts': [7, 2, 1, 0], 'totals': [40, 39, 38, 37], 'precisions': [17.5, 5.128205128205129, 2.6315789473684212, 1.3513513513513513], 'bp': 1.0, 'sys_len': 40, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.175, 0.05128205128205128, 0.02631578947368421, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 40, 'reference_length': 16} Rouge: {'rouge1': 0.19607843137254902, 'rouge2': 0.04081632653061225, 'rougeL': 0.1568627450980392, 'rougeLsum': 0.19607843137254902} Sari: {'sari': 37.38107471208607} Flesh Reading Ease: 62.7 ---------------------------------------- Source: ['Nach langem Hinstarren nickte er wohl langsam mit dem Kopfe oder zeichnete, ohne aufzusehen, mit der Hand eine weiche Linie in die Luft, als ob er dem Deiche damit einen sanfteren Abfall geben wollte.'] Prediction: ['Ein Deiche wurde im Alter von 24 Jahren in der Nähe von 20 Jahren verhaftet.\nNun wurde er von einem Deiche gefunden, dass er damit einen sanfteren Abfall geben wollte.\nNun wurde er nach langem Hinstarren zu sehen gefunden, ohne aufzusehen, ohne aufzusehen, mit der Hand eine weiche Linie in die Luft, als ob er dem Deiche damit einen sanfteren Abfall geben wollte.'] Label: [['Sondern sanft zum Wasser hin auslaufend.\nNicht so steil abfallend zum Meer hin.\nAls ob er den Deich lieber so hätte.\nEine weiche, sanft abfallende Linie.\nMit der Hand zeichnet Hauke eine Linie in die Luft.']] Sacrebleu: {'score': 4.949979620118805, 'counts': [14, 5, 2, 1], 'totals': [71, 70, 69, 68], 'precisions': [19.718309859154928, 7.142857142857143, 2.898550724637681, 1.4705882352941178], 'bp': 1.0, 'sys_len': 71, 'ref_len': 42} Bleu: {'bleu': 0.04949979620118804, 'precisions': [0.19718309859154928, 0.07142857142857142, 0.028985507246376812, 0.014705882352941176], 'brevity_penalty': 1.0, 'length_ratio': 1.6904761904761905, 'translation_length': 71, 'reference_length': 42} Rouge: {'rouge1': 0.23762376237623764, 'rouge2': 0.16161616161616163, 'rougeL': 0.17821782178217824, 'rougeLsum': 0.23762376237623764} Sari: {'sari': 44.46408103230712} Flesh Reading Ease: 59.55 ---------------------------------------- Source: ['was er allein hier sah, war der brandende Saum des Wassers, der, als die Flut stand, mit hartem Schlage immer wieder dieselbe Stelle traf und vor seinen Augen die Grasnarbe des steilen Deiches auswusch. Er hörte weder das Klatschen des Wassers noch das Geschrei der Möwen und Strandvögel, die um oder über ihm flogen und ihn fast mit ihren Flügeln streiften, mit den schwarzen Augen in die seinen blitzend;'] Prediction: ['Ein deutscher Wasser hat seinen Flügeln auswusch und wurde dabei von seinem Klatschen auswusch auswuscht.\nEr hörte weder das Klatschen des Wassers noch das Geschrei der Möwen und Strandvögel, die um oder über ihm flogen und ihn fast mit ihren Flügeln streiften, mit den schwarzen Augen in die seinen blitzend.'] Label: [['Das Gras dort ist schon ganz ausgewaschen.\nImmer wieder trifft es auf dieselbe Stelle.\nWo schlägt das Wasser bei höchster Flut gegen den Deich?\nIhn interessiert nur eins: Hauke sieht weder die Strandvögel noch hört er die Möwen.']] Sacrebleu: {'score': 1.2267113696427128, 'counts': [11, 0, 0, 0], 'totals': [54, 53, 52, 51], 'precisions': [20.37037037037037, 0.9433962264150944, 0.4807692307692308, 0.24509803921568626], 'bp': 1.0, 'sys_len': 54, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.2037037037037037, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.255813953488372, 'translation_length': 54, 'reference_length': 43} Rouge: {'rouge1': 0.30612244897959184, 'rouge2': 0.041666666666666664, 'rougeL': 0.12244897959183672, 'rougeLsum': 0.16326530612244897} Sari: {'sari': 34.926796579045714} Flesh Reading Ease: 61.4 ---------------------------------------- Source: ['erst wenn ihm die Füße überspült waren und der Schaum ihm ins Gesicht spritzte, rückte er ein paar Fuß höher und blieb dann wieder sitzen.'] Prediction: ['Ein Mann hat einen Füße überspült und blieb dann wieder sitzen.\nErst wenn ihm die Füße überspült waren, rückte er ein paar Fuß höher und blieb dann wieder sitzen.'] Label: [['Erst wenn sie schon an seine Füße schlagen, rutscht er weiter hoch auf den Deich.']] Sacrebleu: {'score': 3.0532163871777716, 'counts': [6, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [18.75, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8823529411764706, 'translation_length': 32, 'reference_length': 17} Rouge: {'rouge1': 0.196078431372549, 'rouge2': 0.0816326530612245, 'rougeL': 0.196078431372549, 'rougeLsum': 0.196078431372549} Sari: {'sari': 38.05668016194332} Flesh Reading Ease: 83.6 ---------------------------------------- Source: ['Und wenn im Herbst die Fluten höher stiegen und manch ein Mal die Arbeit eingestellt werden mußte, dann ging er nicht mit den andern nach Haus, sondern blieb, die Hände über die Knie gefaltet, an der abfallenden Seeseite des Deiches sitzen und sah stundenlang zu, wie die trüben Nordseewellen immer höher an die Grasnarbe des Deiches hinaufschlugen;'] Prediction: ['Die Fluten im Herbst sind höher stiegen und manch ein Mal die Arbeit eingestellt werden mußte.\nDann blieb, die Hände über die Knie gefaltet zu sitzen.\nDie Fluten händen sich höher und sah stundenlang zu, wie die trüben Nordseewellen immer höher an die Grasnarbe des Deiches hinaufschlugen.'] Label: [['Stundenlang beobachtet er die Nordsee-Wellen.\nNur Hauke bleibt weiter am Deich sitzen.\nDann gehen sie nach Hause, bis das Wasser bei Ebbe wieder abläuft.\nWenn das Wasser bei Flut immer höher steigt, können die Männer nicht weiterarbeiten.']] Sacrebleu: {'score': 2.82274136280787, 'counts': [11, 3, 0, 0], 'totals': [52, 51, 50, 49], 'precisions': [21.153846153846153, 5.882352941176471, 1.0, 0.5102040816326531], 'bp': 1.0, 'sys_len': 52, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.21153846153846154, 0.058823529411764705, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2093023255813953, 'translation_length': 52, 'reference_length': 43} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.0425531914893617, 'rougeL': 0.125, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 35.253610447542464} Flesh Reading Ease: 70.7 ---------------------------------------- Source: ['aber den Euklid hatte er allzeit in der Tasche, und wenn die Arbeiter ihr Frühstück oder Vesper aßen, saß er auf seinem umgestülpten Schubkarren mit dem Buche in der Hand. Und der Junge karrte;'] Prediction: ['Ein junger Schubkarren hat einen Euklid in der Tasche.\nDer Junge kam auf seinem umgestülpten Schubkarren mit dem Buche in der Hand.\nDer Euklid hatte er allzeit in der Tasche, wenn die Arbeiter ihr Frühstück oder Vesper aßen, saß er auf seinem umgestülpten Schubkarren mit dem Buche in der Hand.'] Label: [['Die ganze Zeit über beugt er sich über das Mathematikbuch.\nIn den Pausen setzt er sich an den Deich.\nBei der Arbeit hat Hauke immer den Euklid dabei.']] Sacrebleu: {'score': 1.1116513189759736, 'counts': [8, 0, 0, 0], 'totals': [55, 54, 53, 52], 'precisions': [14.545454545454545, 0.9259259259259259, 0.4716981132075472, 0.2403846153846154], 'bp': 1.0, 'sys_len': 55, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.14545454545454545, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7741935483870968, 'translation_length': 55, 'reference_length': 31} Rouge: {'rouge1': 0.1686746987951807, 'rouge2': 0.0, 'rougeL': 0.09638554216867469, 'rougeLsum': 0.1686746987951807} Sari: {'sari': 33.85939371755624} Flesh Reading Ease: 69.7 ---------------------------------------- Source: ['Als der Alte sah, daß der Junge weder für Kühe noch Schafe Sinn hatte und kaum gewahrte, wenn die Bohnen blühten, was doch die Freude von jedem Marschmann ist, und weiterhin bedachte, daß die kleine Stelle wohl mit einem Bauer und einem Jungen, aber nicht mit einem Halbgelehrten und einem Knecht bestehen könne, angleichen, daß er auch selber nicht auf einen grünen Zweig gekommen sei, so schickte er seinen großen Jungen an den Deich, wo er mit andern Arbeitern von Ostern bis Martini Erde karren mußte.'] Prediction: ['Ein Junge wurde weder für Kühe noch Schafe Sinn gewahrte, wenn die Bohnen blühten, was doch die Freude von jedem Marschmann ist.\nAls der Junge weder für Kühe noch Schafe Sinn hatte, kaum gewahrte er seinen großen Jungen an den Deich.'] Label: [['Den ganzen Tag lang muss der Junge nun Erde in Karren herbeiholen.\nUnd so schickt er Hauke zu den Deicharbeitern.\nDer muss ans Arbeiten kommen, denkt der Vater.\nWas soll er nur mit dem Jungen anfangen?\nAuch mit den Kühen kann er nicht umgehen.\nZur Feldarbeit taugt Hauke nicht.\nAber einen Büchersohn kann er nicht gebrauchen.\nDer Junge ist einfach nicht von den Büchern loszubringen.\nSein Vater beginnt, sich Sorgen zu machen.']] Sacrebleu: {'score': 1.1129512023270833, 'counts': [12, 1, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [26.08695652173913, 2.2222222222222223, 1.1363636363636365, 0.5813953488372093], 'bp': 0.4473796007427037, 'sys_len': 46, 'ref_len': 83} Bleu: {'bleu': 0.0, 'precisions': [0.2608695652173913, 0.022222222222222223, 0.0, 0.0], 'brevity_penalty': 0.4473796007427037, 'length_ratio': 0.5542168674698795, 'translation_length': 46, 'reference_length': 83} Rouge: {'rouge1': 0.16393442622950818, 'rouge2': 0.016666666666666666, 'rougeL': 0.08196721311475409, 'rougeLsum': 0.14754098360655737} Sari: {'sari': 34.54512504246139} Flesh Reading Ease: 71.75 ---------------------------------------- Source: ["Aber das zweite Buch war eine kleine holländische Grammatik, und da der Winter noch lange nicht vorüber war, so hatte es, als endlich die Stachelbeeren in ihrem Garten wieder blühten, dem Jungen schon so weit geholfen, daß er den Euklid, welcher damals stark im Schwange war, fast überall verstand. Auch das?« frug er wieder. Und als der Alte nickte, wies er noch ein zweites, halb zerrissenes Büchlein vor. » Der Junge, der von wenig Worten war, sah den Vater ruhig an und sagte nur: »Darf ich's behalten?"] Prediction: ['Ein Junge frug im Winter wieder wieder.\nDer Vater sah den Vater ruhig an und sagte nur: "Darf ich\'s behalten?\nDarf ich\'s behalten?\nDarf ich\'s behalten?'] Label: [['„Darf ich die beiden Bücher behalten?“, fragt Hauke.\nIn der anderen eine alte, holländische Grammatik.\nIn der einen den Euklid.\nAls Hauke vom Dachboden herunterkommt, hält er zwei Bücher in seinen Händen.']] Sacrebleu: {'score': 2.0825212750450204, 'counts': [4, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [12.5, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 0.7548396019890073, 'sys_len': 32, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 0.7548396019890073, 'length_ratio': 0.7804878048780488, 'translation_length': 32, 'reference_length': 41} Rouge: {'rouge1': 0.15151515151515152, 'rouge2': 0.03125, 'rougeL': 0.09090909090909091, 'rougeLsum': 0.15151515151515152} Sari: {'sari': 34.81813142997353} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['»Ja, ja«, sagte er, »das Buch ist noch von meinem Vater, der verstand es;'] Prediction: ['Ein Buch ist noch von meinem Vater, der verstand es.\nDie Frau ist noch von meinem Vater, der verstand es.'] Label: [['Die Sprache konnte mein Vater damals noch verstehen.“']] Sacrebleu: {'score': 2.224972978585352, 'counts': [4, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [16.666666666666668, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4, 'translation_length': 24, 'reference_length': 10} Rouge: {'rouge1': 0.21428571428571425, 'rouge2': 0.0, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.14285714285714288} Sari: {'sari': 38.888888888888886} Flesh Reading Ease: 93.95 ---------------------------------------- Source: ['Es war ein holländischer Euklid, und Holländisch, wenngleich es doch halb Deutsch war, verstanden alle beide nicht.'] Prediction: ['Ein holländischer Euklid, und Holländisch, wenngleich es doch halb Deutsch war, verstanden alle beide nicht.\nDas war ein holländischer Euklid, und Holländisch, wenngleich es doch halb Deutsch war, verstanden alle beide nicht.'] Label: [['Das Buch ist aber auf Holländisch geschrieben.']] Sacrebleu: {'score': 1.2090878038257866, 'counts': [3, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [7.5, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.075, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.0, 'translation_length': 40, 'reference_length': 8} Rouge: {'rouge1': 0.13636363636363638, 'rouge2': 0.04761904761904761, 'rougeL': 0.13636363636363638, 'rougeLsum': 0.13636363636363638} Sari: {'sari': 37.46867167919799} Flesh Reading Ease: 64.55 ---------------------------------------- Source: ["das wird's dir sagen!« Willst du mehr wissen, so suche morgen aus der Kiste, die auf unserm Boden steht, ein Buch, einer, der Euklid hieß, hat's geschrieben;"] Prediction: ["Ein Buch, einer, der Euklid hieß, hat's geschrieben.\nEs wird's dir sagen!"] Label: [['Es heißt Euklid.\nDa ist ein altes Mathematikbuch von meinem Vater.\n„Aber wenn du es besser wissen willst, dann geh nach oben auf den Dachboden.']] Sacrebleu: {'score': 1.5966588916835562, 'counts': [4, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [23.529411764705884, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.49367278838913037, 'sys_len': 17, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.0, 0.0, 0.0], 'brevity_penalty': 0.49367278838913026, 'length_ratio': 0.5862068965517241, 'translation_length': 17, 'reference_length': 29} Rouge: {'rouge1': 0.15, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.15} Sari: {'sari': 35.12848386025304} Flesh Reading Ease: 92.1 ---------------------------------------- Source: ['Und eines Abends frug er den Alten, warum denn das, was er eben hingeschrieben hatte, gerade so sein müsse und nicht anders sein könne, und stellte dann eine eigene Meinung darüber auf Aber der Vater, der darauf nicht zu antworten wußte, schüttelte den Kopf und sprach: »Das kann ich dir nicht sagen; genug, es ist so, und du selber irrst dich.'] Prediction: ['Ein Vater hat einen Alten eben hingeschrieben und stellte dann eine eigene Meinung darüber auf Aber der Vater, der darauf nicht zu antworten wußte, schüttelte den Kopf und sprach: "Das kann ich dir nicht sagen; genug, es ist so, und du selber irrst dich dich".'] Label: [['„Das wird schon so stimmen“, antwortet sein Vater.\n„Vater, woher weißt du, dass deine Berechnungen richtig sind?“']] Sacrebleu: {'score': 1.0956421443241475, 'counts': [7, 0, 0, 0], 'totals': [54, 53, 52, 51], 'precisions': [12.962962962962964, 0.9433962264150944, 0.4807692307692308, 0.24509803921568626], 'bp': 1.0, 'sys_len': 54, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.12962962962962962, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.347826086956522, 'translation_length': 54, 'reference_length': 23} Rouge: {'rouge1': 0.15151515151515152, 'rouge2': 0.0, 'rougeL': 0.09090909090909091, 'rougeLsum': 0.12121212121212122} Sari: {'sari': 34.089153701864724} Flesh Reading Ease: 47.25 ---------------------------------------- Source: ['Der Junge saß meist dabei und sah über seine Fibel oder Bibel weg dem Vater zu, wie er maß und berechnete, und grub sich mit der Hand in seinen blonden Haaren.'] Prediction: ['Ein Junge sah über seine Fibel oder Bibel weg dem Vater zu, wie er maß und berechnete, und grub sich mit der Hand in seinen blonden Haaren.\nDer Vater sah über seine Fibel oder Bibel weg dem Vater zu, wie er maß und berechnete, und grub sich mit der Hand in seinen blonden Haaren.'] Label: [['Sein Sohn Hauke sieht ihm jeden Abend beim Rechnen zu.']] Sacrebleu: {'score': 0.7188461938966488, 'counts': [2, 0, 0, 0], 'totals': [60, 59, 58, 57], 'precisions': [3.3333333333333335, 0.847457627118644, 0.43103448275862066, 0.21929824561403508], 'bp': 1.0, 'sys_len': 60, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.03333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.454545454545454, 'translation_length': 60, 'reference_length': 11} Rouge: {'rouge1': 0.03125, 'rouge2': 0.0, 'rougeL': 0.03125, 'rougeLsum': 0.03125} Sari: {'sari': 34.48275862068966} Flesh Reading Ease: 71.1 ---------------------------------------- Source: ['aber es reichte doch wohl kaum, denn was die studierten Fachleute darüber niedergeschrieben, davon hatte er wenig gelesen; In der Mitte des vorigen Jahrhunderts, oder vielmehr, um genauer zu bestimmen, vor und nach derselben, gab es hier einen Deichgrafen, der von Deich- und Sielsachen mehr verstand, als Bauern und Hofbesitzer sonst zu verstehen pflegen;'] Prediction: ['Ein Deichgrafen, der von Deich und Sielsachen mehr verstand, als Hofbesitzer sonst zu verstehen pflegen, gab es hier einen Deichgrafen, der von Deich und Sielsachen mehr verstand, als Bauern und Hofbesitzer sonst zu verstehen pflegen.\nDer Deichgrafen wurde in der Mitte des Jahrhunderts zu bestimmen, um genauer zu bestimmen, vor und nach derselben, gab es hier einen Deichgrafen, der von Deich und Sielsachen mehr verstand, als Bauern und Hofbesitzer sonst zu verstehen pflegen.'] Label: [['Aber er kann gut mit Zahlen und Maßen umgehen.\nEr hat nicht studiert.\n1700.\nIn unserem Dorf in Nordfriesland lebt damals ein Bauer, der besonders gut rechnen kann.\nDie Geschichte spielt im vorigen Jahrhundert, also um']] Sacrebleu: {'score': 1.1977121656015002, 'counts': [8, 1, 0, 0], 'totals': [85, 84, 83, 82], 'precisions': [9.411764705882353, 1.1904761904761905, 0.6024096385542169, 0.3048780487804878], 'bp': 1.0, 'sys_len': 85, 'ref_len': 42} Bleu: {'bleu': 0.0, 'precisions': [0.09411764705882353, 0.011904761904761904, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0238095238095237, 'translation_length': 85, 'reference_length': 42} Rouge: {'rouge1': 0.09090909090909091, 'rouge2': 0.0, 'rougeL': 0.07272727272727272, 'rougeLsum': 0.09090909090909091} Sari: {'sari': 34.963092036695315} Flesh Reading Ease: 44.05 ---------------------------------------- Source: ['»Erzählt, erzählt nur, Schulmeister«, riefen ein paar der jüngeren aus der Gesellschaft.'] Prediction: ['Die Gesellschaft der Stadt Bern hat einen Schulmeister aus der Gesellschaft entdeckt.\nDer Schulmeister riefen ein paar der jüngeren aus der Gesellschaft.'] Label: [['„Erzähl uns die Geschichte vom Schimmelreiter!“ „Setz dich zu uns!“, rufen die anderen ihm zu.']] Sacrebleu: {'score': 1.5732934811145336, 'counts': [1, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [4.166666666666667, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.041666666666666664, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 24, 'reference_length': 21} Rouge: {'rouge1': 0.05128205128205128, 'rouge2': 0.0, 'rougeL': 0.05128205128205128, 'rougeLsum': 0.05128205128205128} Sari: {'sari': 35.23809523809523} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['»Unser Schulmeister«, sagte er mit erhobener Stimme, »wird von uns hier Ihnen das am besten erzählen können; Abseits hinter dem Ofen, ein wenig gebückt, saß ein kleiner hagerer Mann in einem abgeschabten schwarzen Röcklein;'] Prediction: ['Ein kleiner hagerer Mann sah immer mehr Schulmeister in einem abgeschabten schwarzen Röcklein.\nDer Schulmeister wird von uns hier Ihnen das am besten erzählen können.'] Label: [['Das ist der alte Schulmeister.“ „Der da kann euch die Geschichte am besten erzählen.\nDer Deichgraf zeigt auf einen kleinen, alten Mann am Ofen.']] Sacrebleu: {'score': 6.784272118894773, 'counts': [8, 3, 1, 0], 'totals': [27, 26, 25, 24], 'precisions': [29.62962962962963, 11.538461538461538, 4.0, 2.0833333333333335], 'bp': 0.9286029058931802, 'sys_len': 27, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.2962962962962963, 0.11538461538461539, 0.04, 0.0], 'brevity_penalty': 0.9286029058931802, 'length_ratio': 0.9310344827586207, 'translation_length': 27, 'reference_length': 29} Rouge: {'rouge1': 0.30188679245283023, 'rouge2': 0.11764705882352941, 'rougeL': 0.2264150943396226, 'rougeLsum': 0.2641509433962264} Sari: {'sari': 41.78124900919018} Flesh Reading Ease: 62.2 ---------------------------------------- Source: ['»Verzeiht!« sprach ich, »was ist das mit dem Schimmelreiter?«'] Prediction: ['Im Interview mit dem 20-Minuten-Podcast "Unchained" spricht die Moderatorin über ihre Ärger und ihre Ärger über ihre Ärgerin über ihre Ärgerin und ihre Ärgerin über ihre Ärgerin über ihre Ärgerin und ihre Frau im Direktstream.\nSie hatte sich mit dem Schimmelreiter im Direktstream bekannt gegeben, welche ihnen ihre Ärgerin und ihre Frauen im Direktstream bekommen.'] Label: [['„Was bedeutet diese Sache mit dem Schimmelreiter?“ Vorsichtig frage ich:']] Sacrebleu: {'score': 2.1757005275562795, 'counts': [3, 2, 1, 0], 'totals': [62, 61, 60, 59], 'precisions': [4.838709677419355, 3.278688524590164, 1.6666666666666667, 0.847457627118644], 'bp': 1.0, 'sys_len': 62, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.04838709677419355, 0.03278688524590164, 0.016666666666666666, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.769230769230769, 'translation_length': 62, 'reference_length': 13} Rouge: {'rouge1': 0.08955223880597013, 'rouge2': 0.06153846153846154, 'rougeL': 0.08955223880597013, 'rougeLsum': 0.08955223880597013} Sari: {'sari': 46.98653198653198} Flesh Reading Ease: 35.5 ---------------------------------------- Source: ['Mich wollte nachträglich ein Grauen überlaufen.'] Prediction: ['Die Schweizerin Michal Bielerin wollte nachträglich ein Grauen überlaufen.\nDer 23-Jährige wollte nachträglich ein Grauen überlaufen.'] Label: [['Mir wird etwas unheimlich.']] Sacrebleu: {'score': 1.9146030690102511, 'counts': [1, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [5.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.05, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 20, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 35.714285714285715} Flesh Reading Ease: 37.45 ---------------------------------------- Source: ['mögen sie auf alles vorgefaßt sein!« Anno 17 hat es auch denen drüben gegolten; »das ist nicht bloß für uns; »Ihr braucht nicht zu erschrecken«, sprach er über den Tisch hin; Der Deichgraf war aufgestanden. »Der Schimmelreiter!« rief einer aus der Gesellschaft, und eine Bewegung des Erschreckens ging durch die übrigen.'] Prediction: ['Eine Frau aus der Gesellschaft hat es auch denen drüben gegolten.\nDer Deichgraf war aufgestanden.\nDie Frau war aufgestanden und rief einer aus der Gesellschaft, und eine Bewegung des Erschreckens ging durch die übrigen.'] Label: [['Das war ja schon um das Jahr 1700 so.“ Die im Westen, die müssen sich Sorgen machen.\n„Das ist bestimmt nicht wegen unserem Deich.\nDer Deichgraf will die Leute beruhigen.\n„Der Schimmelreiter!“, sagt einer ängstlich.']] Sacrebleu: {'score': 4.054239666639827, 'counts': [10, 2, 1, 0], 'totals': [38, 37, 36, 35], 'precisions': [26.31578947368421, 5.405405405405405, 2.7777777777777777, 1.4285714285714286], 'bp': 0.8317606778818756, 'sys_len': 38, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.2631578947368421, 0.05405405405405406, 0.027777777777777776, 0.0], 'brevity_penalty': 0.8317606778818756, 'length_ratio': 0.8444444444444444, 'translation_length': 38, 'reference_length': 45} Rouge: {'rouge1': 0.19718309859154928, 'rouge2': 0.02898550724637681, 'rougeL': 0.11267605633802817, 'rougeLsum': 0.16901408450704225} Sari: {'sari': 36.29095688653084} Flesh Reading Ease: 69.25 ---------------------------------------- Source: ['Er wurde aufmerksam, und ich bemerkte plötzlich, daß alles Gespräch umher verstummt war. wir waren ins Gespräch gekommen, und ich hatte begonnen, ihm meine seltsame Begegnung auf dem Deiche zu erzählen.'] Prediction: ['Ein Mann wurde aufmerksam, und ich bemerkte plötzlich, da er alles Gespräch umher verstummt war.\nEr wurde begonnen, ihm meine seltsame Begegnung auf dem Deiche zu erzählen.'] Label: [['Alle sehen sich erschrocken an.\nIch erzähle von dem seltsamen Reiter.']] Sacrebleu: {'score': 1.526608193588886, 'counts': [3, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [9.375, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.09375, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4615384615384617, 'translation_length': 32, 'reference_length': 13} Rouge: {'rouge1': 0.14285714285714288, 'rouge2': 0.0, 'rougeL': 0.09523809523809522, 'rougeLsum': 0.09523809523809522} Sari: {'sari': 34.35185185185185} Flesh Reading Ease: 61.2 ---------------------------------------- Source: ['wir haben sichere Leute draußen, die uns Bericht erstatten.«'] Prediction: ['Immer mehr Leute haben sich die Berichtsmitglieder der Schweiz nach dem Bericht aufgefordert.\nSie haben sich dabei draußen, die uns Bericht erstatten.'] Label: [['Die geben uns sofort Bescheid, wenn es mit unserem Deich Probleme geben sollte.“ Vorsichtshalber haben wir aber auch unsere Leute draußen.']] Sacrebleu: {'score': 2.449932250423938, 'counts': [7, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [28.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.28, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 25, 'reference_length': 25} Rouge: {'rouge1': 0.2666666666666666, 'rouge2': 0.046511627906976744, 'rougeL': 0.17777777777777776, 'rougeLsum': 0.17777777777777776} Sari: {'sari': 35.751633986928105} Flesh Reading Ease: 63.7 ---------------------------------------- Source: ["unser Hauptdeich ist schon im vorigen Jahrhundert umgelegt. nur drüben an der andern Seite ist's nicht sicher, die Deiche sind dort meist noch mehr nach altem Muster; »wir, hier an der Ostseite, aber glauben, jetzt außer Gefahr zu sein; »Gewiß«, erwiderte er;"] Prediction: ['Unser Hauptdeich ist schon im vorigen Jahrhundert umgelegt.\nEr wird nur drüben an der andern Seite, die Deiche sind noch mehr nach altem Muster.'] Label: [['Die Deiche dort sind noch nach altem Muster gebaut.\nDie anderen da hinten im Westen, die haben mehr Probleme.\n„Bei uns hier im Osten wurde der Deich vor langer Zeit neu gebaut.\n„Hier haben wir noch Glück“, sagt der Deichgraf.']] Sacrebleu: {'score': 4.385373732615883, 'counts': [13, 4, 1, 0], 'totals': [27, 26, 25, 24], 'precisions': [48.148148148148145, 15.384615384615385, 4.0, 2.0833333333333335], 'bp': 0.49474950069645335, 'sys_len': 27, 'ref_len': 46} Bleu: {'bleu': 0.0, 'precisions': [0.48148148148148145, 0.15384615384615385, 0.04, 0.0], 'brevity_penalty': 0.49474950069645346, 'length_ratio': 0.5869565217391305, 'translation_length': 27, 'reference_length': 46} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.125, 'rougeL': 0.21212121212121213, 'rougeLsum': 0.30303030303030304} Sari: {'sari': 40.94298200015249} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['die Deiche werden ihre Not haben!« »Sie halten hier die Wacht!« sagte ich, mich zu jenem Mann wendend, »es ist bös Wetter draußen;'] Prediction: ['Ein Mann hatte sich in der Nacht auf Sonntag in der Nacht auf Sonntag in Sonntag bei einem Restaurant in Sonntag mit seinem Mann aufgefunden.\nDer Mann ist bös Wetter draußen und ist bös Wetter draußen.'] Label: [['„Bestimmt halten Sie hier Wacht wegen der Deiche?\n„Böses Wetter, da draußen“, sage ich.']] Sacrebleu: {'score': 1.2753998269755913, 'counts': [3, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [7.894736842105263, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.07894736842105263, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.111111111111111, 'translation_length': 38, 'reference_length': 18} Rouge: {'rouge1': 0.17857142857142858, 'rouge2': 0.037037037037037035, 'rougeL': 0.17857142857142858, 'rougeLsum': 0.17857142857142858} Sari: {'sari': 33.51648351648351} Flesh Reading Ease: 80.1 ---------------------------------------- Source: ['Ich grüßte und bat, mich zu ihnen setzen zu dürfen, was bereitwillig gestattet wurde. Als ich eintrat, sah ich etwa ein Dutzend Männer an einem Tische sitzen, der unter den Fenstern entlanglief, eine Punschbowle stand darauf, und ein besonders stattlicher Mann schien die Herrschaft über sie zu führen.'] Prediction: ['Ein Dutzend Männer hat einen Tische sitzen, der unter den Fenstern entlanglief, eine Punschbowle stand darauf, und ein besonders stattlicher Mann schien die Herrschaft über sie zu führen.\nDie Tische waren bereitwillig gestattet.'] Label: [['Als ich eintrete, laden die Männer mich zu sich an den Tisch.']] Sacrebleu: {'score': 1.5167145487126126, 'counts': [6, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [15.789473684210526, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7142857142857144, 'translation_length': 38, 'reference_length': 14} Rouge: {'rouge1': 0.20833333333333331, 'rouge2': 0.04347826086956522, 'rougeL': 0.12500000000000003, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 32.93720839010694} Flesh Reading Ease: 58.2 ---------------------------------------- Source: ["t hoge Water!« Dat is um ' »Is wull so wat«, entgegnete der Knecht auf plattdeutsch – und ich erfuhr nachher, daß dieses neben dem Friesischen hier schon seit über hundert Jahren im Schwange gewesen sei –, »Diekgraf und Gevollmächtigten un wecke von de annern Interessenten!"] Prediction: ['Der Knecht ist seit über hundert Jahren im Schwange gewesen.\nDie Künstler wollen sich auf Plattdeutsch entgegnet werden.\nDie Künstler wollen sich das nicht mehr über hundert Jahre im Schwange gewesen sein.'] Label: [['Wegen dem Hochwasser.\nUnd auch andere, die Entscheidungen treffen müssen.\n„Der Deichgraf ist da.\nDer Pferdeknecht nickt.']] Sacrebleu: {'score': 1.5790460212418518, 'counts': [5, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [14.285714285714286, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5909090909090908, 'translation_length': 35, 'reference_length': 22} Rouge: {'rouge1': 0.11538461538461539, 'rouge2': 0.0, 'rougeL': 0.07692307692307691, 'rougeLsum': 0.11538461538461539} Sari: {'sari': 35.80577601410935} Flesh Reading Ease: 75.7 ---------------------------------------- Source: ['»Ist hier Versammlung?« frug ich ihn, da mir jetzt deutlich ein Geräusch von Menschenstimmen und Gläserklirren aus der Stubentür entgegendrang.'] Prediction: ['Immer mehr Menschenstimmen und Gläserklirren aus der Stubentür entgegendrang.\nImmer mehr Menschenstimmen und Gläserklirren führt sich ein Geräusch von Menschenstimmen und Gläserklirren aus der Stubentür entgegendrang.'] Label: [['„Ist hier eine Versammlung?“, frage ich.']] Sacrebleu: {'score': 1.3353534059549443, 'counts': [1, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [3.5714285714285716, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.03571428571428571, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8, 'translation_length': 28, 'reference_length': 10} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 30.46757164404223} Flesh Reading Ease: 32.45 ---------------------------------------- Source: ['Ich band das meine an einen derselben und überwies es dann dem Knechte, der mir beim Eintritt in den Flur entgegenkam:'] Prediction: ['Im Alter von 99 Jahren wurde die Zürcher Band Ichra (Ichra) mit dem Knechten aufgefunden.\nIm Video erzählt die Zürcher Band ihr erstes Album, welche sie in den Flur entgegenkam.\nIm Interview spricht der Zürcher Band über ihre Reaktionen und ihre Fans.'] Label: [['Am Eingang begrüßt mich der Pferdeknecht.']] Sacrebleu: {'score': 0.9044512123285878, 'counts': [2, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [4.166666666666667, 1.0638297872340425, 0.5434782608695652, 0.2777777777777778], 'bp': 1.0, 'sys_len': 48, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.041666666666666664, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.857142857142857, 'translation_length': 48, 'reference_length': 7} Rouge: {'rouge1': 0.03773584905660378, 'rouge2': 0.0, 'rougeL': 0.03773584905660378, 'rougeLsum': 0.03773584905660378} Sari: {'sari': 35.490196078431374} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ['Ich sah wohl, daß es ein Wirtshaus war;'] Prediction: ['Ein Wirtshaus war ein Wirtshaus, der ein Wirtshaus war.\nDie Frau sah wohl, daß es ein Wirtshaus war.'] Label: [['Es ist sicher ein Wirtshaus.']] Sacrebleu: {'score': 3.8229746997386345, 'counts': [3, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [13.636363636363637, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.13636363636363635, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6666666666666665, 'translation_length': 22, 'reference_length': 6} Rouge: {'rouge1': 0.2608695652173913, 'rouge2': 0.09523809523809523, 'rougeL': 0.2608695652173913, 'rougeLsum': 0.2608695652173913} Sari: {'sari': 42.34307359307359} Flesh Reading Ease: 100.8 ---------------------------------------- Source: ['lag ein großes Haus derselben Art; an der Südseite, rechts von der Haustür, sah ich alle Fenster erleuchtet; Aber ein anderes sah ich, das ich mit Freuden jetzt begrüßte: vor mir, von unten aus dem Kooge, schimmerten eine Menge zerstreuter Lichtscheine zu mir herauf, sie schienen aus jenen langgestreckten friesischen Häusern zu kommen, die vereinzelt auf mehr oder minder hohen Werften lagen, dicht vor mir aber auf halber Höhe des Binnendeiches'] Prediction: ['Ein Haus derselben Art ist ein großes Haus derselben Art.\nEs ist ein großes Haus derselben Art, das aus jenen langgestreckten friesischen Häusern zu kommen, die vereinzelt auf mehr oder minder hohen Werften lagen, dicht vor mir aber auf halber Höhe des Binnendeiches.'] Label: [['Ich denke noch immer an die seltsame Gestalt, als ich in der Ferne ein paar Lichter entdecke.']] Sacrebleu: {'score': 1.0755798168739934, 'counts': [4, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [8.333333333333334, 1.0638297872340425, 0.5434782608695652, 0.2777777777777778], 'bp': 1.0, 'sys_len': 48, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.526315789473684, 'translation_length': 48, 'reference_length': 19} Rouge: {'rouge1': 0.0625, 'rouge2': 0.0, 'rougeL': 0.03125, 'rougeLsum': 0.0625} Sari: {'sari': 34.762746670555075} Flesh Reading Ease: 64.9 ---------------------------------------- Source: ['Dann sah ich sie fern und ferner vor mir;'] Prediction: ['Eine der besten Kinder wird von ihrem Kinder aufgefunden.\nSie wurde von ihrem Kinder-Kindergeten aufgefunden.\nDie Kinder waren für ihre Kinder und Kinder wie ihre Kinder nach ihrem Kindergetenen aufgefunden.'] Label: [['Sie verschwinden im Dunkeln.']] Sacrebleu: {'score': 1.3355980882200826, 'counts': [2, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [6.0606060606060606, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.06060606060606061, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.6, 'translation_length': 33, 'reference_length': 5} Rouge: {'rouge1': 0.05555555555555555, 'rouge2': 0.0, 'rougeL': 0.05555555555555555, 'rougeLsum': 0.05555555555555555} Sari: {'sari': 64.64646464646464} Flesh Reading Ease: 47.15 ---------------------------------------- Source: ['mir war, als streifte mich der fliegende Mantel, und die Erscheinung war, wie das erste Mal, lautlos an mir vorübergestoben.'] Prediction: ['Im Mai 2020 wurde ein Mantel von einem Razzie-Razzie-Funktion aufgefunden.\nDie Erscheinung war, wie das erste Mal sei, lautlos an mir vorübergestoben.\nDie Erscheinung war, wie das erste Mal sei, lautlos an mir vorübergestoben.'] Label: [['Aber wieder ist nichts zu hören.\nFast streift mich sein Mantel.']] Sacrebleu: {'score': 1.1784531110724779, 'counts': [3, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [7.317073170731708, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.07317073170731707, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1538461538461537, 'translation_length': 41, 'reference_length': 13} Rouge: {'rouge1': 0.04, 'rouge2': 0.0, 'rougeL': 0.04, 'rougeLsum': 0.04} Sari: {'sari': 33.90522875816993} Flesh Reading Ease: 63.4 ---------------------------------------- Source: ['In Gedanken darüber ritt ich weiter, aber ich hatte nicht lange Zeit zum Denken, schon fuhr es von rückwärts wieder an mir vorbei;'] Prediction: ['In Gedanken hatte nicht lange Zeit zum Denken, schon fuhr es von rückwärts wieder an mir vorbei.\nDie Schweizerin hatte nicht lange Zeit zum Denken, aber auch in Gedanken fuhr es wieder an mir vorbei.'] Label: [['Diesmal in die andere Richtung.\nWährend ich überlege, stürmt der Reiter wieder an mir vorbei.']] Sacrebleu: {'score': 9.930867787835725, 'counts': [8, 4, 3, 2], 'totals': [39, 38, 37, 36], 'precisions': [20.512820512820515, 10.526315789473685, 8.108108108108109, 5.555555555555555], 'bp': 1.0, 'sys_len': 39, 'ref_len': 18} Bleu: {'bleu': 0.0993086778783572, 'precisions': [0.20512820512820512, 0.10526315789473684, 0.08108108108108109, 0.05555555555555555], 'brevity_penalty': 1.0, 'length_ratio': 2.1666666666666665, 'translation_length': 39, 'reference_length': 18} Rouge: {'rouge1': 0.22222222222222227, 'rouge2': 0.11538461538461539, 'rougeL': 0.22222222222222227, 'rougeLsum': 0.18518518518518517} Sari: {'sari': 46.09830401525081} Flesh Reading Ease: 74.75 ---------------------------------------- Source: ['Was wollte der?'] Prediction: ['Im Interview mit der "Morning Show" mit Host Stefan über 20 Minuten Radio erzählt der Moderatorin über ihre Antworten der Radio-Section der 20-Minuten-App sowie der Moderatorin Andrea über ihre Leistungen.\nIm Interview spricht sie über ihre Antworten und ihre Antworten im Interview.'] Label: [['„Und was wollte er von mir?“']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 48, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.0, 'translation_length': 48, 'reference_length': 8} Rouge: {'rouge1': 0.03846153846153846, 'rouge2': 0.0, 'rougeL': 0.03846153846153846, 'rougeLsum': 0.03846153846153846} Sari: {'sari': 38.888888888888886} Flesh Reading Ease: 42.0 ---------------------------------------- Source: ['Wer war das?'] Prediction: ['Im Interview mit dem "Wer war das?\nWer war das?\nWer war das?\nWer war das?\nWer war das?\nWer war das?\nWer war das?\nWer war das?\nWer war das?\nWer war das?\nWer war das?'] Label: [['„Wer war das?“, frage ich mich leise.']] Sacrebleu: {'score': 2.771450089816766, 'counts': [3, 2, 1, 0], 'totals': [49, 48, 47, 46], 'precisions': [6.122448979591836, 4.166666666666667, 2.127659574468085, 1.0869565217391304], 'bp': 1.0, 'sys_len': 49, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.061224489795918366, 0.041666666666666664, 0.02127659574468085, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.454545454545454, 'translation_length': 49, 'reference_length': 11} Rouge: {'rouge1': 0.13636363636363638, 'rouge2': 0.09523809523809525, 'rougeL': 0.13636363636363638, 'rougeLsum': 0.13636363636363638} Sari: {'sari': 52.6984126984127} Flesh Reading Ease: 112.25 ---------------------------------------- Source: ['– Und jetzt fiel mir bei, ich hatte keinen Hufschlag, kein Keuchen des Pferdes vernommen; und Roß und Reiter waren doch hart an mir vorbeigefahren!'] Prediction: ['Am Sonntagabend fand in der Nacht auf Sonntag eine Woche ein Pferdes-Festival statt.\nEinige von ihnen waren doch hart an ihnen vorbeigefahren.\nEinige von ihnen waren doch hart an ihnen vorbeigefahren.'] Label: [['Kein Hufschlag, kein Keuchen des Pferdes.\nNichts ist davon zu hören.\nEr reitet an mir vorbei.']] Sacrebleu: {'score': 1.5393730252811677, 'counts': [4, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [11.764705882352942, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7, 'translation_length': 34, 'reference_length': 20} Rouge: {'rouge1': 0.08163265306122448, 'rouge2': 0.0, 'rougeL': 0.08163265306122448, 'rougeLsum': 0.08163265306122448} Sari: {'sari': 28.423076923076923} Flesh Reading Ease: 58.55 ---------------------------------------- Source: ['aber immer deutlicher, wenn der halbe Mond ein karges Licht herabließ, glaubte ich eine dunkle Gestalt zu erkennen, und bald, da sie näher kam, sah ich es, sie saß auf einem Pferde, einem hochbeinigen hageren Schimmel;'] Prediction: ['Ein halbe Mond hat eine dunkle Gestalt zu erkennen, wenn er näher kam, sah ich es, sie saß auf einem Pferde, einem hochbeinigen hageren Schimmel.\nDer halbe Mond glaubte eine dunkle Gestalt zu erkennen, wenn er näher kam, sah ich es, sie saß auf einem Pferde, einem hochbeinigen hageren Schimmel.'] Label: [['Ein dunkler Reiter auf einem großen, mageren Schimmel.\nEine Gestalt reitet mir entgegen.\nAuf einmal geben die Wolken für einen Augenblick den Mond frei.']] Sacrebleu: {'score': 2.0939634735597012, 'counts': [9, 2, 0, 0], 'totals': [60, 59, 58, 57], 'precisions': [15.0, 3.389830508474576, 0.8620689655172413, 0.43859649122807015], 'bp': 1.0, 'sys_len': 60, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.03389830508474576, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.142857142857143, 'translation_length': 60, 'reference_length': 28} Rouge: {'rouge1': 0.20512820512820515, 'rouge2': 0.02631578947368421, 'rougeL': 0.17948717948717946, 'rougeLsum': 0.17948717948717946} Sari: {'sari': 38.80839514135225} Flesh Reading Ease: 55.55 ---------------------------------------- Source: ['meine verklommenen Hände konnten kaum den Zügel halten, und ich verdachte es nicht den Krähen und Möwen, die sich fortwährend krächzend und gackernd vom Sturm ins Land hineintreiben ließen. Es war eiskalt;'] Prediction: ['Einige Möwen wurden in der Schweiz verdacht, die sich aufgrund eines Sturm-Sturms ins Land hineintreiben ließen.\nDie Hände konnten kaum den Zügel halten, und sie verdachten nicht den Krähen und Möwen, die sich fortwährend krächzend und gackernd vom Sturm ins Land hineintreiben ließen.\nEs war eiskalt, wie es war eiskalt.'] Label: [['Sie können kaum noch die Zügel halten.\nMeine Hände erstarren vor Kälte.']] Sacrebleu: {'score': 1.7429991698135956, 'counts': [7, 1, 0, 0], 'totals': [57, 56, 55, 54], 'precisions': [12.280701754385966, 1.7857142857142858, 0.9090909090909091, 0.46296296296296297], 'bp': 1.0, 'sys_len': 57, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.12280701754385964, 0.017857142857142856, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.071428571428571, 'translation_length': 57, 'reference_length': 14} Rouge: {'rouge1': 0.2105263157894737, 'rouge2': 0.08108108108108107, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.18421052631578946} Sari: {'sari': 36.19760826657378} Flesh Reading Ease: 69.7 ---------------------------------------- Source: ['denn auch der halbe Mond, der jetzt in der Höhe stand, war meist von treibendem Wolkendunkel überzogen.'] Prediction: ['Ein halbe Mond, der jetzt in der Höhe stand, war meist von treibendem Wolkendunkel überzogen.\nDer Mond war meist von treibendem Wolkendunkel überzogen.'] Label: [['Vor dem Mond ziehen düstere Wolken her.']] Sacrebleu: {'score': 1.6504045595709425, 'counts': [2, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [7.407407407407407, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.07407407407407407, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.375, 'translation_length': 27, 'reference_length': 8} Rouge: {'rouge1': 0.0625, 'rouge2': 0.0, 'rougeL': 0.0625, 'rougeLsum': 0.0625} Sari: {'sari': 35.294117647058826} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['aber ich sah nichts als die gelbgrauen Wellen, die unaufhörlich wie mit Wutgebrüll an den Deich hinaufschlugen und mitunter mich und das Pferd mit schmutzigem Schaum bespritzten;'] Prediction: ['Eine gelbgrauene Wellen, die unaufhörlich wie mit Wutgebrüll an den Deich hinaufschlugen und mitunter mich und das Pferd mit schmutzigem Schaum bespritzten, wurde eine Woche für die Welt geschlossen.\nDie Wellen wurden unaufhörlich wie mit Wutgebrüll an den Deich hinaufschlugen und mitunter mich und das Pferd mit schmutzigem Schaum bespritzten.'] Label: [['Die Wellen schlagen Schaum auf den Deich hinauf.']] Sacrebleu: {'score': 2.1084437901531192, 'counts': [6, 2, 0, 0], 'totals': [54, 53, 52, 51], 'precisions': [11.11111111111111, 3.7735849056603774, 0.9615384615384616, 0.49019607843137253], 'bp': 1.0, 'sys_len': 54, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.03773584905660377, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.0, 'translation_length': 54, 'reference_length': 9} Rouge: {'rouge1': 0.15873015873015875, 'rouge2': 0.06557377049180328, 'rougeL': 0.12698412698412698, 'rougeLsum': 0.12698412698412698} Sari: {'sari': 39.32516245189695} Flesh Reading Ease: 49.7 ---------------------------------------- Source: ['Zur Linken hatte ich jetzt schon seit über einer Stunde die öde, bereits von allem Vieh geleerte Marsch, zur Rechten, und zwar in unbehaglichster Nähe, das Wattenmeer der Nordsee;'] Prediction: ['Ein Wattenmeer der Nordsee hatte seit einer Stunde die öde, bereits von allem Vieh geleerte Marsch, zur Rechten, und zwar in unbehaglichster Nähe.\nDie öde hatte seit einer Stunde die öde, bereits von allem Vieh geleerte Marsch, zur Rechten, und zwar in unbehaglichster Nähe, das Wattenmeer der Nordsee.'] Label: [['Rechts davon tobt die wilde Nordsee.\nLinks vom Deich liegt das dunkle Land.']] Sacrebleu: {'score': 1.6023787294278133, 'counts': [5, 1, 0, 0], 'totals': [57, 56, 55, 54], 'precisions': [8.771929824561404, 1.7857142857142858, 0.9090909090909091, 0.46296296296296297], 'bp': 1.0, 'sys_len': 57, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.08771929824561403, 0.017857142857142856, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.8, 'translation_length': 57, 'reference_length': 15} Rouge: {'rouge1': 0.09523809523809523, 'rouge2': 0.0, 'rougeL': 0.0634920634920635, 'rougeLsum': 0.09523809523809523} Sari: {'sari': 37.224812224812226} Flesh Reading Ease: 56.55 ---------------------------------------- Source: ['Es war im dritten Jahrzehnt unseres Jahrhunderts, an einem Oktobernachmittag – so begann der damalige Erzähler –, als ich bei starkem Unwetter auf einem nordfriesischen Deich entlangritt.'] Prediction: ['Im dritten Jahrzehnten wurde der damalige Erzähler von einem Unwetter auf einem nordfriesischen Deich entlangritt.\nNun hatte er seinen damaligen Erzähler einen Tag auf einem Oktobernachmittag entlangt.'] Label: [['Mitten in diesem Unwetter reite ich am Deich entlang.\nEs stürmt und regnet ohne Unterbrechung.\nEs ist ein kalter Nachmittag im Oktober.']] Sacrebleu: {'score': 1.8196871111910016, 'counts': [4, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.16, 'translation_length': 29, 'reference_length': 25} Rouge: {'rouge1': 0.11538461538461538, 'rouge2': 0.0, 'rougeL': 0.07692307692307693, 'rougeLsum': 0.11538461538461538} Sari: {'sari': 35.65162907268171} Flesh Reading Ease: 37.8 ---------------------------------------- Source: ['Das ganze Gefolge, was er mit sich hatte, sah und sah, aber es bekam nicht mehr heraus als alle die andern, aber sie sagten gleich wie der Kaiser: "Oh, das ist hübsch!'] Prediction: ['Ein Kaiser hatte sich mit sich und sah, aber es bekam nicht mehr heraus als alle die andern, aber sie sagten gleich wie der Kaiser: "Oh, das ist hübsch!\nDas ist hübsch!'] Label: [['Alle nicken eifrig und rufen „Oh!“ und „Ah!“ Sie machen es dem Kaiser aber nach und rufen: „Oh, wie schön die Stoffe sind!“ Alle anderen sehen nichts.']] Sacrebleu: {'score': 1.6773237615364773, 'counts': [10, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [25.641025641025642, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.2564102564102564, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0833333333333333, 'translation_length': 39, 'reference_length': 36} Rouge: {'rouge1': 0.2903225806451613, 'rouge2': 0.0, 'rougeL': 0.12903225806451615, 'rougeLsum': 0.12903225806451615} Sari: {'sari': 36.85920362422508} Flesh Reading Ease: 87.95 ---------------------------------------- Source: ['"es hat meinen allerhöchsten Beifall!" und er nickte zufrieden und betrachtete den leeren Webstuhl; "Oh, es ist sehr hübsch", sagte er;'] Prediction: ['Ein Mann hat einen allerhöchsten Beifall und nickte zufrieden und betrachtete den leeren Webstuhl.\n"Oh, es ist sehr hübsch", sagte er.\n"Oh, es ist sehr hübsch", sagte er.'] Label: [['Dabei zeigt er zufrieden auf die leeren Webstühle.\nGute Arbeit!“ Er überlegt und sagt dann: „Die Stoffe sind tatsächlich sehr schön.']] Sacrebleu: {'score': 1.5342333164810604, 'counts': [7, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [17.94871794871795, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.1794871794871795, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 39, 'reference_length': 26} Rouge: {'rouge1': 0.21818181818181817, 'rouge2': 0.0, 'rougeL': 0.14545454545454548, 'rougeLsum': 0.1818181818181818} Sari: {'sari': 34.40591481828595} Flesh Reading Ease: 82.95 ---------------------------------------- Source: ['Tauge ich nicht dazu, Kaiser zu sein?'] Prediction: ['Einige der Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizerinnen und Schweizer Schweizerinnen und Schweizer Schweizerinnen und Schweizer Schweizerinnen und Schweizer Schweizer auf die Welt.\nWir haben die Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer'] Label: [['Kann ein Dummkopf Kaiser sein?']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [224, 223, 222, 221], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 224, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 37.333333333333336, 'translation_length': 224, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 46.18055555555555} Flesh Reading Ease: -48.51 ---------------------------------------- Source: ['Bin ich dumm?'] Prediction: ['Ein Interview mit dem 20-Minuten-Radio-Host Stefan über Social Media, die ihre Leistungen zu Gast und ihre Leistungen zum Thema "Unchained" bekommen.\nIm Interview spricht der Moderator über die Welt und die Welt im Interview mit Stefan über die Welt und die Leistungen zum Thema "Unchained" und die Leistungen zum Thema "Unchained"'] Label: [['Bin ich denn ein Dummkopf?']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [61, 60, 59, 58], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 61, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 10.166666666666666, 'translation_length': 61, 'reference_length': 6} Rouge: {'rouge1': 0.03389830508474576, 'rouge2': 0.0, 'rougeL': 0.03389830508474576, 'rougeLsum': 0.03389830508474576} Sari: {'sari': 41.49305555555555} Flesh Reading Ease: 49.2 ---------------------------------------- Source: ['Das ist ja erschrecklich!'] Prediction: ['Immer mehr als eine Woche ist es zu einem Jahr zu sehen, dass es sich um die Welt geht.\nDas ist ja erschrecklich.\nDas ist ja erschrecklich.'] Label: [['Das darf nicht sein!']] Sacrebleu: {'score': 1.199348129252962, 'counts': [1, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [3.225806451612903, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.03225806451612903, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.2, 'translation_length': 31, 'reference_length': 5} Rouge: {'rouge1': 0.06451612903225806, 'rouge2': 0.0, 'rougeL': 0.06451612903225806, 'rougeLsum': 0.06451612903225806} Sari: {'sari': 27.77777777777778} Flesh Reading Ease: 94.95 ---------------------------------------- Source: ['ich sehe gar nichts!'] Prediction: ['Die Welt ist ein Jahr nach dem ersten Mal in der Schweiz.\nDie Welt ist nicht nur einmal nach der Welt, sondern auch einige Jahre nach der Welt.\nDie Welt ist einige Jahre nach dem Rekord, das sie sich nicht nur nach dem Rekord geht.'] Label: [['Ich sehe keine Stoffe!\nWas ist denn hier los?']] Sacrebleu: {'score': 0.7291698644541256, 'counts': [1, 0, 0, 0], 'totals': [50, 49, 48, 47], 'precisions': [2.0, 1.0204081632653061, 0.5208333333333334, 0.26595744680851063], 'bp': 1.0, 'sys_len': 50, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.02, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.545454545454546, 'translation_length': 50, 'reference_length': 11} Rouge: {'rouge1': 0.037037037037037035, 'rouge2': 0.0, 'rougeL': 0.037037037037037035, 'rougeLsum': 0.037037037037037035} Sari: {'sari': 43.40686274509804} Flesh Reading Ease: 94.8 ---------------------------------------- Source: [",Was!' dachte der Kaiser;"] Prediction: ['Im Alter von 99 Jahren hat sich der US-Präsident mit dem Verdacht aufgefunden, dass er sich nicht mehr von der Schweiz gegenübergehend ausgesprochen hatte.\nDas hatte der Präsident nun zum ersten Mal, dass er sich nicht mehr von der Schweiz gegenübergehend ausgesprochen hatte.'] Label: [['Nanu?, denkt der Kaiser.']] Sacrebleu: {'score': 1.022951633574269, 'counts': [3, 0, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [6.382978723404255, 1.0869565217391304, 0.5555555555555556, 0.2840909090909091], 'bp': 1.0, 'sys_len': 47, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.06382978723404255, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.714285714285714, 'translation_length': 47, 'reference_length': 7} Rouge: {'rouge1': 0.038461538461538464, 'rouge2': 0.0, 'rougeL': 0.038461538461538464, 'rougeLsum': 0.038461538461538464} Sari: {'sari': 54.62493599590373} Flesh Reading Ease: 59.05 ---------------------------------------- Source: ['"Ja, ist das nicht prächtig?" sagten die beiden ehrlichen Staatsmänner.'] Prediction: ['Ein ehrlicher Staatsmänner sagt, dass es nicht prächtig sei, sondern auch nicht prächtig.\nDie beiden ehrlichen Staatsmänner wollen sich nicht prächtig sein.'] Label: [['Wie schön die Formen und Farben sind!“ Wir haben die Wahrheit gesagt.\nDie beiden sagen: „Seht ihr?']] Sacrebleu: {'score': 5.377336385080629, 'counts': [3, 2, 1, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 8.0, 4.166666666666667, 2.1739130434782608], 'bp': 1.0, 'sys_len': 26, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.08, 0.041666666666666664, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1818181818181819, 'translation_length': 26, 'reference_length': 22} Rouge: {'rouge1': 0.08888888888888888, 'rouge2': 0.04651162790697675, 'rougeL': 0.08888888888888888, 'rougeLsum': 0.08888888888888888} Sari: {'sari': 40.26862026862027} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['Mit einer ganzen Schar auserwählter Männer, unter denen auch die beiden ehrlichen Staatsmänner waren, die schon früher dagewesen, ging er zu den beiden listigen Betrügern hin, die nun aus allen Kräften webten, aber ohne Faser oder Faden.'] Prediction: ['Ein auserwählter Männer aus der Krise wurde aufgefunden, weil er auch die beiden ehrlichen Staatsmänner waren, die schon früher dagewesen ging, zu den beiden listigen Betrügern hin.\nDie beiden waren aus allen Kräften webten, aber ohne Faser oder Faden.'] Label: [['Auch die beiden Minister sind dabei, die schon einmal hier waren.\nAlle Minister und Diener begleiten ihn.']] Sacrebleu: {'score': 4.2800572429218295, 'counts': [8, 3, 1, 0], 'totals': [45, 44, 43, 42], 'precisions': [17.77777777777778, 6.818181818181818, 2.3255813953488373, 1.1904761904761905], 'bp': 1.0, 'sys_len': 45, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.17777777777777778, 0.06818181818181818, 0.023255813953488372, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 45, 'reference_length': 20} Rouge: {'rouge1': 0.19354838709677416, 'rouge2': 0.09999999999999999, 'rougeL': 0.19354838709677416, 'rougeLsum': 0.19354838709677416} Sari: {'sari': 38.005027576002156} Flesh Reading Ease: 55.2 ---------------------------------------- Source: ['Nun wollte der Kaiser es selbst sehen, während es noch auf dem Webstuhl sei.'] Prediction: ['Ein Mann wollte einen Webstuhl selbst sehen.\nDer Kaiser wollte es selbst sehen.'] Label: [['Davon will sich der Kaiser nun selbst überzeugen.']] Sacrebleu: {'score': 3.4585921141027356, 'counts': [3, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [20.0, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 15, 'reference_length': 9} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.10526315789473685, 'rougeL': 0.2857142857142857, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 49.91987179487179} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['"Ja, es ist ganz allerliebst!" sagte er zum Kaiser.'] Prediction: ['Ein Kaiser hat sich mit einem ganz allerliebst gemacht.\nEr sagte, es ist ganz allerliebst!"'] Label: [['„Sie sind wirklich prächtig!“ Er sagt zum Kaiser sogar:']] Sacrebleu: {'score': 2.6643211213888947, 'counts': [3, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5833333333333333, 'translation_length': 19, 'reference_length': 12} Rouge: {'rouge1': 0.16, 'rouge2': 0.0, 'rougeL': 0.08, 'rougeLsum': 0.16} Sari: {'sari': 32.698412698412696} Flesh Reading Ease: 84.75 ---------------------------------------- Source: ['Daher lobte er das Zeug, das er nicht sah, und versicherte ihnen seine Freude über die schönen Farben und das herrliche Muster.'] Prediction: ['Ein Mann hatte sich in einem schönen Muster einen schönen Muster entdeckt.\nDer Muster war nicht sah, und versicherte ihnen seine Freude über die schönen Farben und das herrliche Muster.'] Label: [['Dem Kaiser berichtet er, dass auch die neuen Stoffe sehr schön sind.']] Sacrebleu: {'score': 1.4780822562194806, 'counts': [3, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [9.090909090909092, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.357142857142857, 'translation_length': 33, 'reference_length': 14} Rouge: {'rouge1': 0.08695652173913043, 'rouge2': 0.0, 'rougeL': 0.08695652173913043, 'rougeLsum': 0.08695652173913043} Sari: {'sari': 33.75} Flesh Reading Ease: 65.55 ---------------------------------------- Source: ["Das wäre seltsam genug, aber das muß man sich nicht merken lassen!' es ist also mein gutes Amt, zu dem ich nicht tauge! ,Dumm bin ich nicht', dachte der Mann;"] Prediction: ['Ein Mann hatte sich in einem Interview mit der "New Yorker Sun" zu sehen, dass er sich nicht merken lassen kann.\nDiese Woche hatte er sich über seinen seltenen Amt gegeben, dass er sich nicht merken lassen hatte.\nDie 20-Minuten-App hatte ihn zum Thema "Unchained" bekannt gegeben, wie er sich dabei nicht bekommt.'] Label: [['Ich darf mir nichts anmerken lassen, denkt er.\nWird er bald kein Minister mehr sein?\nIst er dumm?']] Sacrebleu: {'score': 0.8715381989472968, 'counts': [6, 0, 0, 0], 'totals': [65, 64, 63, 62], 'precisions': [9.23076923076923, 0.78125, 0.3968253968253968, 0.20161290322580644], 'bp': 1.0, 'sys_len': 65, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.09230769230769231, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.9545454545454546, 'translation_length': 65, 'reference_length': 22} Rouge: {'rouge1': 0.1095890410958904, 'rouge2': 0.0, 'rougeL': 0.1095890410958904, 'rougeLsum': 0.1095890410958904} Sari: {'sari': 34.57623905126217} Flesh Reading Ease: 68.7 ---------------------------------------- Source: ['weil aber außer dem Webstuhl nichts da war, so konnte er nichts sehen. es ging ihm aber gerade wie dem ersten, er guckte und guckte;'] Prediction: ['Ein Mann hatte einen Webstuhl nicht nur einen Tag, sondern auch einen Webstuhl.\nDas ging ihm aber gerade wie dem ersten, er guckte und guckte.'] Label: [['Aber auch der zweite Minister sieht nichts.']] Sacrebleu: {'score': 1.5301683686839007, 'counts': [2, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [6.896551724137931, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.06896551724137931, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.625, 'translation_length': 29, 'reference_length': 8} Rouge: {'rouge1': 0.125, 'rouge2': 0.0, 'rougeL': 0.0625, 'rougeLsum': 0.125} Sari: {'sari': 35.566239316239326} Flesh Reading Ease: 85.6 ---------------------------------------- Source: ['Der Kaiser sandte bald wieder einen anderen tüchtigen Staatsmann hin, um zu sehen, wie es mit dem Weben stehe und ob das Zeug bald fertig sei;'] Prediction: ['Ein anderer tüchtiger Staatsmann hat einen anderen tüchtigen Staatsmann hin, um zu sehen, wie es mit dem Weben stehe und ob das Zeug bald fertig sei.\nDer Kaiser hatte bald wieder einen anderen tüchtigen Staatsmann hin, um zu sehen, wie es mit dem Weben stehe und ob das Zeug bald fertig sei.'] Label: [['Er will wissen, ob die Kleider endlich fertig sind.\nDann schickt der Kaiser einen anderen Minister in die Weberei zu den beiden Männern.']] Sacrebleu: {'score': 1.8231598123120714, 'counts': [9, 1, 0, 0], 'totals': [58, 57, 56, 55], 'precisions': [15.517241379310345, 1.7543859649122806, 0.8928571428571429, 0.45454545454545453], 'bp': 1.0, 'sys_len': 58, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.15517241379310345, 0.017543859649122806, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.230769230769231, 'translation_length': 58, 'reference_length': 26} Rouge: {'rouge1': 0.1772151898734177, 'rouge2': 0.051948051948051945, 'rougeL': 0.1772151898734177, 'rougeLsum': 0.1772151898734177} Sari: {'sari': 39.1716308382975} Flesh Reading Ease: 66.25 ---------------------------------------- Source: ['Sie steckten alles in ihre eigenen Taschen, auf den Webstuhl kam kein Faden, aber sie fuhren fort, wie bisher an den leeren Stühlen zu arbeiten.'] Prediction: ['Eine Frau wurde auf den Webstuhl von einem iPhone gestohlen.\nSie fuhren fort, wie bisher an den leeren Stühlen zu arbeiten.\nDie Frau wurde dabei von der Webstuhl-Kamera gestohlen.'] Label: [['Die Webstühle bleiben leer.\nDenn sie weben überhaupt keinen Stoff.\nDas Geld verschwindet aber wieder einfach in ihren Taschen.']] Sacrebleu: {'score': 1.5883027492953543, 'counts': [4, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [12.121212121212121, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.12121212121212122, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 33, 'reference_length': 22} Rouge: {'rouge1': 0.0784313725490196, 'rouge2': 0.0, 'rougeL': 0.0392156862745098, 'rougeLsum': 0.0784313725490196} Sari: {'sari': 32.863247863247864} Flesh Reading Ease: 70.85 ---------------------------------------- Source: ['Nun verlangten die Betrüger mehr Geld, mehr Seide und mehr Gold zum Weben.'] Prediction: ['Die Betrüger verlangten mehr Geld, mehr Seide und mehr Gold zum Weben.\nDie Betrüger verlangten mehr Geld, mehr Seide und mehr Gold zum Weben.'] Label: [['Sie brauchen nämlich noch mehr teure Stoffe für die Kleider.\nJetzt möchten die Betrüger noch mehr Geld vom Kaiser.']] Sacrebleu: {'score': 3.5148478313698046, 'counts': [6, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [21.428571428571427, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 28, 'reference_length': 21} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.1276595744680851, 'rougeL': 0.24489795918367346, 'rougeLsum': 0.24489795918367346} Sari: {'sari': 40.56410256410257} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['Der alte Minister merkte gut auf, damit er dasselbe sagen könne, wenn er zum Kaiser zurückkomme, und das tat er auch.'] Prediction: ['Der alte Minister der deutschen Bundesstaat Bern hat sich immer wieder zum Kaiser zurückkomme.\nDer alte Minister merkte gut auf, damit er dasselbe sagen könne, wenn er zum Kaiser zurückkomme, und das tat er auch auch auch auch auch auch auf.'] Label: [['Damit er dem Kaiser alles genau erzählen kann.\nDer alte Minister hört aufmerksam zu.']] Sacrebleu: {'score': 5.722548119254382, 'counts': [7, 3, 2, 1], 'totals': [46, 45, 44, 43], 'precisions': [15.217391304347826, 6.666666666666667, 4.545454545454546, 2.3255813953488373], 'bp': 1.0, 'sys_len': 46, 'ref_len': 16} Bleu: {'bleu': 0.05722548119254381, 'precisions': [0.15217391304347827, 0.06666666666666667, 0.045454545454545456, 0.023255813953488372], 'brevity_penalty': 1.0, 'length_ratio': 2.875, 'translation_length': 46, 'reference_length': 16} Rouge: {'rouge1': 0.19999999999999998, 'rouge2': 0.10344827586206895, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.19999999999999998} Sari: {'sari': 41.54446825708756} Flesh Reading Ease: 65.9 ---------------------------------------- Source: ['"Nun, das freut uns!" sagten beide Weber, und darauf benannten sie die Farben mit Namen und erklärten das seltsame Muster.'] Prediction: ['Weber und Weber haben sich mit Namen und Namen auf den Namen geschlagen.\nDas seltsame Muster hat sie sich mit Namen und Namen auf den Namen geschlagen.\nDie beiden haben sich mit Namen und Namen auf den Namen geschlagen.'] Label: [['Sie beschreiben die Stoffe in allen Einzelheiten.\nDie Betrüger nicken zufrieden.']] Sacrebleu: {'score': 1.9329400319270489, 'counts': [3, 1, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [7.142857142857143, 2.4390243902439024, 1.25, 0.6410256410256411], 'bp': 1.0, 'sys_len': 42, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.024390243902439025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.230769230769231, 'translation_length': 42, 'reference_length': 13} Rouge: {'rouge1': 0.07843137254901959, 'rouge2': 0.0, 'rougeL': 0.07843137254901959, 'rougeLsum': 0.07843137254901959} Sari: {'sari': 46.06837606837607} Flesh Reading Ease: 73.4 ---------------------------------------- Source: ['– Ja, ich werde dem Kaiser sagen, daß es mir sehr gefällt!" "Dieses Muster und diese Farben!'] Prediction: ['Im Mai wurde der Kaiser von der Schweizer Kinos gefällt.\nDie beiden waren dabei, dass sie sich nicht mehr gefällt werden.\nDie beiden waren das Muster und diese Farben.'] Label: [['Ich werde das dem Kaiser mitteilen.“ „Diese Formen, diese Farben, wunderbar!']] Sacrebleu: {'score': 2.9561645124389617, 'counts': [6, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [18.181818181818183, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0625, 'translation_length': 33, 'reference_length': 16} Rouge: {'rouge1': 0.19047619047619047, 'rouge2': 0.05, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.19047619047619047} Sari: {'sari': 38.00406464880149} Flesh Reading Ease: 76.7 ---------------------------------------- Source: ['"Oh, es ist niedlich, ganz allerliebst!" antwortete der alte Minister und sah durch seine Brille.'] Prediction: ['Der alte Minister der deutschen Staatsanwaltschaft hat einen "niedlich" ganz allerliebst gemacht.\nEr sah durch seine Brille.'] Label: [['„Oh, alles sehr schön!“, sagt der Minister schnell.']] Sacrebleu: {'score': 2.3901021968803136, 'counts': [3, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [14.285714285714286, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6153846153846154, 'translation_length': 21, 'reference_length': 13} Rouge: {'rouge1': 0.15384615384615383, 'rouge2': 0.0, 'rougeL': 0.15384615384615383, 'rougeLsum': 0.15384615384615383} Sari: {'sari': 33.73015873015873} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['" fragte der eine von den Webern. "Nun, Sie sagen nichts dazu?'] Prediction: ['Die Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizerinnen und Schweizer Schweizerinnen und Schweizer Schweizerinnen und Schweizer Schweizerinnen und Schweizer Schweizerinnen.\nDie beiden sind nicht nur nur, sondern nur, sondern auch nach dem "Nun" zu sagen.'] Label: [['„Sie sagen ja gar nichts“, meint der andere Betrüger.']] Sacrebleu: {'score': 0.8699141688737136, 'counts': [3, 0, 0, 0], 'totals': [55, 54, 53, 52], 'precisions': [5.454545454545454, 0.9259259259259259, 0.4716981132075472, 0.2403846153846154], 'bp': 1.0, 'sys_len': 55, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.05454545454545454, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.0, 'translation_length': 55, 'reference_length': 11} Rouge: {'rouge1': 0.033898305084745756, 'rouge2': 0.0, 'rougeL': 0.033898305084745756, 'rougeLsum': 0.033898305084745756} Sari: {'sari': 54.722222222222214} Flesh Reading Ease: 44.35 ---------------------------------------- Source: ['Das habe ich nie geglaubt, und das darf kein Mensch wissen!'] Prediction: ['Ein Mann hat sich nicht geglaubt, sondern auch auf dem Kanton Bern nicht gefasst.\nDas hatte er nie geglaubt, und das darf kein Mensch wissen.'] Label: [['O weh, das darf niemand wissen!']] Sacrebleu: {'score': 3.0603367373678014, 'counts': [4, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.625, 'translation_length': 29, 'reference_length': 8} Rouge: {'rouge1': 0.1935483870967742, 'rouge2': 0.06896551724137931, 'rougeL': 0.1935483870967742, 'rougeLsum': 0.1935483870967742} Sari: {'sari': 34.50025960539979} Flesh Reading Ease: 91.45 ---------------------------------------- Source: ["Dann zeigten sie auf den leeren Stuhl, und der arme, alte Minister fuhr fort, die Augen aufzureißen, aber er konnte nichts sehen, denn es war nichts da. ,Herr Gott', dachte er, sollte ich dumm sein?"] Prediction: ['Der Minister der deutschen Staatsanwaltschaft hat einen Stuhl auf den leeren Stuhl gegeben.\nDer Minister fuhr fort, die Augen aufzureißen, aber er konnte nichts sehen, denn es war nichts da.'] Label: [['Ich bin also dumm, denkt der Minister.\nDer alte Minister schaut hin, sieht aber nichts.']] Sacrebleu: {'score': 3.158092042483703, 'counts': [10, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [28.571428571428573, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8421052631578947, 'translation_length': 35, 'reference_length': 19} Rouge: {'rouge1': 0.26086956521739135, 'rouge2': 0.09090909090909091, 'rougeL': 0.26086956521739135, 'rougeLsum': 0.26086956521739135} Sari: {'sari': 35.30503650185579} Flesh Reading Ease: 71.4 ---------------------------------------- Source: ['Beide Betrüger baten ihn näher zu treten und fragten, ob es nicht ein hübsches Muster und schöne Farben seien.'] Prediction: ['Ein Muster und schöne Farben sind bei einem Muster in der Schweiz gestorben.\nDie Betrüger baten ihn näher zu treten und fragten, ob es nicht ein hübsches Muster und schöne Farben seien.'] Label: [['Und was halten Sie von dem Muster, von den Formen?“ „Sind die Farben nicht schön?\n„Kommen Sie nur näher“, sagt einer von den Betrügern.']] Sacrebleu: {'score': 1.5790460212418518, 'counts': [5, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [14.285714285714286, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1666666666666667, 'translation_length': 35, 'reference_length': 30} Rouge: {'rouge1': 0.3125, 'rouge2': 0.03225806451612904, 'rougeL': 0.15625, 'rougeLsum': 0.15625} Sari: {'sari': 37.71585557299843} Flesh Reading Ease: 70.4 ---------------------------------------- Source: ['Aber das sagte er nicht.'] Prediction: ['Ein Mann sagt, er ist nicht ganz nur nur nur nur nur nur nur nur nur nur nur nur, sondern nur nur nur nur nur nur nur, sondern nur nur nur nur nur, sondern nur nur nur nur nur, sondern nur nur nur nur, sondern nur nur nur nur, sondern nur nur nur, sondern nur nur, sondern nur nur, sondern nur, sondern nur, sondern nur, nach sondern nur, nach sondern nur, nach sondern nur, nach sondern nur, nach sondern nur, nach sondern nach sondern nur, nach sondern nach sondern nach sondern nach sondern nach sondern nach sondern nach sondern nach sondern nach sondern nach sondern: "I\'m sorry, sondern nicht, sondern nicht, sondern nach sondern nur, sondern nach sondern nach sondern nach sondern nach sondern nach sondern nie, sondern nach sondern nach sondern nach sondern nach sondern nach sondern nie, sondern nach sondern nach sondern nach sondern nicht, sondern nach sondern nach sondern nach sondern nach sondern nie.\nWie sie sieht, was nicht, sondern nicht.\nWie sie sieht, was nicht, was nach sondern nicht.'] Label: [['Doch das sagt er natürlich nicht laut.']] Sacrebleu: {'score': 0.24213429958470592, 'counts': [4, 0, 0, 0], 'totals': [208, 207, 206, 205], 'precisions': [1.9230769230769231, 0.24154589371980675, 0.12135922330097088, 0.06097560975609756], 'bp': 1.0, 'sys_len': 208, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.019230769230769232, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 26.0, 'translation_length': 208, 'reference_length': 8} Rouge: {'rouge1': 0.03296703296703297, 'rouge2': 0.011111111111111112, 'rougeL': 0.03296703296703297, 'rougeLsum': 0.03296703296703297} Sari: {'sari': 55.12265512265512} Flesh Reading Ease: 46.25 ---------------------------------------- Source: [",Ich kann ja nichts erblicken!' ,Gott behüte uns!' dachte der alte Minister und riß die Augen auf. Nun ging der alte, gute Minister in den Saal hinein, wo die zwei Betrüger saßen und an den leeren Webstühlen arbeiteten."] Prediction: ['Der alte Minister der Saal hatte sich am Sonntagabend einen ähnlichen Schritt gegen die Corona-Regeln gegeben.\nNun ging der alte, gute Minister in den Saal hinein, wo die zwei Betrüger saßen und an den leeren Webstühlen arbeiteten.'] Label: [['Du lieber Himmel, denkt er, ich sehe nichts!\nAls der alte Minister die Weberei betritt, ist der Schreck groß.']] Sacrebleu: {'score': 3.0118579559893055, 'counts': [8, 2, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [19.51219512195122, 5.0, 1.2820512820512822, 0.6578947368421053], 'bp': 1.0, 'sys_len': 41, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.1951219512195122, 0.05, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7083333333333333, 'translation_length': 41, 'reference_length': 24} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.06896551724137932, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 35.0588002402796} Flesh Reading Ease: 56.2 ---------------------------------------- Source: [",Ich will meinen alten, ehrlichen Minister zu den Webern senden', dachte der Kaiser, er kann am besten beurteilen, wie der Stoff sich ausnimmt, denn er hat Verstand, und keiner versieht sein Amt besser als er!'"] Prediction: ['Der Kaiser will seinen alten, ehrlichen Minister zu den Webern senden.\nEr will seinen alten, ehrlichen Minister zu den Webern senden.'] Label: [['Zur Sicherheit schickt er erst einen alten, weisen Minister in die Weberei.']] Sacrebleu: {'score': 3.5823421191287177, 'counts': [4, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [16.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.16, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7857142857142858, 'translation_length': 25, 'reference_length': 14} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.0, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 40.50565707174903} Flesh Reading Ease: 64.2 ---------------------------------------- Source: [",Nun möchte ich doch wissen, wie weit sie mit dem Zeuge sind!' dachte der Kaiser, aber es war ihm beklommen zumute, wenn er daran dachte, daß keiner, der dumm sei oder schlecht zu seinem Amte tauge, es sehen könne."] Prediction: ['Ein Kaiser hatte sich mit dem Zeuge einen Zeuge gefunden, wie weit sie mit dem Zeuge sind.\nDer Kaiser möchte sich doch wissen, wie weit sie mit dem Zeuge sind.'] Label: [['Denn wer dumm ist, kann die Stoffe nicht sehen.\nDoch dann zweifelt der Kaiser.\nSollte er nicht mal nachschauen?\nWie weit sind wohl die Weber mit seinen Kleidern?\nNach einiger Zeit wird der Kaiser neugierig.']] Sacrebleu: {'score': 1.490005258707567, 'counts': [8, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [23.529411764705884, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 0.8139288269830024, 'sys_len': 34, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8139288269830023, 'length_ratio': 0.8292682926829268, 'translation_length': 34, 'reference_length': 41} Rouge: {'rouge1': 0.24242424242424246, 'rouge2': 0.0625, 'rougeL': 0.1818181818181818, 'rougeLsum': 0.1818181818181818} Sari: {'sari': 40.252231618510685} Flesh Reading Ease: 83.1 ---------------------------------------- Source: ['Trotzdem verlangten sie die feinste Seide und das prächtigste Gold, das steckten sie aber in ihre eigene Tasche und arbeiteten an den leeren Stühlen bis spät in die Nacht hinein.'] Prediction: ['Eine der feinsten Seide und das prächtigste Gold arbeiteten an den leeren Stühlen bis spät in die Nacht hinein.\nDie feinste Seide und das prächtigste Gold verlangten sie trotzdem in ihre eigene Tasche und arbeiteten an den leeren Stühlen bis spät in die Nacht hinein.'] Label: [['So sitzen sie Tag und Nacht an den leeren Webstühlen.\nAber die Betrüger tun so, als würden sie fleißig arbeiten.']] Sacrebleu: {'score': 3.8078550433225806, 'counts': [9, 2, 1, 0], 'totals': [47, 46, 45, 44], 'precisions': [19.148936170212767, 4.3478260869565215, 2.2222222222222223, 1.1363636363636365], 'bp': 1.0, 'sys_len': 47, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.19148936170212766, 0.043478260869565216, 0.022222222222222223, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0434782608695654, 'translation_length': 47, 'reference_length': 23} Rouge: {'rouge1': 0.21333333333333332, 'rouge2': 0.0547945205479452, 'rougeL': 0.18666666666666668, 'rougeLsum': 0.18666666666666668} Sari: {'sari': 32.679958104679294} Flesh Reading Ease: 63.9 ---------------------------------------- Source: ['Sie stellten auch zwei Webstühle auf, taten, als ob sie arbeiteten, aber sie hatten nicht das geringste auf dem Stuhle.'] Prediction: ['Eine Frau aus der Stadt Zürich hat einen Stuhle aufgefunden, als sie arbeitete, als ob sie arbeitete.\nDie Frau war nicht das geringste auf dem Stuhle.'] Label: [['Die beiden Webstühle sind leer!\nAber eines ist seltsam: Damit können sie feine Stoffe wie Seide weben.\nSie setzen sich an ihre Webstühle.']] Sacrebleu: {'score': 1.7557381354086663, 'counts': [4, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [13.333333333333334, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1111111111111112, 'translation_length': 30, 'reference_length': 27} Rouge: {'rouge1': 0.11320754716981132, 'rouge2': 0.0, 'rougeL': 0.07547169811320754, 'rougeLsum': 0.11320754716981132} Sari: {'sari': 33.907020789288225} Flesh Reading Ease: 73.4 ---------------------------------------- Source: ["' Er gab den beiden Betrügern viel Handgeld, damit sie ihre Arbeit beginnen sollten."] Prediction: ['Die beiden Betrügern gaben viel Handgeld, damit sie ihre Arbeit beginnen sollten.\nDie beiden Betrügern gaben viel Handgeld, damit sie ihre Arbeit beginnen sollten.'] Label: [['Sie sollen Stoffe weben und Kleider für den Kaiser machen.\nEr gibt den beiden Webern viel Geld.\nDer Kaiser lässt die beiden Weber zu sich kommen.']] Sacrebleu: {'score': 1.9267625761293168, 'counts': [5, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [17.857142857142858, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 0.9649159443723699, 'sys_len': 28, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.17857142857142858, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9649159443723702, 'length_ratio': 0.9655172413793104, 'translation_length': 28, 'reference_length': 29} Rouge: {'rouge1': 0.1851851851851852, 'rouge2': 0.03846153846153846, 'rougeL': 0.14814814814814817, 'rougeLsum': 0.1851851851851852} Sari: {'sari': 32.57467144563918} Flesh Reading Ease: 56.85 ---------------------------------------- Source: ["Ja, das Zeug muß sogleich für mich gewebt werden! wenn ich solche hätte, könnte ich ja dahinterkommen, welche Männer in meinem Reiche zu dem Amte, das sie haben, nicht taugen, ich könnte die Klugen von den Dummen unterscheiden! ,Das wären ja prächtige Kleider', dachte der Kaiser;"] Prediction: ['Ein Zeug muß sogleich für mich gewebt werden!\nwenn ich solche hätte, könnte ich ja dahinterkommen, welche Männer in meinem Reiche zu dem Amte, das sie haben, nicht taugen, könnten die Klugen von den Dummen unterscheiden!'] Label: [['Dann kann ich zum Beispiel dumme Minister entlassen.\nWenn ich die Kleider trage, sehe ich sofort, wer dumm ist.\nDiese Kleider muss ich haben, denkt er.\nAuch der Kaiser hört davon.']] Sacrebleu: {'score': 2.331372206682652, 'counts': [7, 1, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [16.27906976744186, 2.380952380952381, 1.2195121951219512, 0.625], 'bp': 1.0, 'sys_len': 43, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.16279069767441862, 0.023809523809523808, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.131578947368421, 'translation_length': 43, 'reference_length': 38} Rouge: {'rouge1': 0.16438356164383558, 'rouge2': 0.028169014084507043, 'rougeL': 0.10958904109589042, 'rougeLsum': 0.16438356164383558} Sari: {'sari': 32.68358576037795} Flesh Reading Ease: 68.4 ---------------------------------------- Source: ['Die Farben und das Muster seien nicht allein ungewöhnlich schön, sondern die Kleider, die von dem Zeuge genäht würden, sollten die wunderbare Eigenschaft besitzen, daß sie für jeden Menschen unsichtbar seien, der nicht für sein Amt tauge oder der unverzeihlich dumm sei.'] Prediction: ['Die Kleider, die von dem Zeuge genäht würden, sollten die wunderbare Eigenschaft besitzen, daß sie für jeden Menschen unsichtbar seien, der nicht für sein Amt tauge oder der unverzeihlich dumm sei.\nDie Kleider, die von dem Zeuge genäht würden, sollten die wunderbare Eigenschaft besitzen, daß sie für jeden Menschen unsichtbar seien, der nicht für sein Amt tauge oder der unverzeihlich dumm sei, seien.'] Label: [['Weil sie für dumme Menschen unsichtbar sind.\nDie Kleider sind etwas ganz Besonderes, sagen sie.\n„Und daraus machen wir die schönsten Kleider.“']] Sacrebleu: {'score': 3.053278743136257, 'counts': [12, 4, 1, 0], 'totals': [74, 73, 72, 71], 'precisions': [16.216216216216218, 5.47945205479452, 1.3888888888888888, 0.704225352112676], 'bp': 1.0, 'sys_len': 74, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.16216216216216217, 0.0547945205479452, 0.013888888888888888, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.740740740740741, 'translation_length': 74, 'reference_length': 27} Rouge: {'rouge1': 0.2105263157894737, 'rouge2': 0.08602150537634408, 'rougeL': 0.16842105263157894, 'rougeLsum': 0.2105263157894737} Sari: {'sari': 38.757568373796445} Flesh Reading Ease: 49.05 ---------------------------------------- Source: ['An jedem Tag kamen viele Fremde an, und eines Tages kamen auch zwei Betrüger, die gaben sich für Weber aus und sagten, daß sie das schönste Zeug, was man sich denken könne, zu weben verstanden.'] Prediction: ['Weber hat einen schönsten Zeug auf seinem Website veröffentlicht, das man sich denken könne, zu weben verstanden.\nAuch einige Betrüger konnten sich für Weber ausgezeichnet werden, da sie das schönste Zeug, was man sich denken könne, zu weben verstanden.'] Label: [['„Wir können die schönsten Stoffe weben“, erzählen sie in der Stadt herum.\nSie sagen, dass sie Weber sind.\nEines Tages kommen auch zwei Betrüger in die Stadt.']] Sacrebleu: {'score': 1.3366097779404031, 'counts': [8, 0, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [17.391304347826086, 1.1111111111111112, 0.5681818181818182, 0.29069767441860467], 'bp': 1.0, 'sys_len': 46, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4375, 'translation_length': 46, 'reference_length': 32} Rouge: {'rouge1': 0.23376623376623376, 'rouge2': 0.053333333333333344, 'rougeL': 0.15584415584415587, 'rougeLsum': 0.23376623376623376} Sari: {'sari': 33.77519500456393} Flesh Reading Ease: 61.05 ---------------------------------------- Source: ['In der großen Stadt, in der er wohnte, ging es sehr munter her.'] Prediction: ['In der Stadt in der Nähe von Stadt Bern wohnte eine junge Frau eine lebende Frau in einem grossecken Restaurant.\nDie Frau ging es sehr munter her.'] Label: [['Viele Menschen besuchen die Stadt.\nDer Kaiser wohnt in einer großen Stadt.']] Sacrebleu: {'score': 1.9240848598265397, 'counts': [5, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [17.24137931034483, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0714285714285716, 'translation_length': 29, 'reference_length': 14} Rouge: {'rouge1': 0.24390243902439027, 'rouge2': 0.0, 'rougeL': 0.14634146341463414, 'rougeLsum': 0.24390243902439027} Sari: {'sari': 34.07617845117844} Flesh Reading Ease: 78.75 ---------------------------------------- Source: ['"Der Kaiser ist in der Garderobe!" Er hatte einen Rock für jede Stunde des Tages, und ebenso wie man von einem König sagte, er ist im Rat, so sagte man hier immer:'] Prediction: ['Ein Rock-Rapper hatte einen Rock für jede Stunde des Tages, wie man von einem König sagte.\nEr ist im Rat, so sagte man hier immer: "Der Kaiser ist in der Garderobe!"'] Label: [['„Er zieht sich gerade um!“ Die Antwort lautet dann immer: „Wo ist der Kaiser?“ Manchmal fragt jemand: Jeden Tag zieht er sich zehnmal um.']] Sacrebleu: {'score': 2.6510202602018675, 'counts': [7, 1, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [18.42105263157895, 2.7027027027027026, 1.3888888888888888, 0.7142857142857143], 'bp': 1.0, 'sys_len': 38, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.18421052631578946, 0.02702702702702703, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2258064516129032, 'translation_length': 38, 'reference_length': 31} Rouge: {'rouge1': 0.1724137931034483, 'rouge2': 0.03571428571428572, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.13793103448275862} Sari: {'sari': 35.87481962481963} Flesh Reading Ease: 76.75 ---------------------------------------- Source: ['Vor vielen Jahren lebte ein Kaiser, der so ungeheuer viel auf neue Kleider hielt, daß er all sein Geld dafür ausgab, um recht geputzt zu sein.'] Prediction: ['Ein Kaiser, der vor vielen Jahren auf neue Kleider hielt, wurde von seinem Geld ausgab, um recht geputzt zu sein.\nDer Kaiser hatte vor vielen Jahren sein Geld ausgab, um recht geputzt zu sein.'] Label: [['Er gibt dafür viel Geld aus.\nDer Kaiser liebt schöne, neue Kleider.\nIn einem schönen Land lebt ein eitler Kaiser.']] Sacrebleu: {'score': 4.98087866483834, 'counts': [9, 3, 1, 0], 'totals': [40, 39, 38, 37], 'precisions': [22.5, 7.6923076923076925, 2.6315789473684212, 1.3513513513513513], 'bp': 1.0, 'sys_len': 40, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.225, 0.07692307692307693, 0.02631578947368421, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 40, 'reference_length': 24} Rouge: {'rouge1': 0.2456140350877193, 'rouge2': 0.07272727272727272, 'rougeL': 0.14035087719298242, 'rougeLsum': 0.2456140350877193} Sari: {'sari': 36.73380136836652} Flesh Reading Ease: 81.1 ---------------------------------------- Source: ['Des Kaisers neue Kleider.'] Prediction: ['Die Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schwe'] Label: [['Neue Kleider für den Kaiser.']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [226, 225, 224, 223], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 226, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 37.666666666666664, 'translation_length': 226, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 42.91666666666667} Flesh Reading Ease: -163.01 ---------------------------------------- Source: ['Und wirklich, am anderen Morgen kam ein Wagen herangefahren, mit acht weißen Pferden bespannt, die hatten weiße Straußfedern auf dem Kopf und gingen in goldenen Ketten. Er erzählte ihr, er wäre von einer bösen Hexe verwünscht worden, und niemand hätte ihn aus dem Brunnen erlösen können als sie allein, und morgen wollten sie mitsammen in sein Reich gehen.'] Prediction: ['Am Morgen kam es in der Nacht auf Sonntag zu einem Wagen.\nEin Wagen hatte sich mit acht weißen Pferden bespannt, die hatten weiße Straußfedern auf dem Kopf gingen in goldenen Ketten.\nEin Wagen hatte ihn aus dem Brunnen erlösen, als sie allein hätte.'] Label: [['Sie fahren zusammen in das Land, in dem der Königs-Sohn lebt.\nDie Königs-Tochter und der Königs-Sohn steigen ein.\nAm nächsten Tag kommt eine Kutsche mit acht weißen Pferden.\nUnd nur sie, die schönste Königs-Tochter, konnte ihn retten.\nDer Königs-Sohn erzählt, dass er von einer bösen Hexe verzaubert wurde.']] Sacrebleu: {'score': 6.108101620489441, 'counts': [17, 4, 2, 1], 'totals': [49, 48, 47, 46], 'precisions': [34.69387755102041, 8.333333333333334, 4.25531914893617, 2.1739130434782608], 'bp': 0.8493658165683124, 'sys_len': 49, 'ref_len': 57} Bleu: {'bleu': 0.061081016204894416, 'precisions': [0.3469387755102041, 0.08333333333333333, 0.0425531914893617, 0.021739130434782608], 'brevity_penalty': 0.8493658165683124, 'length_ratio': 0.8596491228070176, 'translation_length': 49, 'reference_length': 57} Rouge: {'rouge1': 0.2678571428571429, 'rouge2': 0.07272727272727274, 'rougeL': 0.19642857142857142, 'rougeLsum': 0.23214285714285715} Sari: {'sari': 39.06839160373461} Flesh Reading Ease: 77.55 ---------------------------------------- Source: ['Als er aber herabfiel, war er kein Frosch mehr, sondern ein Königssohn mit schönen freundlichen Augen.'] Prediction: ['Ein Königssohn hat einen schönen freundlichen Augen.\nAls er aber herabfiel, war er kein Frosch mehr, sondern ein Königssohn mit schönen freundlichen Augen.'] Label: [['Er hat ein freundliches Gesicht.\nAber dann ... steht plötzlich ein Königs-Sohn im Zimmer.']] Sacrebleu: {'score': 1.962672844874697, 'counts': [4, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [14.814814814814815, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.14814814814814814, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 27, 'reference_length': 18} Rouge: {'rouge1': 0.27906976744186046, 'rouge2': 0.04878048780487805, 'rougeL': 0.18604651162790697, 'rougeLsum': 0.27906976744186046} Sari: {'sari': 37.6940133037694} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['Da wurde sie bitterböse, holte ihn herauf und warf ihn gegen die Wand.'] Prediction: ['Eine Frau wurde bitterböse, warf ihn gegen die Wand.\nSie warf ihn gegen die Wand.\nDie Frau warf ihn gegen die Wand.'] Label: [['Sie nimmt den Frosch und wirft ihn an die Wand.\nDie Königs-Tochter wird wütend.']] Sacrebleu: {'score': 10.401577613691954, 'counts': [7, 3, 2, 1], 'totals': [26, 25, 24, 23], 'precisions': [26.923076923076923, 12.0, 8.333333333333334, 4.3478260869565215], 'bp': 1.0, 'sys_len': 26, 'ref_len': 16} Bleu: {'bleu': 0.10401577613691954, 'precisions': [0.2692307692307692, 0.12, 0.08333333333333333, 0.043478260869565216], 'brevity_penalty': 1.0, 'length_ratio': 1.625, 'translation_length': 26, 'reference_length': 16} Rouge: {'rouge1': 0.25, 'rouge2': 0.10526315789473685, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 45.66165624498959} Flesh Reading Ease: 84.95 ---------------------------------------- Source: ['Als sie aber im Bette lag, kam er gekrochen und sprach: »Ich will schlafen so gut wie du.'] Prediction: ['Ein Schweizer hatte sich im Spiel gegen die Schweizer Schweizerinnen und Schweizerinnen und Schweizerinnen und Schweizer gekrochen.\nDie Schweizerinnen und Schweizer wollen ihnen so gut wie du.\nDie Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer'] Label: [['„Ich will in deinem Bett schlafen“, sagt er.\nAber der Frosch kriecht zu ihr hin.\nDann legt sie sich ins Bett.']] Sacrebleu: {'score': 0.20726423153450854, 'counts': [3, 0, 0, 0], 'totals': [226, 225, 224, 223], 'precisions': [1.3274336283185841, 0.2222222222222222, 0.11160714285714286, 0.05605381165919283], 'bp': 1.0, 'sys_len': 226, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.01327433628318584, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 9.04, 'translation_length': 226, 'reference_length': 25} Rouge: {'rouge1': 0.008163265306122448, 'rouge2': 0.0, 'rougeL': 0.008163265306122448, 'rougeLsum': 0.008163265306122448} Sari: {'sari': 31.959706959706963} Flesh Reading Ease: -11.71 ---------------------------------------- Source: ['Da packte sie den Frosch mit zwei Fingern, trug ihn hinauf in ihr Kämmerlein und setzte ihn dort in eine Ecke.'] Prediction: ['Eine Frau trug ihn hinauf in ihr Kämmerlein und setzte ihn dort in eine Ecke.\nDie Frau trug ihn den Frosch mit zwei Fingern und trug ihn dort in eine Ecke.'] Label: [['Das Mädchen nimmt den Frosch mit zwei Fingern und setzt ihn in eine Ecke von ihrem Zimmer.']] Sacrebleu: {'score': 18.51862679116513, 'counts': [11, 7, 5, 3], 'totals': [33, 32, 31, 30], 'precisions': [33.333333333333336, 21.875, 16.129032258064516, 10.0], 'bp': 1.0, 'sys_len': 33, 'ref_len': 18} Bleu: {'bleu': 0.18518626791165127, 'precisions': [0.3333333333333333, 0.21875, 0.16129032258064516, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 33, 'reference_length': 18} Rouge: {'rouge1': 0.39999999999999997, 'rouge2': 0.29166666666666663, 'rougeL': 0.39999999999999997, 'rougeLsum': 0.39999999999999997} Sari: {'sari': 51.85284063621211} Flesh Reading Ease: 88.45 ---------------------------------------- Source: ['Der König aber wurde zornig und sprach: »Wer dir geholfen hat, als du in Not warst, den sollst du hernach nicht verachten!«'] Prediction: ['Der König sprach von einem ähnlichen Tod: Der König ist in Not gekommen.\nDer König wurde zornig und sprach von einem Tod: Der König ist nicht mehr gekommen.'] Label: [['Aber der König sagt: „Der Frosch hat dir geholfen, als dein Ball weg war.']] Sacrebleu: {'score': 1.526608193588886, 'counts': [3, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [9.375, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.09375, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8823529411764706, 'translation_length': 32, 'reference_length': 17} Rouge: {'rouge1': 0.1702127659574468, 'rouge2': 0.08888888888888889, 'rougeL': 0.1702127659574468, 'rougeLsum': 0.1702127659574468} Sari: {'sari': 35.240705931495405} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['« Die Königstochter fing an zu weinen und fürchtete sich vor dem kalten Frosch, den sie sich nicht anzurühren getraute und der nun in ihrem schönen, reinen Bettlein schlafen sollte.'] Prediction: ['Eine Königstochter fing an zu weinen und fürchtete sich vor dem kalten Frosch, den sie sich nicht anzurühren.\nDie Königstochter fing an zu weinen und fürchtete sich vor dem kalten Frosch, den sie sich nicht anzurühren.'] Label: [['Die Königs-Tochter beginnt zu weinen.']] Sacrebleu: {'score': 2.185068324154416, 'counts': [4, 1, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [10.0, 2.5641025641025643, 1.3157894736842106, 0.6756756756756757], 'bp': 1.0, 'sys_len': 40, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.02564102564102564, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.666666666666667, 'translation_length': 40, 'reference_length': 6} Rouge: {'rouge1': 0.16326530612244897, 'rouge2': 0.0851063829787234, 'rougeL': 0.16326530612244897, 'rougeLsum': 0.16326530612244897} Sari: {'sari': 37.10907704042716} Flesh Reading Ease: 68.4 ---------------------------------------- Source: ['Nun trag mich in dein Kämmerlein und mach dein seidenes Bettlein zurecht! »Ich habe mich satt gegessen und bin müde.'] Prediction: ['Ein seidenes Bettlein ist in einem Kämmerlein in der Nähe von St. Gallen zurecht.\nDie beiden waren seit einigen Tagen in der Nähe von St. Gallen.\nDie beiden waren seit einigen Tagen in der Nähe von St. Gallen.'] Label: [['Danach will der Frosch mit in ihr Zimmer, um in ihrem Bett zu schlafen.']] Sacrebleu: {'score': 1.176877973200725, 'counts': [4, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [9.090909090909092, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 44, 'reference_length': 16} Rouge: {'rouge1': 0.10714285714285714, 'rouge2': 0.0, 'rougeL': 0.10714285714285714, 'rougeLsum': 0.10714285714285714} Sari: {'sari': 54.78395061728395} Flesh Reading Ease: 73.7 ---------------------------------------- Source: ["Der Frosch ließ sich's gut schmecken, ihr aber blieb fast jeder Bissen im Halse stecken. »Nun schieb mir dein goldenes Tellerlein näher, damit wir mitsammen essen können.«"] Prediction: ["Im Halse von St. Gallen wurde ein goldenes Tellerlein geschossen.\nDer Frosch ließ sich's gut schmecken, ihr aber blieb fast jeder Bissen im Halse stecken.\nDie beiden sind seit einigen Tagen nicht mehr gefallen."] Label: [['So eklig findet sie den Frosch.\nAber sie selbst will jetzt nichts mehr essen.\nSie lässt ihn von ihrem Teller essen.\nDarum nimmt sie den Frosch und setzt ihn auf den Tisch.']] Sacrebleu: {'score': 1.5342333164810604, 'counts': [7, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [17.94871794871795, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.1794871794871795, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0833333333333333, 'translation_length': 39, 'reference_length': 36} Rouge: {'rouge1': 0.11764705882352942, 'rouge2': 0.0, 'rougeL': 0.08823529411764705, 'rougeLsum': 0.11764705882352942} Sari: {'sari': 35.76261701261701} Flesh Reading Ease: 77.9 ---------------------------------------- Source: ['Dort blieb er sitzen und rief: »Heb mich hinauf zu dir!« Sie zauderte, bis es endlich der König befahl.'] Prediction: ['Ein Mann hatte sich in der Nacht auf Sonntag in der Nacht auf Sonntag zu Gast geschützt.\nDer König warnte dort, dass er sich hinauf zu dir hatte.\nDie beiden waren nicht bekannt, sondern auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch'] Label: [['Die Königs-Tochter will das nicht, aber der König blickt sie streng an.\n„Heb mich hoch“, sagt der Frosch.']] Sacrebleu: {'score': 0.27277506893713516, 'counts': [9, 0, 0, 0], 'totals': [226, 225, 224, 223], 'precisions': [3.982300884955752, 0.2222222222222222, 0.11160714285714286, 0.05605381165919283], 'bp': 1.0, 'sys_len': 226, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.03982300884955752, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 10.272727272727273, 'translation_length': 226, 'reference_length': 22} Rouge: {'rouge1': 0.048979591836734684, 'rouge2': 0.016460905349794237, 'rougeL': 0.024489795918367342, 'rougeLsum': 0.048979591836734684} Sari: {'sari': 50.208333333333336} Flesh Reading Ease: 41.65 ---------------------------------------- Source: ['Sie ging und öffnete die Tür.'] Prediction: ['Eine Frau wurde von ihrem Mann öffnet und öffnete die Tür.\nSie ging und öffnete die Tür.\nDie Frau öffnete die Tür.'] Label: [['Das Mädchen öffnet die Tür und lässt den Frosch herein.']] Sacrebleu: {'score': 3.787865612579481, 'counts': [5, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.272727272727273, 'translation_length': 25, 'reference_length': 11} Rouge: {'rouge1': 0.2631578947368421, 'rouge2': 0.1111111111111111, 'rougeL': 0.2631578947368421, 'rougeLsum': 0.2105263157894737} Sari: {'sari': 42.96536796536797} Flesh Reading Ease: 84.95 ---------------------------------------- Source: ['Da sagte der König: »Was du versprochen hast, das mußt du auch halten!'] Prediction: ['Ein König aus dem Könignachten ist immer wieder aufgefunden.\nIm Internet wurde er von einem ähnlichen Überprüfen gesprochen.\nDie beiden waren immer wieder auf die Suche.'] Label: [['„Du musst immer das tun, was du versprochen hast, mein Kind.“ „Tja“, sagt der König.']] Sacrebleu: {'score': 1.8196871111910016, 'counts': [4, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.380952380952381, 'translation_length': 29, 'reference_length': 21} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.046511627906976744, 'rougeL': 0.08888888888888889, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 29.06952524599583} Flesh Reading Ease: 60.15 ---------------------------------------- Source: ['Königstochter, jüngste, mach mir auf!«'] Prediction: ['Immer mehr als 20 Minuten Radio-Host Andrea überträgt ihre 20-Minuten-App mit ihrem Leben.\nWir haben dir die besten Folgen der Radio-Hosts, die sich über ihre Leute überträgt und ihre Leute überträgt.\nWir haben dir die besten Folgen der Radio-Hosts, welche ihre Leute überträgt und welche Folgen überträgt werden.'] Label: [['Lass mich herein!“']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [55, 54, 53, 52], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 55, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 11.0, 'translation_length': 55, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 57.14285714285715} Flesh Reading Ease: 58.7 ---------------------------------------- Source: ['Weißt du nicht, was gestern Du zu mir gesagt bei dem kühlen Brunnenwasser?'] Prediction: ['Du findest hier auf der Kippe, was sich bei einem Brunnenwasser zu sehen ist?\nWir haben die beiden auf der Kippe aufgefordert, was sie zu sehen ist.'] Label: [['Du hast mir gestern etwas versprochen.']] Sacrebleu: {'score': 1.4262733286728257, 'counts': [2, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [6.451612903225806, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.06451612903225806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.428571428571429, 'translation_length': 31, 'reference_length': 7} Rouge: {'rouge1': 0.06060606060606061, 'rouge2': 0.0, 'rougeL': 0.06060606060606061, 'rougeLsum': 0.06060606060606061} Sari: {'sari': 49.375} Flesh Reading Ease: 78.75 ---------------------------------------- Source: ['»Königstochter, jüngste, mach mir auf!'] Prediction: ['Die Schweizer Welt ist ein Jahrzehnt im Alter von 99 Jahren gestorben.\nDie Schweizer Welt ist eine überraschende Welt.\nDie Schweizer Welt ist eine überraschende Welt.'] Label: [['„Jüngste Königs-Tochter, mach mir auf.']] Sacrebleu: {'score': 1.286713095960916, 'counts': [1, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [3.4482758620689653, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.034482758620689655, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.142857142857143, 'translation_length': 29, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 22.076719576719576} Flesh Reading Ease: 77.7 ---------------------------------------- Source: ['Da klopfte es zum zweiten Mal, und eine Stimme rief:'] Prediction: ['Die Zürcher Welt hat einen zweiten Mal mit dem Virus aufgestellt.\nDie Stimme rief: Die Stimme klopfte es zum zweiten Mal.'] Label: [['Da klopft der Frosch wieder an die Tür:']] Sacrebleu: {'score': 1.5732934811145336, 'counts': [1, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [4.166666666666667, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.041666666666666664, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 24, 'reference_length': 9} Rouge: {'rouge1': 0.06451612903225805, 'rouge2': 0.0, 'rougeL': 0.06451612903225805, 'rougeLsum': 0.06451612903225805} Sari: {'sari': 33.897058823529406} Flesh Reading Ease: 87.6 ---------------------------------------- Source: ['»Ach, nein«, antwortete sie, »es ist kein Riese, sondern ein garstiger Frosch.«'] Prediction: ['Eine Frau wurde im Alter von 99 Jahren von einem Messer aufgefunden.\nSie war dabei, dass sie ein garstiger Frosch ist.\nDie Frau war nicht nur einmal, sondern ein garstiger Frosch.'] Label: [['„Nein, mein Vater, es ist ein ekliger und gruseliger Frosch“, antwortet das Mädchen.']] Sacrebleu: {'score': 1.533227700920213, 'counts': [5, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [13.88888888888889, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.1388888888888889, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1176470588235294, 'translation_length': 36, 'reference_length': 17} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.08888888888888889} Sari: {'sari': 37.5} Flesh Reading Ease: 81.95 ---------------------------------------- Source: ['Steht etwa ein Riese vor der Tür und will dich holen?«'] Prediction: ['Immer mehr als ein Jahr lang ist es zu einem Riesen in der Schweiz.\nImmer mehr als ein Jahr lang zu holen, wenn es sich um ein Riese handelt.\nDie Tür ist ein Riese vor der Tür und will dich holen.'] Label: [['„Steht ein Riese vor der Tür?“']] Sacrebleu: {'score': 7.611137668875848, 'counts': [5, 4, 3, 2], 'totals': [45, 44, 43, 42], 'precisions': [11.11111111111111, 9.090909090909092, 6.976744186046512, 4.761904761904762], 'bp': 1.0, 'sys_len': 45, 'ref_len': 8} Bleu: {'bleu': 0.07611137668875849, 'precisions': [0.1111111111111111, 0.09090909090909091, 0.06976744186046512, 0.047619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 5.625, 'translation_length': 45, 'reference_length': 8} Rouge: {'rouge1': 0.24, 'rouge2': 0.20833333333333331, 'rougeL': 0.24, 'rougeLsum': 0.24} Sari: {'sari': 51.527777777777786} Flesh Reading Ease: 96.1 ---------------------------------------- Source: ['Der König sah wohl, daß ihr das Herz gewaltig klopfte, und sprach: »Mein Kind, was fürchtest du dich?'] Prediction: ['Ein Kind, der ein Kind auf dem König klopfte, ist immer wieder auf dem König.\nDer König sah wohl, daß ihr das Herz gewaltig klopfte, und sprach: "Mein Kind, was fürchtest du dich?"'] Label: [['„Was hast du, meine Tochter?“, fragt der König.']] Sacrebleu: {'score': 2.331372206682652, 'counts': [7, 1, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [16.27906976744186, 2.380952380952381, 1.2195121951219512, 0.625], 'bp': 1.0, 'sys_len': 43, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.16279069767441862, 0.023809523809523808, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3076923076923075, 'translation_length': 43, 'reference_length': 13} Rouge: {'rouge1': 0.2173913043478261, 'rouge2': 0.0909090909090909, 'rougeL': 0.13043478260869568, 'rougeLsum': 0.13043478260869568} Sari: {'sari': 38.91704204204204} Flesh Reading Ease: 87.45 ---------------------------------------- Source: ['Da warf sie die Tür hastig zu, setzte sich wieder an den Tisch, und es war ihr ganz ängstlich zumute.'] Prediction: ['Eine Frau warf sie die Tür hastig zu, setzte sich wieder an den Tisch.\nDie Tisch war ihr ganz ängstlich zumute.\nDie Frau warf sie die Tür hastig zu, setzte sich wieder an den Tisch.'] Label: [['Sie zittert vor Angst.\nSchnell schlägt sie die Tür wieder zu und geht zurück an den Tisch.']] Sacrebleu: {'score': 9.093798669760577, 'counts': [10, 5, 3, 1], 'totals': [40, 39, 38, 37], 'precisions': [25.0, 12.820512820512821, 7.894736842105263, 2.7027027027027026], 'bp': 1.0, 'sys_len': 40, 'ref_len': 19} Bleu: {'bleu': 0.09093798669760576, 'precisions': [0.25, 0.1282051282051282, 0.07894736842105263, 0.02702702702702703], 'brevity_penalty': 1.0, 'length_ratio': 2.1052631578947367, 'translation_length': 40, 'reference_length': 19} Rouge: {'rouge1': 0.3508771929824562, 'rouge2': 0.18181818181818182, 'rougeL': 0.3157894736842105, 'rougeLsum': 0.3157894736842105} Sari: {'sari': 42.91891239254323} Flesh Reading Ease: 92.25 ---------------------------------------- Source: ['Als sie aber aufmachte, saß der Frosch vor der Tür.'] Prediction: ['Eine Frau wurde im Alter von 99 Jahren aufgefunden, als sie aber aufmachte, saß der Frosch vor der Tür.\nDie Frau war nicht mehr, sondern auch auch auch auch auch auch auch auch auch auf der Tür.'] Label: [['Da sieht sie den ekligen Frosch.']] Sacrebleu: {'score': 1.1493330194206166, 'counts': [3, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [7.142857142857143, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.0, 'translation_length': 42, 'reference_length': 7} Rouge: {'rouge1': 0.08888888888888889, 'rouge2': 0.0, 'rougeL': 0.08888888888888889, 'rougeLsum': 0.08888888888888889} Sari: {'sari': 36.904761904761905} Flesh Reading Ease: 85.45 ---------------------------------------- Source: ['Sie lief und wollte sehen, wer draußen wäre.'] Prediction: ['Eine Frau wollte sich in der Nacht auf Sonntag draußen.\nSie wollte sie lief und wollte sehen, wer draußen wäre.\nDie Frau wollte sich lief und wollte sehen, wer draußen wäre.'] Label: [['Das Mädchen öffnet die Tür.']] Sacrebleu: {'score': 1.0253311603116817, 'counts': [1, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [2.7777777777777777, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.027777777777777776, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.0, 'translation_length': 36, 'reference_length': 6} Rouge: {'rouge1': 0.046511627906976744, 'rouge2': 0.0, 'rougeL': 0.046511627906976744, 'rougeLsum': 0.046511627906976744} Sari: {'sari': 36.03896103896104} Flesh Reading Ease: 81.95 ---------------------------------------- Source: ['»Königstochter, jüngste, mach mir auf«'] Prediction: ['Die Schweizer Welt ist ein Jahrzehnt im Alter von 99 Jahren gestorben.\nDie Schweizer Welt ist eine überraschende Welt.\nDie Schweizer Welt ist eine überraschende Welt.'] Label: [['Eine Stimme sagt: „Jüngste Königs-Tochter, mach mir auf.“']] Sacrebleu: {'score': 1.286713095960916, 'counts': [1, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [3.4482758620689653, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.034482758620689655, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4166666666666665, 'translation_length': 29, 'reference_length': 12} Rouge: {'rouge1': 0.05405405405405406, 'rouge2': 0.0, 'rougeL': 0.05405405405405406, 'rougeLsum': 0.05405405405405406} Sari: {'sari': 35.13888888888889} Flesh Reading Ease: 77.7 ---------------------------------------- Source: ['Als es oben angelangt war, klopfte es an die Tür und rief. Am andern Tag, als sie sich mit dem König und allen Hofleuten zur Tafel gesetzt hatte und eben von ihrem goldenen Tellerlein aß, da kam, plitsch platsch, plitsch platsch, etwas die Marmortreppe heraufgekrochen.'] Prediction: ['Am andern Tag wurde eine Frau von ihrem goldenen Tellerlein aufgekrochen.\nSie klopfte es an die Tür und rief.\nAm andern Tag wurde die Frau von ihrem goldenen Tellerlein aufgekrochen.'] Label: [['Da klopft es an die Tür.\nSie essen von goldenen Tellern.\nAm nächsten Tag sind der König, die Königin und die sechs Töchter im großen Speise-Saal.']] Sacrebleu: {'score': 10.926857823700985, 'counts': [14, 5, 2, 1], 'totals': [33, 32, 31, 30], 'precisions': [42.42424242424242, 15.625, 6.451612903225806, 3.3333333333333335], 'bp': 1.0, 'sys_len': 33, 'ref_len': 30} Bleu: {'bleu': 0.10926857823700986, 'precisions': [0.42424242424242425, 0.15625, 0.06451612903225806, 0.03333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.1, 'translation_length': 33, 'reference_length': 30} Rouge: {'rouge1': 0.37500000000000006, 'rouge2': 0.12903225806451615, 'rougeL': 0.25, 'rougeLsum': 0.37500000000000006} Sari: {'sari': 46.99324521475256} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Sie hörte nicht darauf, eilte nach Hause und hatte den Frosch bald vergessen.'] Prediction: ['Eine Frau hatte den Frosch bald vergessen.\nSie hörte nicht darauf, eilte nach Hause und hatte den Frosch bald vergessen.'] Label: [['Aber die Königs-Tochter hört ihn nicht.']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2857142857142856, 'translation_length': 23, 'reference_length': 7} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 35.294117647058826} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['»Warte, warte!« rief der Frosch.'] Prediction: ['Die Schweizer Welt ist ein Fussball-Profi.\nEr wurde von einem Frosch mit dem Frosch aufgefunden.\nDie Schweizer Welt ist eine Woche-Führung.'] Label: [['„Warte, warte“, ruft der Frosch.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 24, 'reference_length': 8} Rouge: {'rouge1': 0.06896551724137931, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 41.567460317460316} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Die Königstochter war voll Freude, als sie ihr schönes Spielzeug wiedererblickte, hob es auf und sprang damit fort.'] Prediction: ['Die Königstochter wurde am Sonntagabend von einem schönes Spielzeug wiedererblickt.\nSie sprang damit fort.\nDie Königstochter war voll Freude, als sie ihr schönes Spielzeug wiedererblickte, hob es auf und sprang damit fort.'] Label: [['Sie nimmt den Ball und rennt weg.\nDas Mädchen ist sehr froh.']] Sacrebleu: {'score': 1.4091499441909465, 'counts': [4, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [10.81081081081081, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.10810810810810811, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.642857142857143, 'translation_length': 37, 'reference_length': 14} Rouge: {'rouge1': 0.0816326530612245, 'rouge2': 0.0, 'rougeL': 0.0816326530612245, 'rougeLsum': 0.0816326530612245} Sari: {'sari': 35.507246376811594} Flesh Reading Ease: 69.85 ---------------------------------------- Source: ['Als der Frosch das Versprechen der Königstochter erhalten hatte, tauchte er seinen Kopf unter, sank hinab, und über ein Weilchen kam er wieder heraufgerudert, hatte die Kugel im Maul und warf sie ins Gras.'] Prediction: ['Ein Königstochter hatte einen Kopf unter, sank hinab, und warf sie ins Gras.\nDer Versprechen der Königstochter tauchte seinen Kopf unter, sank hinab, und warf sie ins Gras.\nDie Kugel warf sie ins Gras.'] Label: [['Er hat den Ball in seinem Maul.\nKurze Zeit später ist er zurück.\nDer Frosch springt ins Wasser.']] Sacrebleu: {'score': 2.251889061850022, 'counts': [5, 1, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [12.195121951219512, 2.5, 1.2820512820512822, 0.6578947368421053], 'bp': 1.0, 'sys_len': 41, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.12195121951219512, 0.025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9523809523809523, 'translation_length': 41, 'reference_length': 21} Rouge: {'rouge1': 0.07142857142857142, 'rouge2': 0.0, 'rougeL': 0.07142857142857142, 'rougeLsum': 0.07142857142857142} Sari: {'sari': 33.235553439161315} Flesh Reading Ease: 75.1 ---------------------------------------- Source: ['»Ach, ja«, sagte sie, »ich verspreche dir alles, was du willst, wenn du mir nur die Kugel wiederbringst.'] Prediction: ['Eine Frau verspreche dir alles, was du willst, wenn du mir nur die Kugel wiederbringst.\nDie Frau verspreche dir alles, was du willst, wenn du mir nur die Kugel wiederbringst.'] Label: [['„Ich verspreche dir alles, wenn du mir nur den Ball bringst.“ „Oh, das ist gut“, sagt die Königs-Tochter sofort.']] Sacrebleu: {'score': 17.62756449517001, 'counts': [13, 7, 5, 3], 'totals': [36, 35, 34, 33], 'precisions': [36.111111111111114, 20.0, 14.705882352941176, 9.090909090909092], 'bp': 1.0, 'sys_len': 36, 'ref_len': 25} Bleu: {'bleu': 0.17627564495170006, 'precisions': [0.3611111111111111, 0.2, 0.14705882352941177, 0.09090909090909091], 'brevity_penalty': 1.0, 'length_ratio': 1.44, 'translation_length': 36, 'reference_length': 25} Rouge: {'rouge1': 0.3137254901960784, 'rouge2': 0.20408163265306123, 'rougeL': 0.3137254901960784, 'rougeLsum': 0.3137254901960784} Sari: {'sari': 51.3892640325153} Flesh Reading Ease: 83.1 ---------------------------------------- Source: ['Aber wenn du mich liebhaben willst und ich dein Geselle und Spielkamerad sein darf, wenn ich an deinem Tischlein neben dir sitzen, von deinem goldenen Tellerlein essen, aus deinem Becherlein trinken, in deinem Bettlein schlafen darf, dann will ich hinuntersteigen und dir die goldene Kugel heraufholen.«'] Prediction: ['Im Spielkamerad werden die goldene Kugel heraufholen.\nDie goldene Kugel werden von einem Tischlein aus dem Becherlein zu sehen, wenn sie sich aus dem Becherlein trinken, in deinem Bettlein schlafen darf.\nDie Spielkamerad werden von einem goldenen Tellerlein essen, aus dem Becherlein trinken, in deinem Bettlein schlafen darf, dann will ich hinuntersteigen und dir die goldene Kugel heraufholen.'] Label: [['Ich will in deinem Bett schlafen.“ Ich will von deinem Teller essen und aus deinem Becher trinken.\nIch will mit dir spielen.\nIch will dein Freund sein.']] Sacrebleu: {'score': 1.7834669194794144, 'counts': [14, 1, 0, 0], 'totals': [66, 65, 64, 63], 'precisions': [21.21212121212121, 1.5384615384615385, 0.78125, 0.3968253968253968], 'bp': 1.0, 'sys_len': 66, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.21212121212121213, 0.015384615384615385, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0625, 'translation_length': 66, 'reference_length': 32} Rouge: {'rouge1': 0.2823529411764706, 'rouge2': 0.024096385542168672, 'rougeL': 0.21176470588235294, 'rougeLsum': 0.1411764705882353} Sari: {'sari': 35.244838676211224} Flesh Reading Ease: 49.55 ---------------------------------------- Source: ['»Deine Kleider, deine Perlen und Edelsteine und deine goldene Krone, die mag ich nicht. Der Frosch antwortete:'] Prediction: ['Eine Kleider, deine Perlen und Edelsteine und deine goldene Krone, die mag ich nicht, waren von einem Frosch antwortete.\nDer Frosch antwortete: Die Kleider, die Perlen und Edelsteine, die mag ich nicht.'] Label: [['„Deine schönen Dinge will ich nicht.\n„Nein“, antwortet der Frosch.']] Sacrebleu: {'score': 4.066870399856363, 'counts': [6, 2, 1, 0], 'totals': [40, 39, 38, 37], 'precisions': [15.0, 5.128205128205129, 2.6315789473684212, 1.3513513513513513], 'bp': 1.0, 'sys_len': 40, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.05128205128205128, 0.02631578947368421, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.076923076923077, 'translation_length': 40, 'reference_length': 13} Rouge: {'rouge1': 0.2325581395348837, 'rouge2': 0.0975609756097561, 'rougeL': 0.2325581395348837, 'rougeLsum': 0.2325581395348837} Sari: {'sari': 40.60606060606061} Flesh Reading Ease: 64.55 ---------------------------------------- Source: ['Was du haben willst, lieber Frosch«, sagte sie, »meine Kleider, meine Perlen und Edelsteine, auch noch die goldene Krone, die ich trage.«'] Prediction: ['Eine Kleiderin hat sich immer mehr Krone und Perlen gefunden.\nSie trug noch die goldene Krone, die ich trage.\nDie Krone wurde von einem golden Krone aufgefunden.'] Label: [['Auch meine goldene Krone gebe ich dir.“ Oder meine goldene Kette.\n„Du kannst meinen goldenen Armreif haben.\n„Ich gebe dir alles, was du willst, lieber Frosch“, sagt die Königs-Tochter froh.']] Sacrebleu: {'score': 2.7065980191421555, 'counts': [8, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [25.806451612903224, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 0.7978725136602237, 'sys_len': 31, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.25806451612903225, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 0.7978725136602237, 'length_ratio': 0.8157894736842105, 'translation_length': 31, 'reference_length': 38} Rouge: {'rouge1': 0.13559322033898305, 'rouge2': 0.03508771929824561, 'rougeL': 0.13559322033898305, 'rougeLsum': 0.13559322033898305} Sari: {'sari': 32.31481481481481} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Aber was gibst du mir, wenn ich dein Spielzeug wieder heraufhole?« »Sei still und weine nicht«, antwortete der Frosch, »ich kann wohl Rat schaffen.'] Prediction: ['Der Frosch hat einen Spielzeug wieder heraufhole.\nDer Frosch kann wohl Rat schaffen.'] Label: [['„Was bekomme ich, wenn ich das für dich mache?“ „Ich kann den Ball für dich holen“, antwortet der Frosch.']] Sacrebleu: {'score': 1.89811559672262, 'counts': [3, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [20.0, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.5488116360940264, 'sys_len': 15, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5488116360940264, 'length_ratio': 0.625, 'translation_length': 15, 'reference_length': 24} Rouge: {'rouge1': 0.17647058823529413, 'rouge2': 0.0625, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.11764705882352941} Sari: {'sari': 35.70644308582905} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['»Ich weine über meine goldene Kugel, die mir in den Brunnen hinabgefallen ist.«'] Prediction: ['Eine goldene Kugel, die in den Brunnen hinabgefallen ist, ist eine goldene Goldene Kugel.\nDie Brunnen sind über meine goldene Kugel, die in den Brunnen hinabgefallen ist.\nDie Brunnen sind über meine goldene Kugel, die ihr in den Brunnen hinabgefallen ist.'] Label: [['„Mein goldener Ball ist in den Teich gefallen.']] Sacrebleu: {'score': 1.8089024246571754, 'counts': [4, 1, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [8.333333333333334, 2.127659574468085, 1.0869565217391304, 0.5555555555555556], 'bp': 1.0, 'sys_len': 48, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.02127659574468085, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.333333333333333, 'translation_length': 48, 'reference_length': 9} Rouge: {'rouge1': 0.12244897959183672, 'rouge2': 0.0425531914893617, 'rougeL': 0.12244897959183672, 'rougeLsum': 0.0816326530612245} Sari: {'sari': 39.015151515151516} Flesh Reading Ease: 55.15 ---------------------------------------- Source: ['Sie sah sich um, woher die Stimme käme, da erblickte sie einen Frosch, der seinen dicken, häßlichen Kopf aus dem Wasser streckte.'] Prediction: ['Eine Frau aus dem Wasser hatte sich einen Frosch aus dem Wasser streckt.\nSie sah sich um, woher die Stimme käme, da erblickte sie einen Frosch, der seinen dicken, häßlichen Kopf aus dem Wasser streckte.'] Label: [['Er kriecht gerade aus dem Teich heraus.\nEs ist ein Frosch.']] Sacrebleu: {'score': 2.251889061850022, 'counts': [5, 1, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [12.195121951219512, 2.5, 1.2820512820512822, 0.6578947368421053], 'bp': 1.0, 'sys_len': 41, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.12195121951219512, 0.025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1538461538461537, 'translation_length': 41, 'reference_length': 13} Rouge: {'rouge1': 0.125, 'rouge2': 0.04347826086956522, 'rougeL': 0.125, 'rougeLsum': 0.125} Sari: {'sari': 36.41975308641975} Flesh Reading Ease: 80.6 ---------------------------------------- Source: ['»Was hast du nur, Königstochter?'] Prediction: ['Die Schweizer Welt ist eine neue Woche.\nIm Interview mit dem 20-Minuten-Radio-Host Stefan über die Welt und Welt im Interview mit dem 20-Minuten-Radio-Host Stefan über die Welt und Welt im Interview mit Stefan über die Welt und Welt im Interview mit Stefan über die Welt und Welt im Interview mit Stefan über die Welt und Welt im Interview mit Stefan über die Welt und Welt im Interview mit Stefan über die Welt und Welt im Interview mit Stefan über die Welt und Welt im Interview mit Stefan über die Welt und Welt im Interview mit Stefan über die Welt und Welt im Interview mit Stefan über die Welt und Welt im Interview mit Stefan über die Welt und Welt im Interview mit Stefan über die Welt und Welt im Interview über den Welt und Welt im Interview über den Interviews, welche sie sich über den Interviews und Welt im Interviews bewegen, oben im Interviews und Interviews im Interviews und im Interviews über den Interviews, welche wir sich über den Interviews und Interviews über den Interviews und Interviews über den Interviews und Interviews über den Interviews sowie den Interviews sowie den Interviews sowie den Interviews bei Stefan über den Interviews und Interviews über den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den Interviews sowie den'] Label: [['Warum bist du so traurig?“ „Königs-Tochter, was ist los?']] Sacrebleu: {'score': 0.15097005230711402, 'counts': [2, 0, 0, 0], 'totals': [280, 279, 278, 277], 'precisions': [0.7142857142857143, 0.17921146953405018, 0.08992805755395683, 0.04512635379061372], 'bp': 1.0, 'sys_len': 280, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.007142857142857143, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 21.53846153846154, 'translation_length': 280, 'reference_length': 13} Rouge: {'rouge1': 0.006920415224913495, 'rouge2': 0.0, 'rougeL': 0.006920415224913495, 'rougeLsum': 0.006920415224913495} Sari: {'sari': 60.17267267267267} Flesh Reading Ease: -49.61 ---------------------------------------- Source: ['Als sie so klagte, rief ihr plötzlich jemand zu:'] Prediction: ['Eine Frau wurde von ihrem Partner aufgefunden, als sie so klagte, rief ihr plötzlich jemand zu.\nDie Frau war so viel, dass sie ihr so klagte, rief ihr plötzlich jemand zu.'] Label: [['Diese Stimme sagt: Da hört sie plötzlich eine Stimme.']] Sacrebleu: {'score': 1.3113617852675474, 'counts': [3, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [8.108108108108109, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.08108108108108109, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3636363636363638, 'translation_length': 37, 'reference_length': 11} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.047619047619047616, 'rougeL': 0.13636363636363635, 'rougeLsum': 0.13636363636363635} Sari: {'sari': 29.318488529014846} Flesh Reading Ease: 82.6 ---------------------------------------- Source: ['Da fing die Prinzessin an zu weinen und weinte immer lauter und konnte sich gar nicht trösten.'] Prediction: ['Prinzessin Elizabeth (95) fing die Prinzessin an zu weinen und weinte immer lauter und konnte sich gar nicht trösten.\nDie Prinzessin fing die Prinzessin an zu weinen und weinte immer lauter und konnte sich gar nicht trösten.\nDie Welt ist nicht bekannt, sondern auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch a'] Label: [['„Mein schöner Ball ist weg!“ Das Mädchen jammert und weint:']] Sacrebleu: {'score': 0.1872843748912367, 'counts': [2, 0, 0, 0], 'totals': [226, 225, 224, 223], 'precisions': [0.8849557522123894, 0.2222222222222222, 0.11160714285714286, 0.05605381165919283], 'bp': 1.0, 'sys_len': 226, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.008849557522123894, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 17.384615384615383, 'translation_length': 226, 'reference_length': 13} Rouge: {'rouge1': 0.01702127659574468, 'rouge2': 0.0, 'rougeL': 0.00851063829787234, 'rougeLsum': 0.01702127659574468} Sari: {'sari': 34.56302151954326} Flesh Reading Ease: 41.95 ---------------------------------------- Source: ['Nun trug es sich einmal zu, daß die goldene Kugel der Königstochter nicht in die Händchen fiel, sondern auf die Erde schlug und gerade in den Brunnen hineinrollte.'] Prediction: ['Die goldene Kugel der Königstochter ist nicht in die Händchen fiel, sondern auf die Erde schlug.\nDie goldene Kugel der Königstochter trug es sich einmal zu, da sie sich auf die Erde schlug und gerade in den Brunnen hineinrollte.'] Label: [['Der goldene Ball fällt in einen Teich.\nAber ein Mal geht es schief.']] Sacrebleu: {'score': 1.2744039505750158, 'counts': [5, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [11.627906976744185, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.11627906976744186, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8666666666666667, 'translation_length': 43, 'reference_length': 15} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.0, 'rougeL': 0.10714285714285714, 'rougeLsum': 0.10714285714285714} Sari: {'sari': 35.87570621468927} Flesh Reading Ease: 66.9 ---------------------------------------- Source: ['Und wenn sie Langeweile hatte, nahm sie eine goldene Kugel, warf sie in die Höhe und fing sie wieder auf. Wenn nun der Tag recht heiß war, ging die jüngste Prinzessin hinaus in den Wald und setzte sich an den Rand des kühlen Brunnens.'] Prediction: ['Eine jüngste Prinzessin wurde am Montag in einem kühlen Brunnens in den Wald gefunden.\nDie jüngste Prinzessin ging hinaus in den Wald und setzte sich an den Rand des kühlen Brunnens.\nDie jüngste Prinzessin ging an den Rand des kühlen Brunnens und fing sie wieder auf.'] Label: [['Sie wirft ihn hoch und fängt ihn wieder auf.\nDie jüngste Königs-Tochter spielt mit einem kleinen Ball aus Gold.\nDiese Geschichte beginnt im Wald.']] Sacrebleu: {'score': 5.295924024539149, 'counts': [10, 4, 2, 0], 'totals': [49, 48, 47, 46], 'precisions': [20.408163265306122, 8.333333333333334, 4.25531914893617, 1.0869565217391304], 'bp': 1.0, 'sys_len': 49, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.20408163265306123, 0.08333333333333333, 0.0425531914893617, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8148148148148149, 'translation_length': 49, 'reference_length': 27} Rouge: {'rouge1': 0.25, 'rouge2': 0.07692307692307691, 'rougeL': 0.125, 'rougeLsum': 0.225} Sari: {'sari': 41.39713216270138} Flesh Reading Ease: 76.95 ---------------------------------------- Source: ['Die jüngste von ihnen war so schön, daß die Sonne selber, die doch so vieles schon gesehen hat, sich verwundene, sooft sie ihr ins Gesicht schien.'] Prediction: ['Eine Sonne wurde im Alter von 99 Jahren verwunden, die sie ihr ins Gesicht schien.\nDie jüngste von ihnen war so schön, daß die Sonne selber, die doch so vieles schon gesehen hat, sich verwundene, sooft sie ihr ins Gesicht schien.'] Label: [['Aber die jüngste Tochter war die Schönste von allen.']] Sacrebleu: {'score': 1.1903247365290315, 'counts': [6, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [12.5, 1.0638297872340425, 0.5434782608695652, 0.2777777777777778], 'bp': 1.0, 'sys_len': 48, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.8, 'translation_length': 48, 'reference_length': 10} Rouge: {'rouge1': 0.2592592592592593, 'rouge2': 0.07692307692307693, 'rougeL': 0.18518518518518515, 'rougeLsum': 0.18518518518518515} Sari: {'sari': 36.49269058837743} Flesh Reading Ease: 71.75 ---------------------------------------- Source: ['In alten Zeiten, als das Wünschen noch geholfen hat, lebte einmal ein König, der hatte wunderschöne Töchter.'] Prediction: ['Ein König, der am Wochenende noch geholfen hat, lebte einmal ein König, der hatte wunderschöne Töchter.\nDer Mann hatte einmal ein König, der hatte wunderschöne Töchter.'] Label: [['Alle seine Töchter waren schön.\nEs war einmal ... vor sehr langer Zeit ... in einem Land weit weg von hier ... ein König mit sechs Töchtern.']] Sacrebleu: {'score': 2.779985156060675, 'counts': [6, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [18.75, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 0.9105103613800342, 'sys_len': 32, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 0.9105103613800342, 'length_ratio': 0.9142857142857143, 'translation_length': 32, 'reference_length': 35} Rouge: {'rouge1': 0.22950819672131145, 'rouge2': 0.10169491525423728, 'rougeL': 0.22950819672131145, 'rougeLsum': 0.22950819672131145} Sari: {'sari': 37.52088554720134} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Der Froschkönig oder der eiserne Heinrich.'] Prediction: ['Der Schweizer Froschkönig ist ein ehemaliger Froschkönig.\nDer Schweizer Heinrich ist der ehemalige Froschkönig.\nDer Schweizer ist der ehemalige Froschkönig.'] Label: [['Der Froschkönig.']] Sacrebleu: {'score': 3.644667088679882, 'counts': [3, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [13.043478260869565, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 3} Bleu: {'bleu': 0.0, 'precisions': [0.13043478260869565, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.666666666666667, 'translation_length': 23, 'reference_length': 3} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.08, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 56.13247863247863} Flesh Reading Ease: 50.45 ---------------------------------------- Source: ['Als ich sechs Jahre alt war, habe ich in einem Buch über den Urwald, das den Titel "Erlebte Geschichten" trug, das erste Mal ein wunderschönes Bild gesehen.'] Prediction: ['Ein Buch über den Urwald, das den Titel "Erlebte Geschichten" trug, hatte sich sechs Jahre alt.\nAls sich die Urwald-Geschichte sechs Jahre alt war, habe sich das erste Mal ein wunderschönes Bild gesehen.'] Label: [['Als ich sechs Jahre alt war, sah ich in ein Buch.\nDer Titel von dem Buch war „Wahre Geschichten“.']] Sacrebleu: {'score': 10.474263662846864, 'counts': [11, 4, 3, 2], 'totals': [40, 39, 38, 37], 'precisions': [27.5, 10.256410256410257, 7.894736842105263, 5.405405405405405], 'bp': 1.0, 'sys_len': 40, 'ref_len': 22} Bleu: {'bleu': 0.10474263662846864, 'precisions': [0.275, 0.10256410256410256, 0.07894736842105263, 0.05405405405405406], 'brevity_penalty': 1.0, 'length_ratio': 1.8181818181818181, 'translation_length': 40, 'reference_length': 22} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.15384615384615383, 'rougeL': 0.22222222222222224, 'rougeLsum': 0.2962962962962963} Sari: {'sari': 31.169875078306013} Flesh Reading Ease: 69.9 ---------------------------------------- Source: ['Im Buch hieß es: "Riesenschlangen verschlingen ihre Beute in einem Stück, ohne sie zu zerkauen.'] Prediction: ['Im Buch verschlingen ihre Beute in einem Stück, ohne sie zu zerkauen.\nDie beiden verschlingen ihre Beute in einem Stück, ohne sie zu zerkauen.\nDie beiden verschliessen ihre Beute in einem Stück, ohne sie zu zerkauen.'] Label: [['Sie frisst andere Tiere.\nSie verschlingt sie einfach.\nSie kaut nicht einmal!']] Sacrebleu: {'score': 1.1493330194206166, 'counts': [3, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [7.142857142857143, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8, 'translation_length': 42, 'reference_length': 15} Rouge: {'rouge1': 0.11764705882352941, 'rouge2': 0.0, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.11764705882352941} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Danach können sie sich nicht mehr bewegen und halten sechs Monate lang Verdauungsschlaf."'] Prediction: ['Einige Frauen können sich nicht mehr bewegen und halten sechs Monate lang Verdauungsschlaf.\nSie können sich nicht mehr bewegen und halten sechs Monate lang Verdauungsschlaf.'] Label: [['Danach wartet sie sechs Monate.\nIn diesen sechs Monaten verdaut sie ihre Beute.']] Sacrebleu: {'score': 3.4901807086831904, 'counts': [5, 1, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [18.51851851851852, 3.8461538461538463, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.18518518518518517, 0.038461538461538464, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 27, 'reference_length': 15} Rouge: {'rouge1': 0.2, 'rouge2': 0.05263157894736842, 'rougeL': 0.15, 'rougeLsum': 0.2} Sari: {'sari': 34.38552188552188} Flesh Reading Ease: 62.2 ---------------------------------------- Source: ['Es zeigte eine Riesenschlange, die einen Elefanten verdaut.'] Prediction: ['Eine Riesenschlange zeigte einen Elefanten.\nEs zeigte eine Riesenschlange, die einen Elefanten verdaut.'] Label: [['Es war eine Boa constrictor mit einem Elefanten im Bauch.']] Sacrebleu: {'score': 3.4585921141027365, 'counts': [4, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [25.0, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4545454545454546, 'translation_length': 16, 'reference_length': 11} Rouge: {'rouge1': 0.2608695652173913, 'rouge2': 0.0, 'rougeL': 0.2608695652173913, 'rougeLsum': 0.2608695652173913} Sari: {'sari': 38.095238095238095} Flesh Reading Ease: 44.8 ---------------------------------------- Source: ['Dabei war auf meinem Bild gar kein Hut.'] Prediction: ['Ein Mann hat auf Instagram einen Bild von seinem Mann aufgefunden, das er sich auf dem Hut zu sein.\nDas Bild war auf meinem Bild gar kein Hut.'] Label: [['Aber das war kein Hut.']] Sacrebleu: {'score': 5.072624986933127, 'counts': [5, 2, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [16.129032258064516, 6.666666666666667, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.16129032258064516, 0.06666666666666667, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.166666666666667, 'translation_length': 31, 'reference_length': 6} Rouge: {'rouge1': 0.24242424242424243, 'rouge2': 0.06451612903225806, 'rougeL': 0.24242424242424243, 'rougeLsum': 0.24242424242424243} Sari: {'sari': 45.953937130407716} Flesh Reading Ease: 89.95 ---------------------------------------- Source: ['Die Erwachsenen haben mir geraten, mich nicht mehr mit offenen oder geschlossenen Riesenschlangen zu beschäftigen, sondern mich stattdessen mehr für Geografie, Geschichte, Mathe und Grammatik zu interessieren.'] Prediction: ['Die Erwachsenen haben ihren Erwachsenen geraten, mich nicht mehr mit offenen oder geschlossenen Riesenschlangen zu beschäftigen, sondern mich stattdessen mehr für Geografie, Geschichte, Mathe und Grammatik zu interessieren.\nDie Erwachsenen haben mir geraten, mich nicht mehr mit offenen oder geschlossenen Riesenschlangen zu beschäftigen, sondern mich stattdessen mehr für Geografie, Geschichte, Mathe und Grammatik zu interessieren.'] Label: [['Doch auch da haben die großen Leute gesagt, dass ich besser aufhören sollte zu zeichnen.\nSie fanden, dass ich besser rechnen und schreiben sollte.']] Sacrebleu: {'score': 0.9057808281298078, 'counts': [7, 0, 0, 0], 'totals': [65, 64, 63, 62], 'precisions': [10.76923076923077, 0.78125, 0.3968253968253968, 0.20161290322580644], 'bp': 1.0, 'sys_len': 65, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.1076923076923077, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3214285714285716, 'translation_length': 65, 'reference_length': 28} Rouge: {'rouge1': 0.09411764705882353, 'rouge2': 0.0, 'rougeL': 0.09411764705882353, 'rougeLsum': 0.07058823529411766} Sari: {'sari': 36.02150537634408} Flesh Reading Ease: 23.8 ---------------------------------------- Source: ['Wenn ich einen traf, der mir ein bisschen heller vorkam, dann testete ich ihn mit meiner Zeichnung Nr. 1, die ich immer bei mir trug.'] Prediction: ['Die Schweizer Nati trug am Sonntagabend nach dem 1:0-Sieg auf dem 3.\nPlatz.\nNach dem 3:0-Sieg testete sie ihn mit meiner Zeichnung Nr.\n1.'] Label: [['Manchmal glaubte ich, dass einer davon klug war.\nDann zeigte ich ihm die Zeichnung.']] Sacrebleu: {'score': 1.3494116947566301, 'counts': [3, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [8.333333333333334, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1176470588235294, 'translation_length': 36, 'reference_length': 17} Rouge: {'rouge1': 0.09523809523809523, 'rouge2': 0.0, 'rougeL': 0.09523809523809523, 'rougeLsum': 0.09523809523809523} Sari: {'sari': 35.26785714285714} Flesh Reading Ease: 86.1 ---------------------------------------- Source: ['Aber immer erhielt ich die Antwort: "Es ist ein Hut."'] Prediction: ['Ein Hut in der Nähe von St. Gallen ist immer wieder gestorben.\nDie Antworten sind aufgrund eines der Täter der Antworten aufgrund eines Täterins.'] Label: [['„Das ist ein Hut“, sagten sie immer.']] Sacrebleu: {'score': 1.826472886268134, 'counts': [3, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [11.11111111111111, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 27, 'reference_length': 9} Rouge: {'rouge1': 0.23529411764705882, 'rouge2': 0.0625, 'rougeL': 0.17647058823529413, 'rougeLsum': 0.17647058823529413} Sari: {'sari': 55.97222222222222} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Und der Erwachsene war zufrieden, auf einen so vernünftigen Mann zu treffen.'] Prediction: ['Ein so vernünftiges Mann wurde im Alter von 99 Jahren auf einen so vernünftigen Mann zu treffen.\nDie Polizei sucht Zeugen.\nDie Polizei sucht Zeugen.'] Label: [['Die großen Leute hielten mich immer für sehr vernünftig.']] Sacrebleu: {'score': 1.5880117714047368, 'counts': [2, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [7.142857142857143, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8, 'translation_length': 28, 'reference_length': 10} Rouge: {'rouge1': 0.10256410256410256, 'rouge2': 0.0, 'rougeL': 0.05128205128205128, 'rougeLsum': 0.10256410256410256} Sari: {'sari': 35.978835978835974} Flesh Reading Ease: 78.1 ---------------------------------------- Source: ['So sprach ich weder von Riesenschlangen, noch vom Urwald oder von Sternen. Ich ließ mich auf ihn ein. Ich sprach über Bridge, Golf, über Politik und Krawatten.'] Prediction: ['Der US-Bundesstaat Seiten ist über die Schweiz geschlossen.\nSeit Donnerstag wurde der 27-Jährige von Riesenschlangen, noch vom Urwald oder von Sternen geschlossen.\nSeit Montag ist Seiten auf dem 3.\nPlatz der Schweizer Krawatten.'] Label: [['Ich sprach mit den Leuten dann immer über andere Dinge.\nDoch niemals über Schlangen.\nEs ging immer um Krawatten und um Politik.']] Sacrebleu: {'score': 1.3737889784665156, 'counts': [5, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [12.5, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 40, 'reference_length': 25} Rouge: {'rouge1': 0.06896551724137931, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 33.4505772005772} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['So lebte ich allein, ohne jemanden, mit dem ich wirklich hätte sprechen können, bis ich vor sechs Jahren eine Panne in der Wüste Sahara hatte.'] Prediction: ['Eine Panne in der Wüste Sahara hatte vor sechs Jahren eine Panne in der Wüste Sahara.\nNun hatte sich der Mann allein gefunden, ohne jemanden, mit dem er wirklich hätte sprechen können, bis ich vor sechs Jahren eine Panne in der Wüste Sahara hatte.'] Label: [['Viele Jahre wohnte ich allein.\nIch arbeitete als Pilot.\nIch lenkte kleine Flugzeuge.\nEines Tages flog ich über die Sahara-Wüste.\nDa fiel plötzlich mein Motor aus.\nIch stürzte über der Sahara ab.']] Sacrebleu: {'score': 1.1652512227907519, 'counts': [6, 0, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [12.244897959183673, 1.0416666666666667, 0.5319148936170213, 0.2717391304347826], 'bp': 1.0, 'sys_len': 49, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.12244897959183673, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2894736842105263, 'translation_length': 49, 'reference_length': 38} Rouge: {'rouge1': 0.16470588235294115, 'rouge2': 0.024096385542168672, 'rougeL': 0.1411764705882353, 'rougeLsum': 0.1411764705882353} Sari: {'sari': 31.944444444444446} Flesh Reading Ease: 58.55 ---------------------------------------- Source: ['Irgendetwas an meinem Motor war kaputt gegangen.'] Prediction: ['Ein Motor kaputt war kaputt gegangen.\nDer Motor war kaputt gegangen.'] Label: [['Der Motor war kaputt, aber ich lebte noch.']] Sacrebleu: {'score': 20.448007360218387, 'counts': [5, 3, 2, 1], 'totals': [13, 12, 11, 10], 'precisions': [38.46153846153846, 25.0, 18.181818181818183, 10.0], 'bp': 1.0, 'sys_len': 13, 'ref_len': 10} Bleu: {'bleu': 0.2044800736021839, 'precisions': [0.38461538461538464, 0.25, 0.18181818181818182, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 1.3, 'translation_length': 13, 'reference_length': 10} Rouge: {'rouge1': 0.4210526315789474, 'rouge2': 0.3529411764705882, 'rougeL': 0.4210526315789474, 'rougeLsum': 0.4210526315789474} Sari: {'sari': 56.40771265771266} Flesh Reading Ease: 69.2 ---------------------------------------- Source: ['Und weil ich weder einen Mechaniker, noch Passagiere bei mir hatte, bereitete ich mich darauf vor, die schwierige Reparatur ganz allein vorzunehmen.'] Prediction: ['Ein Mechaniker, der noch Passagiere bei ihm hatte, bereitete sich vor, die schwierige Reparatur ganz allein vorzunehmen.\nDie schwierige Reparatur wurde ganz allein vorzunehmen.'] Label: [['Es gab nur keinen Menschen, der mir helfen konnte.']] Sacrebleu: {'score': 2.847964238283142, 'counts': [3, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [10.344827586206897, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.10344827586206896, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6363636363636362, 'translation_length': 29, 'reference_length': 11} Rouge: {'rouge1': 0.06060606060606061, 'rouge2': 0.0, 'rougeL': 0.06060606060606061, 'rougeLsum': 0.06060606060606061} Sari: {'sari': 35.71424082453494} Flesh Reading Ease: 39.3 ---------------------------------------- Source: ['Am ersten Abend schlief ich im Sand ein, tausende Meilen entfernt von besiedeltem Gebiet.'] Prediction: ['Am ersten Abend schlief ein, tausende Meilen im Sand ein.\nIm Sand schlief ich ein, tausende Meilen entfernt von besiedeltem Gebiet.'] Label: [['In dieser Nacht schlief ich im Sand.']] Sacrebleu: {'score': 4.504556737153659, 'counts': [5, 2, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 8.333333333333334, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.125, 'translation_length': 25, 'reference_length': 8} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.15384615384615383, 'rougeL': 0.21428571428571427, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 25.3734827264239} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['So könnt ihr euch vorstellen, wie überrascht ich war, als ich bei Sonnenaufgang von einer leisen, lustigen Stimme geweckt wurde.'] Prediction: ['Die Schweizer Weltmeisterschaft hat am Sonntag einen neuen Sonnenaufgang geschlossen.\nDie Weltmeisterschaft hatte einen grossen Anlass auf den Kampf gegen die Corona-Regeln.\nDie Weltmeisterschaft hatte den Anlass auf den Anlass geschlossen.'] Label: [['Am nächsten Morgen wurde ich von einer Stimme geweckt.\nVor meiner Nase stand ein kleiner Mann.\nMitten in der Wüste!\nWer hätte so was erwartet?']] Sacrebleu: {'score': 1.2944532586971997, 'counts': [2, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [5.882352941176471, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1724137931034482, 'translation_length': 34, 'reference_length': 29} Rouge: {'rouge1': 0.03333333333333333, 'rouge2': 0.0, 'rougeL': 0.03333333333333333, 'rougeLsum': 0.03333333333333333} Sari: {'sari': 48.54160224297524} Flesh Reading Ease: 52.7 ---------------------------------------- Source: ['Und die sagte: - "Bitte ... zeichne mir ein Schaf!"'] Prediction: ['Eine der beiden Frauen ist auf dem Kanton Bern nicht mehr gefragt.\nDie Frau zeichne sich ein Schaf, sagt die "Bitte... zeichne mir ein Schaf!"'] Label: [['„Zeichne mir ein Schaf“, sagte er.']] Sacrebleu: {'score': 2.6711961764401657, 'counts': [4, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [12.121212121212121, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.12121212121212122, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.125, 'translation_length': 33, 'reference_length': 8} Rouge: {'rouge1': 0.25806451612903225, 'rouge2': 0.20689655172413793, 'rougeL': 0.25806451612903225, 'rougeLsum': 0.25806451612903225} Sari: {'sari': 36.961009174311926} Flesh Reading Ease: 95.65 ---------------------------------------- Source: ['- "Zeichne mir ein Schaf."'] Prediction: ['Die Schweizerin hat einen Schaf mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Konzert mit dem "Unchained"-Kommentator zum Interview mit dem "Unchained"-Kommentator zum Interview mit dem "Unchained"-Kommentatoren "Unchained" zum Interview mit dem "Unchained"-Kommentatoren "Unchained" zum Interview mit dem "Unchained"-Kommentatoren "Unchained" zu Gast" im Interview "Unchained" zum Interview mit dem "Unchained"-Kommentatoren "Unchained" zu Gast"'] Label: [['Zeichne ein Schaf für mich.“']] Sacrebleu: {'score': 0.1679612245347699, 'counts': [1, 0, 0, 0], 'totals': [212, 211, 210, 209], 'precisions': [0.4716981132075472, 0.23696682464454977, 0.11904761904761904, 0.05980861244019139], 'bp': 1.0, 'sys_len': 212, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.0047169811320754715, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 30.285714285714285, 'translation_length': 212, 'reference_length': 7} Rouge: {'rouge1': 0.013513513513513516, 'rouge2': 0.0, 'rougeL': 0.013513513513513516, 'rougeLsum': 0.013513513513513516} Sari: {'sari': 46.58730158730158} Flesh Reading Ease: -73.41 ---------------------------------------- Source: ['So absurd es mir erschien, holte ich tausend Meilen entfernt von jeder Zivilisation meinen Farbstift hervor, ein Blatt Papier und einen Füller.'] Prediction: ['Ein Mann hat in der Nacht auf Sonntag in Zürich einen Farbstift entfernt.\nEr war mit seinem Farbstift hervor und einen Füller zu sehen.\nDie Polizei vermutete den Mann, dass er sich nicht mehr mit dem Farbstift entfernt hatte.'] Label: [['Ich nahm meinen Stift und mein Papier.']] Sacrebleu: {'score': 1.0134961585174012, 'counts': [2, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [4.651162790697675, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.046511627906976744, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.375, 'translation_length': 43, 'reference_length': 8} Rouge: {'rouge1': 0.04166666666666667, 'rouge2': 0.0, 'rougeL': 0.04166666666666667, 'rougeLsum': 0.04166666666666667} Sari: {'sari': 42.485119047619044} Flesh Reading Ease: 79.25 ---------------------------------------- Source: ['Ich will keinen Elefanten in einer Riesenschlage. Eine Riesenschlange ist sehr gefährlich und ein Elefant nimmt viel Platz weg. Bei mir ist es ganz klein. Ich brauche ein Schaf. Zeichne mir ein Schaf."'] Prediction: ['Am 23.\nJuni startete eine Riesenschlage in einer Riesenschlage.\nBei den Elefanten ist es ganz klein.\nBei den Elefanten ist es ganz klein.'] Label: [['„Eine Boa ist viel zu gefährlich!\nUnd ein Elefant ist viel zu groß!\nIch habe nicht viel Platz.\nIch brauche ein Schaf!“']] Sacrebleu: {'score': 1.826472886268134, 'counts': [3, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [11.11111111111111, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 27, 'reference_length': 27} Rouge: {'rouge1': 0.13043478260869565, 'rouge2': 0.0, 'rougeL': 0.13043478260869565, 'rougeLsum': 0.13043478260869565} Sari: {'sari': 27.035646127673647} Flesh Reading Ease: 72.85 ---------------------------------------- Source: ['Dieses ist schon sehr krank.'] Prediction: ['Ein Mann ist in der Nacht auf Sonntag in der Nacht auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag krank.\nDie beiden waren nicht nur sehr krank.'] Label: [['„Dieses Schaf ist krank“, sagte der kleine Mann.']] Sacrebleu: {'score': 1.0103588033775688, 'counts': [4, 0, 0, 0], 'totals': [51, 50, 49, 48], 'precisions': [7.8431372549019605, 1.0, 0.5102040816326531, 0.2604166666666667], 'bp': 1.0, 'sys_len': 51, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.0784313725490196, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.1, 'translation_length': 51, 'reference_length': 10} Rouge: {'rouge1': 0.14035087719298245, 'rouge2': 0.0, 'rougeL': 0.07017543859649122, 'rougeLsum': 0.07017543859649122} Sari: {'sari': 48.888888888888886} Flesh Reading Ease: 73.6 ---------------------------------------- Source: ['Zeichne ein anderes." - "Das da ist zu alt.'] Prediction: ['Die Schweizer Welt ist ein Paar, der sich mit dem Mann auf dem Königstück zu sehen ist.\nDie Schweizer Welt ist ein Paar, der sich mit dem Mann auf dem Königstück zu sehen ist.\nDie Schweizer Welt ist ein Paar, der sich mit dem Mann zu sehen ist.'] Label: [['„Dieses Schaf ist zu alt“, sagte er.']] Sacrebleu: {'score': 0.952597016640547, 'counts': [4, 0, 0, 0], 'totals': [54, 53, 52, 51], 'precisions': [7.407407407407407, 0.9433962264150944, 0.4807692307692308, 0.24509803921568626], 'bp': 1.0, 'sys_len': 54, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.07407407407407407, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.0, 'translation_length': 54, 'reference_length': 9} Rouge: {'rouge1': 0.06779661016949154, 'rouge2': 0.0, 'rougeL': 0.06779661016949154, 'rougeLsum': 0.06779661016949154} Sari: {'sari': 56.59300494826811} Flesh Reading Ease: 93.8 ---------------------------------------- Source: ['Da ich meinen Motor endlich auseinander bauen wollte, schluderte ich ungeduldig dieses Bild hin:'] Prediction: ['Ein Motor hat meinen Motor endlich auseinander bauen.\nDas Bild zeigt, wie es sich um ihnen schluderte.\nDie Bilder sind auf Social Media unter anderem von der Welt.'] Label: [['Meine Geduld war bald am Ende.\nDer Motor von meinem Flugzeug war kaputt.\nIch musste ihn doch reparieren.\nUngeduldig zeichnete ich ein Viereck.']] Sacrebleu: {'score': 1.7345617945636578, 'counts': [5, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [15.625, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.15625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1851851851851851, 'translation_length': 32, 'reference_length': 27} Rouge: {'rouge1': 0.1568627450980392, 'rouge2': 0.0, 'rougeL': 0.0784313725490196, 'rougeLsum': 0.11764705882352941} Sari: {'sari': 34.007936507936506} Flesh Reading Ease: 77.1 ---------------------------------------- Source: ['Und sagte: - "Das hier ist eine Kiste.'] Prediction: ['Die "Bachelor"-Kandidatin Andrea (34) ist im Alter von 99 Jahren gestorben.\nDie Frau ist nach dem Interview mit ihrem Partner über ihre Kiste und ihre Kiste im Interview mit ihrem Partner.\nDie beiden wollen sich nicht mehr über ihre Kiste verantworten.'] Label: [['„Das ist eine Kiste“, sagte ich.']] Sacrebleu: {'score': 0.8853994618255676, 'counts': [2, 0, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [4.081632653061225, 1.0416666666666667, 0.5319148936170213, 0.2717391304347826], 'bp': 1.0, 'sys_len': 49, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.04081632653061224, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.125, 'translation_length': 49, 'reference_length': 8} Rouge: {'rouge1': 0.08333333333333333, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.08333333333333333} Sari: {'sari': 50.09259259259259} Flesh Reading Ease: 66.85 ---------------------------------------- Source: ['Das Schaf ist da drin."'] Prediction: ['Das Schaf ist da drin.\nDas Schaf ist da drin.'] Label: [['„Das Schaf ist darin.“']] Sacrebleu: {'score': 7.495553473355845, 'counts': [3, 1, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [25.0, 9.090909090909092, 5.0, 2.7777777777777777], 'bp': 1.0, 'sys_len': 12, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.09090909090909091, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 12, 'reference_length': 6} Rouge: {'rouge1': 0.4285714285714285, 'rouge2': 0.3333333333333333, 'rougeL': 0.4285714285714285, 'rougeLsum': 0.4285714285714285} Sari: {'sari': 41.66666666666667} Flesh Reading Ease: 116.5 ---------------------------------------- Source: ['- "Genauso wollte ich es!'] Prediction: ['Die "Genauso wollte ich es" von "Genauso wollte ich es werden.\nDie beiden waren nicht nur, sondern auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch'] Label: [['„Das ist genau richtig!“, rief er glücklich.']] Sacrebleu: {'score': 0.1872843748912367, 'counts': [2, 0, 0, 0], 'totals': [226, 225, 224, 223], 'precisions': [0.8849557522123894, 0.2222222222222222, 0.11160714285714286, 0.05605381165919283], 'bp': 1.0, 'sys_len': 226, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.008849557522123894, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 20.545454545454547, 'translation_length': 226, 'reference_length': 11} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 30.753968253968257} Flesh Reading Ease: 11.0 ---------------------------------------- Source: ['Glaubst Du, man braucht viel Gras für dieses Schaf?"'] Prediction: ['Du findest hier aktuelle Fragen, welche die Gras für dieses Schaf geht?\nWir haben dir die Fragen, welche Fragen und Fragen auf die Welt gehen.'] Label: [['„Glaubst du, ein Schaf frisst viel Gras?“, fragte er dann.']] Sacrebleu: {'score': 2.01381482546679, 'counts': [6, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [20.689655172413794, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.20689655172413793, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9333333333333333, 'translation_length': 29, 'reference_length': 15} Rouge: {'rouge1': 0.16666666666666669, 'rouge2': 0.0, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 36.718227424749166} Flesh Reading Ease: 79.75 ---------------------------------------- Source: ['Der kleine Prinz stellte mir viele Fragen, aber schien meine zu überhören.'] Prediction: ['Der kleine Prinz stellte mir viele Fragen, aber schien meine zu überhören.\nDer kleine Prinz stellte mir viele Fragen, aber schien meine zu überhören.'] Label: [['Der kleine Prinz antwortete nicht auf meine Fragen.\nMir stellte er aber sehr wohl Fragen.']] Sacrebleu: {'score': 6.71647205235486, 'counts': [10, 2, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [35.714285714285715, 7.407407407407407, 3.8461538461538463, 2.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.35714285714285715, 0.07407407407407407, 0.038461538461538464, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6470588235294117, 'translation_length': 28, 'reference_length': 17} Rouge: {'rouge1': 0.43902439024390244, 'rouge2': 0.10256410256410256, 'rougeL': 0.29268292682926833, 'rougeLsum': 0.29268292682926833} Sari: {'sari': 43.35934596804162} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['- "Was ist dieses Ding?"'] Prediction: ['Im Interview mit der "Morning Show" mit Host Stefan über 20 Minuten Radio und 20 Minuten Radio mit Host Stefan über 20 Fragen, die ihnen über ihre Leistungen und ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ih'] Label: [['„Was ist das?“ „']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [153, 152, 151, 150], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 153, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 25.5, 'translation_length': 153, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 55.55555555555555} Flesh Reading Ease: -81.16 ---------------------------------------- Source: ['Das ist mein Flugzeug."'] Prediction: ['Ein Flugzeug ist mein Flugzeug.\nDas ist mein Flugzeug.'] Label: [['Mein Flugzeug.']] Sacrebleu: {'score': 7.495553473355842, 'counts': [2, 1, 0, 0], 'totals': [11, 10, 9, 8], 'precisions': [18.181818181818183, 10.0, 5.555555555555555, 3.125], 'bp': 1.0, 'sys_len': 11, 'ref_len': 3} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.1, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6666666666666665, 'translation_length': 11, 'reference_length': 3} Rouge: {'rouge1': 0.3636363636363636, 'rouge2': 0.2222222222222222, 'rougeL': 0.3636363636363636, 'rougeLsum': 0.3636363636363636} Sari: {'sari': 49.30555555555555} Flesh Reading Ease: 99.45 ---------------------------------------- Source: ['Aber er rief: Du bist vom Himmel gefallen?"'] Prediction: ['Ein Mann rief: Du bist vom Himmel gefallen?"'] Label: [['„Dann bist du vom Himmel gefallen!“, rief er.']] Sacrebleu: {'score': 14.473710747837542, 'counts': [5, 2, 1, 0], 'totals': [11, 10, 9, 8], 'precisions': [45.45454545454545, 20.0, 11.11111111111111, 6.25], 'bp': 0.9131007162822624, 'sys_len': 11, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.45454545454545453, 0.2, 0.1111111111111111, 0.0], 'brevity_penalty': 0.9131007162822622, 'length_ratio': 0.9166666666666666, 'translation_length': 11, 'reference_length': 12} Rouge: {'rouge1': 0.75, 'rouge2': 0.2857142857142857, 'rougeL': 0.5, 'rougeLsum': 0.5} Sari: {'sari': 40.833333333333336} Flesh Reading Ease: 90.1 ---------------------------------------- Source: ['Und der kleine Prinz brach in ein herzliches Lachen aus, das mich sehr verärgerte.'] Prediction: ['Die kleine Prinzessin hat einen eigenen Lachen ausgebracht.\nDie kleine Prinz brach in ein herzliches Lachen aus.\nDie kleine Prinzessin wurde dabei verärgert.'] Label: [['Der Prinz lachte.']] Sacrebleu: {'score': 1.7179060012299232, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 4} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.5, 'translation_length': 26, 'reference_length': 4} Rouge: {'rouge1': 0.07407407407407407, 'rouge2': 0.0, 'rougeL': 0.07407407407407407, 'rougeLsum': 0.07407407407407407} Sari: {'sari': 34.920634920634924} Flesh Reading Ease: 67.0 ---------------------------------------- Source: ['Von welchem Planeten stammst du?"'] Prediction: ['Von welchem Planeten stammst du?"\nWir stellen dir jede Woche die besten Vorwürfe vor.\nWir haben die besten Vorwürfe vor Ort.'] Label: [['„Von welchem Planeten?“']] Sacrebleu: {'score': 3.333744983027298, 'counts': [3, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [12.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.12, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.0, 'translation_length': 25, 'reference_length': 5} Rouge: {'rouge1': 0.23076923076923078, 'rouge2': 0.16666666666666669, 'rougeL': 0.23076923076923078, 'rougeLsum': 0.23076923076923078} Sari: {'sari': 40.71428571428572} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['- "Du stammst also von einem anderen Planeten?"'] Prediction: ['Ein anderer Planeten ist auf der Kippe von einem anderen Planeten.\nDie beiden waren nicht nur von einem anderen Planeten, sondern von einem anderen Planeten.\nDie beiden waren nicht nur von einem anderen Planeten, sondern von einem anderen Planeten.'] Label: [['Von welchem Planeten kommst du?“, fragte ich.']] Sacrebleu: {'score': 1.0952083604308251, 'counts': [3, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [6.818181818181818, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.06818181818181818, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 44, 'reference_length': 11} Rouge: {'rouge1': 0.08695652173913043, 'rouge2': 0.0, 'rougeL': 0.08695652173913043, 'rougeLsum': 0.08695652173913043} Sari: {'sari': 36.30952380952381} Flesh Reading Ease: 55.85 ---------------------------------------- Source: ['Aber er antwortete mir nicht.'] Prediction: ['Ein Mann hatte sich mit einem Messer auf dem Körper geschützt.\nEr wurde von der Polizei nicht vermutet.\nDer Mann war nicht bekannt, sondern auch auf dem Körper.'] Label: [['Doch der kleine Prinz sagte nicht, woher er kam.']] Sacrebleu: {'score': 1.6404472625060698, 'counts': [4, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [12.5, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.909090909090909, 'translation_length': 32, 'reference_length': 11} Rouge: {'rouge1': 0.15000000000000002, 'rouge2': 0.0, 'rougeL': 0.09999999999999999, 'rougeLsum': 0.09999999999999999} Sari: {'sari': 67.81609195402298} Flesh Reading Ease: 82.95 ---------------------------------------- Source: ['Er holte das Schaf aus seiner Tasche und bewunderte lange Zeit seinen Schatz.'] Prediction: ['Ein Mann hatte am Sonntag seinen Schatz gefunden.\nEr wurde dabei schwer verletzt.\nEr war mit seinem Schaf aus seiner Tasche und bewunderte lange Zeit seinen Schatz.'] Label: [['Er betrachtete die Zeichnung, die ich für ihn gemacht hatte.']] Sacrebleu: {'score': 1.633898440122165, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 30, 'reference_length': 12} Rouge: {'rouge1': 0.10526315789473684, 'rouge2': 0.0, 'rougeL': 0.05263157894736842, 'rougeLsum': 0.10526315789473684} Sari: {'sari': 36.47186147186147} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['- "Das Gute an der Kiste, die du mir gegeben hast, ist, dass sie ihm als Haus dienen wird in der Nacht."'] Prediction: ['Die 20-Minuten-App mit Host Stefan über Social Media und ihre Leistungen von "Unchained" findest du hier.\nDie beiden wollen ihm als Haus dienen.\nDie beiden wollen ihm als Haus dienen.'] Label: [['„Praktisch“, sagte er.\n„So hat das Schaf auch direkt ein Haus.“']] Sacrebleu: {'score': 1.3113617852675474, 'counts': [3, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [8.108108108108109, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.08108108108108109, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.466666666666667, 'translation_length': 37, 'reference_length': 15} Rouge: {'rouge1': 0.046511627906976744, 'rouge2': 0.0, 'rougeL': 0.046511627906976744, 'rougeLsum': 0.046511627906976744} Sari: {'sari': 35.15669515669516} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Und wenn du nett bist, gebe ich dir auch einen Strick, um es nachts festzubinden.'] Prediction: ['Ein Strick aus dem Kanton Bern ist nachts festzubinden.\nDie Polizei hatte den Strick nachts festgehalten.\nDie Polizei hatte den Strick nachts festgehalten.'] Label: [['Ich sagte, dass ich ihm noch ein Seil zeichne.\n„Dann kannst du das Schaf an einen Zaun binden.“']] Sacrebleu: {'score': 1.7179060012299232, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1818181818181819, 'translation_length': 26, 'reference_length': 22} Rouge: {'rouge1': 0.04878048780487805, 'rouge2': 0.0, 'rougeL': 0.04878048780487805, 'rougeLsum': 0.04878048780487805} Sari: {'sari': 41.91595441595442} Flesh Reading Ease: 72.85 ---------------------------------------- Source: ['Was für eine merkwürdige Idee."'] Prediction: ['Die Idee 2020 ist eine merkwürdige Idee.\nDie Jury fanden am Freitagabend statt.\nDie beiden waren für eine merkwürdige Idee.'] Label: [['„Was für eine verrückte Idee!“, rief er aus.']] Sacrebleu: {'score': 3.9164496650022476, 'counts': [4, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [17.391304347826086, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9166666666666667, 'translation_length': 23, 'reference_length': 12} Rouge: {'rouge1': 0.24242424242424243, 'rouge2': 0.1290322580645161, 'rougeL': 0.24242424242424243, 'rougeLsum': 0.24242424242424243} Sari: {'sari': 44.07407407407407} Flesh Reading Ease: 73.85 ---------------------------------------- Source: ['- "Aber wenn du es nicht festbindest, kann es überall hingehen und sich verlaufen ..."'] Prediction: ['Die beiden wollen sich nicht festbinden, kann es überall hingehen und sich verlaufen.\nAufgrund der Corona-Pandemie kann du nicht festbinden, sondern auch nur noch nie nur noch nie.\nUnd auch nie, wenn du es nicht festbindest, kann es überall hingehen und sich verlaufen.'] Label: [['„Wenn du es nicht festbindest, dann läuft es weg“, erklärte ich.']] Sacrebleu: {'score': 7.67713207708933, 'counts': [8, 4, 3, 2], 'totals': [50, 49, 48, 47], 'precisions': [16.0, 8.16326530612245, 6.25, 4.25531914893617], 'bp': 1.0, 'sys_len': 50, 'ref_len': 14} Bleu: {'bleu': 0.07677132077089327, 'precisions': [0.16, 0.08163265306122448, 0.0625, 0.0425531914893617], 'brevity_penalty': 1.0, 'length_ratio': 3.5714285714285716, 'translation_length': 50, 'reference_length': 14} Rouge: {'rouge1': 0.21052631578947364, 'rouge2': 0.14545454545454545, 'rougeL': 0.21052631578947364, 'rougeLsum': 0.21052631578947364} Sari: {'sari': 48.000822706705065} Flesh Reading Ease: 72.1 ---------------------------------------- Source: ['- "Das macht nichts, es ist so klein bei mir!"'] Prediction: ['Die "Morning Show"-Host Andrea (34) und Host Stefan über ihre 20-Minuten-Radio-Hosts (67) über ihre Leistungen und ihre Leistungen zwischen ihrem Leben und dem Radio-Host Stefan über ihre Leistungen zum Themen.\nWir stellen dir jeden Donnerstag die besten neuen Fragen zum Thema "Morning Show" bei Stefan und Stefan über ihre Leistungen zum Thema "Morning Show" und den Direktstream.\nWir stellen dir jeden Donnerstag die besten Fragen zum Thema "Morning Show" und stellen dir jeden Donnerstag die besten Fragen zum Thema "Morning Show" vor.'] Label: [['„Mein Planet ist ganz klein“, sagte er.\n„Das Schaf kann nirgendwohin laufen.“']] Sacrebleu: {'score': 0.4183823166799266, 'counts': [2, 0, 0, 0], 'totals': [102, 101, 100, 99], 'precisions': [1.9607843137254901, 0.49504950495049505, 0.25, 0.12626262626262627], 'bp': 1.0, 'sys_len': 102, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.0196078431372549, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.375, 'translation_length': 102, 'reference_length': 16} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 56.99999999999999} Flesh Reading Ease: 53.25 ---------------------------------------- Source: ['Manchmal reicht es aus, das Gemüse auf eine andere Weise zuzubereiten, zum Beispiel als Happen mit einem Dipp oder püriert als Soße.'] Prediction: ['Eine andere Weise reicht es aus, das Gemüse auf eine andere Weise zuzubereiten, zum Beispiel als Happen mit einem Dipp oder püriert als Soße.\nManchmal reicht es aus, das Gemüse auf eine andere Weise zuzubereiten, zum Beispiel als Happen mit einem Dipp oder püriert als Soße.'] Label: [['Spaghetti mit Linsen-Bolognese, fein geraspeltes Gemüse in der Frikadelle, püriertes Gemüse in der Soße – es gibt jede Menge Möglichkeiten, Gemüse fast unbemerkt im Essen unterzubringen.']] Sacrebleu: {'score': 1.2129160218336537, 'counts': [9, 0, 0, 0], 'totals': [52, 51, 50, 49], 'precisions': [17.307692307692307, 0.9803921568627451, 0.5, 0.25510204081632654], 'bp': 1.0, 'sys_len': 52, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.17307692307692307, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7333333333333334, 'translation_length': 52, 'reference_length': 30} Rouge: {'rouge1': 0.2142857142857143, 'rouge2': 0.07317073170731708, 'rougeL': 0.1904761904761905, 'rougeLsum': 0.11904761904761905} Sari: {'sari': 36.7816091954023} Flesh Reading Ease: 51.7 ---------------------------------------- Source: ['Sollten sich Eltern allerdings längerfristig Sorgen um die Entwicklung ihres Kindes machen, ist es ratsam einen Kinderarzt aufzusuchen.'] Prediction: ['Ein Kinderarzt ist in den letzten Tagen gestorben.\nEs ist ein Kinderarzt aufzusuchen.'] Label: [['Bevor Ihr Kind merkt, dass das Essverhalten Ihnen Kummer bereitet, lassen Sie sich bei einer Beratungsstelle oder vom Kinderarzt beraten.']] Sacrebleu: {'score': 1.8333813469321008, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.5866462195100317, 'sys_len': 15, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5866462195100318, 'length_ratio': 0.6521739130434783, 'translation_length': 15, 'reference_length': 23} Rouge: {'rouge1': 0.060606060606060615, 'rouge2': 0.0, 'rougeL': 0.060606060606060615, 'rougeLsum': 0.060606060606060615} Sari: {'sari': 44.25925925925926} Flesh Reading Ease: 56.5 ---------------------------------------- Source: ['Statt darüber zu reden, ist es ratsam zu zeigen, dass Gemüse selbstverständlich zu Mahlzeit dazugehört und lecker schmeckt.'] Prediction: ['Gemüse selbstverständlich zu Mahlzeit leiden gemeinsam in der Nacht auf Sonntag.\nGemüse selbstverständlich leiden dazugehört und lecker schmeckt.\nGemüse selbstverständlich leiden gemeinsam zu reden.'] Label: [['Leben Sie dem Kind stattdessen vor, dass Sie selbst gern Gemüse essen und dass für Sie Gemüse zu einer Mahlzeit einfach dazugehört.']] Sacrebleu: {'score': 2.257394309242011, 'counts': [7, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [25.925925925925927, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.25925925925925924, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.125, 'translation_length': 27, 'reference_length': 24} Rouge: {'rouge1': 0.3157894736842105, 'rouge2': 0.1090909090909091, 'rougeL': 0.21052631578947367, 'rougeLsum': 0.21052631578947367} Sari: {'sari': 35.61253561253561} Flesh Reading Ease: 43.3 ---------------------------------------- Source: ['Eltern sind für ihre Kinder das wichtigste Vorbild, die sie gerne imitieren.'] Prediction: ['Ein wichtiges Vorbild, die sie gerne imitieren, ist für Kinder im Alter von 99 Jahren gestorben.\nDie Eltern sind für ihre Kinder das wichtigste Vorbild, die sie gerne imitieren.'] Label: [['Probieren Sie selbst auch Neues aus.\nSie sind das beste Vorbild:']] Sacrebleu: {'score': 1.5393730252811677, 'counts': [4, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [11.764705882352942, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6153846153846154, 'translation_length': 34, 'reference_length': 13} Rouge: {'rouge1': 0.23809523809523805, 'rouge2': 0.0, 'rougeL': 0.19047619047619047, 'rougeLsum': 0.23809523809523805} Sari: {'sari': 37.719298245614034} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['Eltern sollten sich nicht aus der Ruhe bringen lassen und Essen möglichst nicht thematisieren.'] Prediction: ['In der Schweiz werden die Menschen nicht aus der Ruhe bringen lassen.\nDie Menschen sollen sich nicht aus der Ruhe bringen lassen und Essen möglichst nicht thematisieren.'] Label: [['Sprechen Sie auch nicht dauernd über das Thema Gemüse essen.']] Sacrebleu: {'score': 1.5301683686839007, 'counts': [2, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [6.896551724137931, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.06896551724137931, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6363636363636362, 'translation_length': 29, 'reference_length': 11} Rouge: {'rouge1': 0.10256410256410255, 'rouge2': 0.0, 'rougeL': 0.10256410256410255, 'rougeLsum': 0.10256410256410255} Sari: {'sari': 36.206896551724135} Flesh Reading Ease: 72.9 ---------------------------------------- Source: ['Stattdessen sind viel Geduld und Durchhaltevermögen gefragt.'] Prediction: ['In der Nacht auf Sonntag wurden in Stattdessen viele Geduld und Durchhaltevermögen gefragt.\nDie Polizei hatte viele Geduld und Durchhaltevermögen gefragt.\nDie Polizei hatte viele Geduld und Durchhaltevermögen gefragt.'] Label: [['Drängen Sie es zu nichts.\nBleiben Sie gelassen, wenn Ihr Kind Gemüse ablehnt.']] Sacrebleu: {'score': 1.3794462224541233, 'counts': [2, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [6.25, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 32, 'reference_length': 16} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 35.714285714285715} Flesh Reading Ease: 41.6 ---------------------------------------- Source: ['Vielleicht nascht das Kind schon bei der Zubereitung etwas Gemüse und ist zumindest stolz auf das selbstgemachte Essen.'] Prediction: ['Das Kind ist bei der Zubereitung etwas Gemüse.\nEs ist zumindest auf das selbstgemachte Essen.\nDas Kind ist zumindest auf das selbstgemachte Essen.'] Label: [['Am Ende sind die Kinder stolz auf ihr Werk und essen auch lieber davon.\nBeim Gemüseschnippeln passiert das Probieren fast von allein.']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0833333333333333, 'translation_length': 26, 'reference_length': 24} Rouge: {'rouge1': 0.1702127659574468, 'rouge2': 0.0, 'rougeL': 0.1276595744680851, 'rougeLsum': 0.1702127659574468} Sari: {'sari': 32.1546803652968} Flesh Reading Ease: 67.0 ---------------------------------------- Source: ['Das kann bereits beim Gemüseanbau im Garten oder auf dem Balkon beginnen, über den gemeinsamen Einkauf bis hin zum gemeinsamen Schnippeln von Gemüse und kochen.'] Prediction: ['Das kann bereits beim Gemüseanbau im Garten oder auf dem Balkon beginnen, über den gemeinsamen Einkauf bis hin zum gemeinsamen Schnippeln von Gemüse und kochen.\nDas kann bereits bereits beim Gemüseanbau im Garten oder auf dem Balkon beginnen, über den gemeinsamen Einkauf bis hin zum gemeinsamen Schnippeln von Gemüse und kochen.'] Label: [['Lassen Sie Ihre Kinder beim Zubereiten der Mahlzeiten helfen.\nNehmen Sie die Kinder auch mit zum Einkaufen, wenn sie das mögen.']] Sacrebleu: {'score': 0.9884133258387924, 'counts': [5, 0, 0, 0], 'totals': [55, 54, 53, 52], 'precisions': [9.090909090909092, 0.9259259259259259, 0.4716981132075472, 0.2403846153846154], 'bp': 1.0, 'sys_len': 55, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2916666666666665, 'translation_length': 55, 'reference_length': 24} Rouge: {'rouge1': 0.07792207792207792, 'rouge2': 0.0, 'rougeL': 0.07792207792207792, 'rougeLsum': 0.05194805194805195} Sari: {'sari': 36.02150537634408} Flesh Reading Ease: 49.2 ---------------------------------------- Source: ['Empfehlen Sie den Eltern, ihren Nachwuchs schon frühzeitig in die Mahlzeitengestaltung einzubeziehen.'] Prediction: ['Einige Eltern wurden im Rahmen einer Mahlzeitengestaltung in der Stadt Zürich eingeführt.\nSie wurden dabei verletzt, ihren Nachwuchs schon frühzeitig in die Mahlzeitengestaltung einzubeziehen.'] Label: [['Überlegen Sie gemeinsam mit den Kindern, was es in den nächsten Tagen zu essen geben soll.']] Sacrebleu: {'score': 1.962672844874697, 'counts': [4, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [14.814814814814815, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.14814814814814814, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 27, 'reference_length': 18} Rouge: {'rouge1': 0.0909090909090909, 'rouge2': 0.0, 'rougeL': 0.0909090909090909, 'rougeLsum': 0.0909090909090909} Sari: {'sari': 33.088235294117645} Flesh Reading Ease: 33.45 ---------------------------------------- Source: ['Die Geschmacksvorlieben der Kinder ändern sich und an manche Geschmacksrichtungen gewöhnen sie sich erst.'] Prediction: ['Die Geschmacksvorlieben der Kinder ändern sich und an manche Geschmacksrichtungen gewöhnen sie sich erst.\nDie Geschmacksvorlieben der Kinder ändern sich und an manche Geschmacksrichtungen gewöhnen sie sich erst.'] Label: [['Gerade der kindliche Geschmack ist noch sehr veränderlich.']] Sacrebleu: {'score': 1.4763939041893883, 'counts': [2, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [6.666666666666667, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3333333333333335, 'translation_length': 30, 'reference_length': 9} Rouge: {'rouge1': 0.05128205128205128, 'rouge2': 0.0, 'rougeL': 0.05128205128205128, 'rougeLsum': 0.05128205128205128} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 54.85 ---------------------------------------- Source: ['Es hilft auch, das abgelehnte Gemüse nicht gleich vom Speiseplan zu streichen, sondern immer wieder anzubieten.'] Prediction: ['Das Gemüse in der Nähe von St. Gallen ist nicht nur wieder aufgefunden, sondern immer wieder anzubieten.\nDas Gemüse ist nicht nur nur wieder vom Speiseplan, sondern immer wieder anzubieten.'] Label: [['Und auch wenn der Brokkoli beim ersten Mal abgelehnt wird: Ermutigen Sie Ihr Kind, ab und zu neu zu probieren, was beim letzten Mal nicht geschmeckt hat.']] Sacrebleu: {'score': 1.5790460212418518, 'counts': [5, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [14.285714285714286, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1290322580645162, 'translation_length': 35, 'reference_length': 31} Rouge: {'rouge1': 0.06666666666666667, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.06666666666666667} Sari: {'sari': 34.73374295954941} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Motivieren Sie die Eltern, gelassen zu bleiben und das Essverhalten nicht ständig zu thematisieren, sondern eine angenehme und positive Situation am Esstisch zu schaffen.'] Prediction: ['Die Eltern, die sich mit dem Essverhalten nicht ständig zu thematisieren, sondern eine angenehme und positive Situation am Esstisch zu schaffen, sondern eine angenehme und positive Situation am Esstisch zu schaffen.\nDie Eltern, die Eltern und die Essverhalten nicht ständig zu thematisieren, sondern eine angenehme und positive Situation am Esstisch zu schaffen.'] Label: [['Eine fröhliche und entspannte Stimmung macht die Familien-Mahlzeit zu einem schönen Erlebnis.\nBleiben Sie gelassen und setzen Sie Ihr Kind nicht unter Druck.']] Sacrebleu: {'score': 1.0003311539759179, 'counts': [7, 0, 0, 0], 'totals': [59, 58, 57, 56], 'precisions': [11.864406779661017, 0.8620689655172413, 0.43859649122807015, 0.22321428571428573], 'bp': 1.0, 'sys_len': 59, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.11864406779661017, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.36, 'translation_length': 59, 'reference_length': 25} Rouge: {'rouge1': 0.15, 'rouge2': 0.0, 'rougeL': 0.125, 'rougeLsum': 0.125} Sari: {'sari': 31.802973977695164} Flesh Reading Ease: 31.15 ---------------------------------------- Source: ['Je mehr die Eltern die Kinder zum Gemüseessen drängen, desto mehr Stress entsteht am Tisch.'] Prediction: ['Die Kinder zum Gemüseessen drängen, desto mehr Stress entsteht am Tisch.\nDie Eltern sind zum Gemüseessen und sind zum Gemüseessen zum Tisch.\nDie Eltern sind zum Tisch, desto mehr Stress entsteht am Tisch.'] Label: [['Sonst kommen Stress und Ärger beim Essen auf.\nZwingen Sie Ihr Kind nicht, etwas zu essen, was ihm nicht schmeckt.\nDa passt es nicht, wenn Sie Druck auf Ihre Kinder ausüben, weil sie auch von dem gesunden Gemüse essen sollen.']] Sacrebleu: {'score': 1.2861135606276282, 'counts': [8, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [21.05263157894737, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 0.7891158754249911, 'sys_len': 38, 'ref_len': 47} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7891158754249911, 'length_ratio': 0.8085106382978723, 'translation_length': 38, 'reference_length': 47} Rouge: {'rouge1': 0.10126582278481013, 'rouge2': 0.0, 'rougeL': 0.0759493670886076, 'rougeLsum': 0.10126582278481013} Sari: {'sari': 37.54208754208754} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['Es ist ganz normal und gehört zur Entwicklung dazu, dass Kinder phasenweise sehr einseitig essen und nur wenige Gemüsearten mögen.'] Prediction: ['Kinder phasenweise mögen sehr einseitig essen und nur wenige Gemüsearten mögen.\nEs ist ganz normal und gehört zur Entwicklung dazu, dass Kinder phasenweise sehr einseitig essen und nur wenige Gemüsearten mögen.'] Label: [['Dabei ist es normal, wenn Kinder eine Zeit lang bestimmte Lebensmittel nicht essen.']] Sacrebleu: {'score': 1.7035962947530545, 'counts': [6, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [17.647058823529413, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2666666666666666, 'translation_length': 34, 'reference_length': 15} Rouge: {'rouge1': 0.2, 'rouge2': 0.0, 'rougeL': 0.16, 'rougeLsum': 0.16} Sari: {'sari': 37.5} Flesh Reading Ease: 41.65 ---------------------------------------- Source: ['Und was gibt es Schöneres, als mit Freunden zu kochen, gemeinsam am Tisch zu sitzen und das Essen in geselliger Runde zu genießen.'] Prediction: ['Schöneres, als mit Freunden zu kochen, sind gemeinsam am Tisch zu sitzen.\nDas Essen ist in geselliger Runde zu genießen.\nDas Essen ist in geselliger Runde zu genießen.'] Label: [['Kochen Sie selbst, ob allein oder mit Familie und Freunden.']] Sacrebleu: {'score': 1.5883027492953543, 'counts': [4, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [12.121212121212121, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.12121212121212122, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 33, 'reference_length': 12} Rouge: {'rouge1': 0.14634146341463414, 'rouge2': 0.0, 'rougeL': 0.0975609756097561, 'rougeLsum': 0.0975609756097561} Sari: {'sari': 35.496794871794876} Flesh Reading Ease: 65.4 ---------------------------------------- Source: ['Schon das Stöbern in Rezeptdatenbanken, um mal etwas Neues auszuprobieren und selbst die Planung samt Einkauf können Spaß machen.'] Prediction: ['Das Stöbern in Rezeptdatenbanken ist ein grosser Stöbern.\nEs können neue Neues auszuprobieren und selbst die Planung samt Einkauf können Spaß machen.'] Label: [['Machen Sie schon den Einkauf zu einem Genusserlebnis, zum Beispiel auf dem Wochenmarkt.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 24, 'reference_length': 15} Rouge: {'rouge1': 0.10256410256410257, 'rouge2': 0.0, 'rougeL': 0.05128205128205129, 'rougeLsum': 0.05128205128205129} Sari: {'sari': 32.38095238095238} Flesh Reading Ease: 63.7 ---------------------------------------- Source: ['Nehmen Sie sich Zeit fürs Essen.'] Prediction: ['Die Schweizer Welt hat sich für eine neue Woche zu Gast gegeben.\nSie wollen sich für eine neue Woche zurückziehen.'] Label: [['Nehmen sie sich Zeit für Ihre Mahlzeiten.']] Sacrebleu: {'score': 2.2731543567022867, 'counts': [3, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [13.636363636363637, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.13636363636363635, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 22, 'reference_length': 8} Rouge: {'rouge1': 0.25806451612903225, 'rouge2': 0.06896551724137931, 'rougeL': 0.25806451612903225, 'rougeLsum': 0.25806451612903225} Sari: {'sari': 26.875} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Sportvereine und Fitnessstudios bieten ein vielfältiges Kursangebot.'] Prediction: ['Sportvereine und Fitnessstudios bieten ein vielfältiges Kursangebot.\nEs ist ein vielfältiges Kursangebot.'] Label: [['In Sportvereinen, in Fitness-Studios, bei Lauftreffs oder in Kursen der Volkshochschule bietet sich die Gelegenheit dafür.']] Sacrebleu: {'score': 1.9869571647551538, 'counts': [1, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [7.142857142857143, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 0.6996725373751302, 'sys_len': 14, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6996725373751302, 'length_ratio': 0.7368421052631579, 'translation_length': 14, 'reference_length': 19} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 35.18518518518518} Flesh Reading Ease: 10.2 ---------------------------------------- Source: ['Wer hingegen in seinen besten Jahren Bewegung als festen Bestandteil in sein Leben integriert, trägt dazu bei, die Muskelmasse zu erhalten oder sogar zu steigern.'] Prediction: ['Die besten besten Jahren der besten Bestandteilen in der Schweiz werden in seinem Leben integriert.\nWir tragen dazu bei, die Muskelmasse zu erhalten oder sogar zu steigern.'] Label: [['Bewegung schützt Knochen und Gelenke und erhält die Muskeln oder baut sie wieder auf.']] Sacrebleu: {'score': 1.633898440122165, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 30, 'reference_length': 15} Rouge: {'rouge1': 0.09302325581395349, 'rouge2': 0.0, 'rougeL': 0.09302325581395349, 'rougeLsum': 0.09302325581395349} Sari: {'sari': 35.0} Flesh Reading Ease: 61.2 ---------------------------------------- Source: ['Das können einfache Alltagsbewegungen sein wie Treppensteigen oder zügiges Gehen beim Einkauf – nach dem Motto „Jeder Schritt hält fit“, aber auch sportliche Aktivitäten, sei es Fahrradfahren, Gymnastik oder gezieltes Muskeltraining.'] Prediction: ['Das können einfache Alltagsbewegungen sein wie Treppensteigen oder zügiges Gehen beim Einkauf.\nAuch Sportliche Aktivitäten seien es Fahrradfahren, Gymnastik oder gezieltes Muskeltraining.'] Label: [['Zum Beispiel kleine Dinge wie die Treppe zu steigen statt den Aufzug zu benutzen.\nSchon das bewusste Einbauen von Bewegung in den Alltag tut gut.']] Sacrebleu: {'score': 1.82985349484955, 'counts': [3, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [12.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.9231163463866358, 'sys_len': 25, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.12, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9231163463866358, 'length_ratio': 0.9259259259259259, 'translation_length': 25, 'reference_length': 27} Rouge: {'rouge1': 0.08, 'rouge2': 0.0, 'rougeL': 0.04, 'rougeLsum': 0.08} Sari: {'sari': 35.333333333333336} Flesh Reading Ease: 22.75 ---------------------------------------- Source: ['können Trinkrituale dabei unterstützen. Falls es Ihnen schwerfällt, die empfohlene Menge von etwa 1, 5 Litern aufzunehmen'] Prediction: ['Trotz Corona-Pandemie können Trinkrituale dabei unterstützen.\nDiese werden von etwa 1, 5 Litern aufgeführt.\nDie empfohlene Menge von etwa 1, 5 Litern aufzunehmen.'] Label: [['Bauen Sie feste Gewohnheiten in den Tagesablauf ein.\nFalls Sie dazu neigen, zu wenig zu trinken, achten Sie eine Weile mal ganz bewusst auf Ihr Trinkverhalten.\nEin und ein halber Liter sollten es auf den Tag verteilt sein.']] Sacrebleu: {'score': 1.1686405764093277, 'counts': [5, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [17.857142857142858, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 0.5852511043074122, 'sys_len': 28, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.17857142857142858, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5852511043074123, 'length_ratio': 0.6511627906976745, 'translation_length': 28, 'reference_length': 43} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 29.5959595959596} Flesh Reading Ease: 37.75 ---------------------------------------- Source: ['Beispielsweise zu jeder Mahlzeit ein Getränk oder nach dem Aufstehen direkt ein Glas Wasser leeren, kann leicht zur Gewohnheit werden.'] Prediction: ['Ein Glas Wasser kann leicht zur Gewohnheit werden.\nDerzeit kann nach dem Aufstehen direkt ein Getränk oder ein Glas Wasser leeren.\nDie Gewohnheit wird leicht zur Gewohnheit werden.'] Label: [['Nehmen Sie bei jeder Mahlzeit auf jeden Fall ein Getränk zu sich.\nTrinken Sie zum Beispiel ein großes Glas Wasser nach dem Aufstehen.']] Sacrebleu: {'score': 7.173775053353472, 'counts': [10, 4, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [32.25806451612903, 13.333333333333334, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.3225806451612903, 0.13333333333333333, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.24, 'translation_length': 31, 'reference_length': 25} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.1923076923076923, 'rougeL': 0.22222222222222224, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 37.16678058783322} Flesh Reading Ease: 77.1 ---------------------------------------- Source: ['Gerade weil ältere Menschen Durst weniger stark empfinden, hilft es, wenn sie sich eine Zeitlang aufs Trinken zu konzentrieren.'] Prediction: ['Die ältere Menschen wollen sich aufs Trinken konzentrieren.\nDie ältere Menschen wollen sich eine Zeitlang aufs Trinken zu konzentrieren.\nDie ältere Menschen wollen sich weniger stark empfinden.'] Label: [['Im Alter verringert sich bei vielen Menschen das Durstgefühl.']] Sacrebleu: {'score': 1.633898440122165, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 30, 'reference_length': 10} Rouge: {'rouge1': 0.10810810810810811, 'rouge2': 0.0, 'rougeL': 0.10810810810810811, 'rougeLsum': 0.05405405405405406} Sari: {'sari': 36.45833333333333} Flesh Reading Ease: 54.0 ---------------------------------------- Source: ['Eine Orientierung bietet die Ernährungspyramide.'] Prediction: ['Die Orientierung des Opfers in der Schweiz ist eine grosse Orientierung.\nDie Orientierung bietet die Ernährungspyramide.'] Label: [['Welche Lebensmittel Ihr Körper braucht, lesen Sie in den Texten Die Ernährungspyramide Teil 1 und Die Ernährungspyramide Teil 2.']] Sacrebleu: {'score': 2.718516209546605, 'counts': [5, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [27.77777777777778, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 0.846481724890614, 'sys_len': 18, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.0, 0.0, 0.0], 'brevity_penalty': 0.846481724890614, 'length_ratio': 0.8571428571428571, 'translation_length': 18, 'reference_length': 21} Rouge: {'rouge1': 0.25641025641025644, 'rouge2': 0.1081081081081081, 'rougeL': 0.25641025641025644, 'rougeLsum': 0.25641025641025644} Sari: {'sari': 42.97979797979798} Flesh Reading Ease: 43.3 ---------------------------------------- Source: ['Wählen Sie bewusst aus, was Sie essen und setzen Sie auf besonders nährstoffreiche Lebensmittel.'] Prediction: ['Eine Frau wurde auf einem nährstoffreiche Lebensmittel bewusst ausgegeben.\nSie wählen sie auf besonders nährstoffreiche Lebensmittel.\nDie Frau wurde dabei auf einem nährstoffreiche Lebensmittel bewusst.'] Label: [['Greifen Sie häufig bei nährstoffreichem Gemüse zu.']] Sacrebleu: {'score': 1.5880117714047368, 'counts': [2, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [7.142857142857143, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 28, 'reference_length': 8} Rouge: {'rouge1': 0.10256410256410257, 'rouge2': 0.0, 'rougeL': 0.10256410256410257, 'rougeLsum': 0.10256410256410257} Sari: {'sari': 34.774436090225564} Flesh Reading Ease: 37.15 ---------------------------------------- Source: ['Die Krux: Der Körper braucht zwar weniger Energie, aber noch genauso viele Nährstoffe wie in jungen Jahren und teilweise sogar noch etwas mehr.'] Prediction: ['Die Krux ist ein Körper, der weniger Energie braucht.\nDer Körper braucht weniger Energie, aber noch genauso viele Nährstoffe wie in jungen Jahren.'] Label: [['Ihr Körper braucht jetzt weniger Energie, aber genauso viele Nährstoffe wie in jungen Jahren.']] Sacrebleu: {'score': 36.39723552007909, 'counts': [14, 11, 8, 6], 'totals': [27, 26, 25, 24], 'precisions': [51.851851851851855, 42.30769230769231, 32.0, 25.0], 'bp': 1.0, 'sys_len': 27, 'ref_len': 16} Bleu: {'bleu': 0.36397235520079085, 'precisions': [0.5185185185185185, 0.4230769230769231, 0.32, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.6875, 'translation_length': 27, 'reference_length': 16} Rouge: {'rouge1': 0.6666666666666667, 'rouge2': 0.5499999999999999, 'rougeL': 0.6666666666666667, 'rougeLsum': 0.6666666666666667} Sari: {'sari': 62.563262019783764} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['Doch wenn die Ernährung nicht angepasst wird, kann das Körpergewicht steigen und damit verbunden auch das Risiko für Herz-Kreislauf-Krankheiten und chronischer Erkrankungen wie Diabetes mellitus Typ 2.'] Prediction: ['Das Körpergewicht steigt auch für Herz-Kreislauf-Krankheiten und chronischer Erkrankungen wie Diabetes mellitus Typ 2.\nDas Risiko für Herz-Kreislauf-Krankheiten und chronischer Erkrankungen wie Diabetes mellitus Typ 2 ist das Risiko für Herz-Kreislauf-Krankheiten und chronischer Erkrankungen.'] Label: [['Ein höheres Körpergewicht erhöht das Risiko für Herz-Kreislauf-Krankheiten oder Diabetes.\nWenn wir unsere Essgewohnheiten nicht ändern, nehmen wir zu.']] Sacrebleu: {'score': 7.633425279798759, 'counts': [8, 3, 2, 1], 'totals': [36, 35, 34, 33], 'precisions': [22.22222222222222, 8.571428571428571, 5.882352941176471, 3.0303030303030303], 'bp': 1.0, 'sys_len': 36, 'ref_len': 22} Bleu: {'bleu': 0.0763342527979876, 'precisions': [0.2222222222222222, 0.08571428571428572, 0.058823529411764705, 0.030303030303030304], 'brevity_penalty': 1.0, 'length_ratio': 1.6363636363636365, 'translation_length': 36, 'reference_length': 22} Rouge: {'rouge1': 0.2898550724637681, 'rouge2': 0.20895522388059704, 'rougeL': 0.2898550724637681, 'rougeLsum': 0.2898550724637681} Sari: {'sari': 42.91503839297957} Flesh Reading Ease: 22.6 ---------------------------------------- Source: ['Die körperlichen Veränderungen sind im gewissen Umfang normal.'] Prediction: ['Die körperlichen Veränderungen sind im gewissen Umfang normal.\nDie körperlichen Veränderungen sind im gewissen Umfang normal.'] Label: [['Das alles sind normale Entwicklungen.']] Sacrebleu: {'score': 2.5540496664715904, 'counts': [2, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [11.11111111111111, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 18, 'reference_length': 6} Rouge: {'rouge1': 0.08000000000000002, 'rouge2': 0.0, 'rougeL': 0.08000000000000002, 'rougeLsum': 0.08000000000000002} Sari: {'sari': 36.36363636363636} Flesh Reading Ease: 31.6 ---------------------------------------- Source: ['Mit zunehmendem nehmen Muskel- und Knochenmasse sowie der Wasseranteil ab, gleichzeitig steigt der Fettanteil.'] Prediction: ['Der Wasseranteil der Muskel und Knochenmasse ist abgebrochen.\nDie Wasseranteil steigt gleichzeitig.'] Label: [['Dafür steigt der Fettanteil im Körper leichter an.\nDie Muskelkraft lässt nach.\nDie Knochen sind nicht mehr so stabil wie in jungen Jahren.\nWenn wir älter werden, verändert sich unser Körper.']] Sacrebleu: {'score': 1.4836993870208715, 'counts': [5, 1, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [35.714285714285715, 7.6923076923076925, 4.166666666666667, 2.272727272727273], 'bp': 0.2077481871436008, 'sys_len': 14, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.35714285714285715, 0.07692307692307693, 0.0, 0.0], 'brevity_penalty': 0.20774818714360088, 'length_ratio': 0.3888888888888889, 'translation_length': 14, 'reference_length': 36} Rouge: {'rouge1': 0.125, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.125} Sari: {'sari': 42.38053969440641} Flesh Reading Ease: 51.15 ---------------------------------------- Source: ['Wer abwechlungsreich isst, ein normales Gewicht hält und sich regelmäßig bewegt, kann vielen Beschwerden vorbeugen.'] Prediction: ['Ein normales Gewicht hält und sich regelmäßig bewegt, kann vielen Beschwerden vorbeugen.\nDas ist ein normales Gewicht, ein normales Gewicht hält und sich regelmäßig bewegt, kann vielen Beschwerden vorbeugen.'] Label: [['Unterstützen Sie Ihren Körper mit ausgewogener Ernährung und viel Bewegung.']] Sacrebleu: {'score': 1.2944532586971997, 'counts': [2, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [5.882352941176471, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.090909090909091, 'translation_length': 34, 'reference_length': 11} Rouge: {'rouge1': 0.043478260869565216, 'rouge2': 0.0, 'rougeL': 0.043478260869565216, 'rougeLsum': 0.043478260869565216} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 54.35 ---------------------------------------- Source: ['Menschen im besten Alter sind leistungsfähiger, mobiler und gesünder als noch die Generationen vor ihnen.'] Prediction: ['Die Leistungen im besten Alter sind leistungsfähiger, mobiler und gesünder als noch die Generationen vor ihnen.\nDie Leistungen im besten Alter sind leistungsfähiger, mobiler und gesünder als noch die Generationen vor ihnen.'] Label: [['Heutzutage bleiben die meisten Menschen fit und aktiv, wenn sie älter werden.']] Sacrebleu: {'score': 1.4500372328365223, 'counts': [4, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [11.11111111111111, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5714285714285716, 'translation_length': 36, 'reference_length': 14} Rouge: {'rouge1': 0.08333333333333333, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.08333333333333333} Sari: {'sari': 28.174603174603174} Flesh Reading Ease: 41.15 ---------------------------------------- Source: ['Nur wer sich auf die Veränderungen einstellt und auch im Alter aktiv bleibt und sich bewusst ernährt, erhöht seine Chancen auf ein langes vitales und selbstbestimmtes Leben.'] Prediction: ['Nur wer sich auf die Veränderungen einstellt und auch im Alter aktiv bleibt und sich bewusst ernährt, erhöht seine Chancen auf ein langes vitales und selbstbestimmtes Leben.\nDie Chancen erhöhen auf ein langes vitales und selbstbestimmtes Leben.'] Label: [['Durch bewusste Ernährung können wir uns im Alter viel Gutes tun.\nEs tut gut, auch das Essen dem Alter anzupassen.\nDarauf können wir uns gut einstellen, wenn wir auf die Signale von unserem Körper achten.']] Sacrebleu: {'score': 3.0901532587310254, 'counts': [8, 2, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [20.0, 5.128205128205129, 1.3157894736842106, 0.6756756756756757], 'bp': 1.0, 'sys_len': 40, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.05128205128205128, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 40, 'reference_length': 40} Rouge: {'rouge1': 0.15, 'rouge2': 0.05128205128205128, 'rougeL': 0.1, 'rougeLsum': 0.125} Sari: {'sari': 37.88359788359788} Flesh Reading Ease: 56.2 ---------------------------------------- Source: ['Unser Körper verändert sich zwar mit dem Alter – ob wir wollen oder nicht!'] Prediction: ['Unser Körper verändert sich zwar mit dem Alter.\nOb wir wollen oder nicht wir wollen oder wir wollen oder nicht!'] Label: [['Mit zunehmendem Alter verändert sich der Körper.']] Sacrebleu: {'score': 4.34373789135831, 'counts': [5, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [22.727272727272727, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.22727272727272727, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 22, 'reference_length': 8} Rouge: {'rouge1': 0.45161290322580644, 'rouge2': 0.20689655172413796, 'rougeL': 0.1935483870967742, 'rougeLsum': 0.1935483870967742} Sari: {'sari': 43.16801619433199} Flesh Reading Ease: 88.1 ---------------------------------------- Source: ['Deshalb gehört das Pausenfrühstück auch zum Alltag in Kita und Grundschule.'] Prediction: ['Deshalb gehört das Pausenfrühstück auch zum Alltag in Kita und Grundschule.\nDas Team gehört das Pausenfrühstück auch zum Alltag in Kita und Grundschule.'] Label: [['Auch Kinder brauchen ausreichend Flüssigkeit.\nEine vollwertige Zwischenmahlzeit setzt sich aus vier Bestandteilen zusammen: Deshalb ist ein zweites Frühstück in der Schulpause oder in der Kita genauso wichtig wie das Frühstück zu Hause.']] Sacrebleu: {'score': 1.5778455984591997, 'counts': [7, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [28.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.6440364210831414, 'sys_len': 25, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.28, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6440364210831414, 'length_ratio': 0.6944444444444444, 'translation_length': 25, 'reference_length': 36} Rouge: {'rouge1': 0.2985074626865672, 'rouge2': 0.06153846153846154, 'rougeL': 0.23880597014925373, 'rougeLsum': 0.17910447761194026} Sari: {'sari': 38.88888888888889} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['Jetzt gehören gezuckerter Früchtetee, unverdünnte Säfte, Croissants, süße Teilchen und/oder Kindermilchprodukte nicht mehr dazu.'] Prediction: ['Einige Produkte sind in der Schweiz nicht mehr dazu.\nDie Produkte sind nur noch nicht mehr dazu.'] Label: [['Nicht geeignet sind Limonaden und Cola-Getränke, Eistee und andere gezuckerte Getränke.']] Sacrebleu: {'score': 2.4074859035470344, 'counts': [2, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [10.526315789473685, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4615384615384615, 'translation_length': 19, 'reference_length': 13} Rouge: {'rouge1': 0.12903225806451615, 'rouge2': 0.0, 'rougeL': 0.12903225806451615, 'rougeLsum': 0.06451612903225808} Sari: {'sari': 37.68674136321195} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['Damit das gemeinsame Klassenfrühstück nicht zur Kampf-, sondern zur Wohlfühlzone wird, müssen alle an einem Strang ziehen.'] Prediction: ['Das gemeinsame Klassenfrühstück nicht zur Kampf-, sondern zur Wohlfühlzone wird gemeinsam gemeinsam gemeinsam.\nDamit das gemeinsame Klassenfrühstück nicht zur Kampf-, sondern zur Wohlfühlzone wird, müssen alle an einem Strang ziehen.'] Label: [['Vollkornbrot bietet viel mehr Inhaltsstoffe als Backwaren aus Weißmehl.']] Sacrebleu: {'score': 1.0559717178170818, 'counts': [1, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [2.857142857142857, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.02857142857142857, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 35, 'reference_length': 10} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.21052631578947} Flesh Reading Ease: 48.0 ---------------------------------------- Source: ['Schritt 1: Ein erster Meilenstein ist es, wenn alle oder möglichst viele Schülerinnen und Schüler ein vollständiges Pausenfrühstück mit allen vier Bestandteilen dabei haben.'] Prediction: ['Am Sonntagabend gab es in der Schweiz einen ersten Meilenstein.\nEin Pausenfrühstück mit allen vier Bestandteilen haben sich dabei.\nDie Schülerinnen und Schüler haben ein Pausenfrühstück mit allen vier Bestandteilen dabei.'] Label: [['Kinder brauchen Nachschub in Form von Zwischenmahlzeiten.']] Sacrebleu: {'score': 1.2944532586971997, 'counts': [2, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [5.882352941176471, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.25, 'translation_length': 34, 'reference_length': 8} Rouge: {'rouge1': 0.045454545454545456, 'rouge2': 0.0, 'rougeL': 0.045454545454545456, 'rougeLsum': 0.045454545454545456} Sari: {'sari': 35.42483660130719} Flesh Reading Ease: 58.55 ---------------------------------------- Source: ['Nein! Diese Information gibt es auch in einfacher Sprache'] Prediction: ['Eine neue Sprache zeigt, wie es sich um eine Sprache zeigt.\nDie Sprache ist auch in einfacher Sprache.\nDie Sprache ist auch in einfacher Sprache.'] Label: [['Auch zwischendurch müssen die Energiespeicher wieder aufgefüllt werden.\nDas Pausenfrühstück in der Schule oder Kita wird meistens von zu Hause mitgebracht.']] Sacrebleu: {'score': 1.6934096677198087, 'counts': [3, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [10.344827586206897, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.10344827586206896, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2608695652173914, 'translation_length': 29, 'reference_length': 23} Rouge: {'rouge1': 0.12, 'rouge2': 0.0, 'rougeL': 0.12, 'rougeLsum': 0.08} Sari: {'sari': 39.20634920634921} Flesh Reading Ease: 83.95 ---------------------------------------- Source: ['Hierbei helfen die BZfE-Materialien rund um die Ernährungspyramide, die Methode SinnExperimente und der Baustein "Dem Zucker auf der Spur“. Falls möglich, gehen Sie anschließend noch einen Schritt weiter und bringen Sie die Kinder auf den Geschmack von ungesüßten Getränken, frischem Obst und Gemüse, (Vollkorn)-Brot und Milch.'] Prediction: ['Experiments und Baustein helfen die BZfE-Materialien rund um die Ernährungspyramide, die Methode SinnExperimente und der Baustein "Dem Zucker auf der Spur" helfen Sie anschließend noch einen Schritt weiter.\nDie BZfE-Materialien helfen rund um die Ernährungspyramide, die Methode SinnExperimente und der Baustein "Dem Zucker auf der Spur" helfen Sie anschließend noch einen Schritt weiter.'] Label: [['Dabei gilt: Je mehr Bestandteile vom Getreidekorn enthalten sind, desto besser.']] Sacrebleu: {'score': 0.7067604405306844, 'counts': [2, 0, 0, 0], 'totals': [61, 60, 59, 58], 'precisions': [3.278688524590164, 0.8333333333333334, 0.423728813559322, 0.21551724137931033], 'bp': 1.0, 'sys_len': 61, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.03278688524590164, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.357142857142857, 'translation_length': 61, 'reference_length': 14} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.83838383838384} Flesh Reading Ease: 30.65 ---------------------------------------- Source: ['Ebenso haben Frauen kleinere Hände als Männer, sie essen auch kleinere Portionen.'] Prediction: ['Frauen haben kleinere Hände als Männer, sie essen auch kleinere Portionen.\nEbenso haben Frauen kleinere Hände als Männer, sie essen auch kleinere Portionen.'] Label: [['Sie essen oft auch etwas kleinere Portionen, denn ihr Körper braucht etwas weniger Energie.\nFrauen haben oft etwas kleinere Hände als Männer.']] Sacrebleu: {'score': 13.254512146117515, 'counts': [13, 5, 2, 1], 'totals': [27, 26, 25, 24], 'precisions': [48.148148148148145, 19.23076923076923, 8.0, 4.166666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 25} Bleu: {'bleu': 0.13254512146117509, 'precisions': [0.48148148148148145, 0.19230769230769232, 0.08, 0.041666666666666664], 'brevity_penalty': 1.0, 'length_ratio': 1.08, 'translation_length': 27, 'reference_length': 25} Rouge: {'rouge1': 0.5, 'rouge2': 0.32, 'rougeL': 0.4615384615384615, 'rougeLsum': 0.5} Sari: {'sari': 50.52645502645502} Flesh Reading Ease: 45.65 ---------------------------------------- Source: ['Kleine Kinder, die weniger Nahrung brauchen, haben kleinere Hände, größere Kinder die größeren Hände und den größeren Appetit.'] Prediction: ['Kleinere Hände, größere Kinder die größeren Hände und den größeren Appetit haben kleinere Hände.\nDie Appetit ist nicht nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nach dem Appetit.\nDas ist nicht nur einmal, sondern einmal einmal einmal nur einmal nur einmal nur einmal nur einmal nur einmal nicht.'] Label: [['Größere Kinder brauchen schon mehr, ihre Hände wachsen mit.\nKleine Kinder brauchen weniger Nahrung, sie haben kleine Hände.']] Sacrebleu: {'score': 1.2740145809077923, 'counts': [8, 1, 0, 0], 'totals': [80, 79, 78, 77], 'precisions': [10.0, 1.2658227848101267, 0.6410256410256411, 0.3246753246753247], 'bp': 1.0, 'sys_len': 80, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.012658227848101266, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6363636363636362, 'translation_length': 80, 'reference_length': 22} Rouge: {'rouge1': 0.15686274509803919, 'rouge2': 0.08000000000000002, 'rougeL': 0.15686274509803919, 'rougeLsum': 0.15686274509803919} Sari: {'sari': 29.00648493320907} Flesh Reading Ease: 61.4 ---------------------------------------- Source: ['Sie ist individuell, wächst mit und berücksichtigt somit den unterschiedlichen Bedarf eines Menschen – je nach Alter und Geschlecht.'] Prediction: ['Eine Frau ist individuell, wächst mit und berücksichtigt somit den unterschiedlichen Bedarf eines Menschen.\nSie ist individuell und wächst mit und berücksichtigt somit den unterschiedlichen Bedarf eines Menschen.'] Label: [['Zweitens: Die Größe einer Hand zeigt, welche Menge für den Körper richtig ist.']] Sacrebleu: {'score': 1.696134390396339, 'counts': [4, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [12.903225806451612, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.12903225806451613, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9375, 'translation_length': 31, 'reference_length': 16} Rouge: {'rouge1': 0.08333333333333333, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.041666666666666664} Sari: {'sari': 36.8421052631579} Flesh Reading Ease: 37.3 ---------------------------------------- Source: ['Das große Plus: Die Hand ist immer dabei, wenn es ums Essen geht.'] Prediction: ['Die Hand ist immer dabei, wenn es ums Essen geht.\nDas große Plus: Die Hand ist immer dabei, wenn es ums Essen geht.'] Label: [['Erstens: Sie haben Ihre Hand immer dabei, also können Sie leicht messen.\nDie eigene Hand hat große Vorteile.']] Sacrebleu: {'score': 6.71647205235486, 'counts': [10, 2, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [35.714285714285715, 7.407407407407407, 3.8461538461538463, 2.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.35714285714285715, 0.07407407407407407, 0.038461538461538464, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2727272727272727, 'translation_length': 28, 'reference_length': 22} Rouge: {'rouge1': 0.31818181818181823, 'rouge2': 0.09523809523809525, 'rougeL': 0.22727272727272727, 'rougeLsum': 0.22727272727272727} Sari: {'sari': 41.96078431372549} Flesh Reading Ease: 92.45 ---------------------------------------- Source: ['Die Ernährungspyramide verwendet deshalb die eigene Hand als einfaches Maß. Auch exakte Mengenangaben in Gramm für Portionen sind unpraktisch und haben sich im Alltag nicht bewährt.'] Prediction: ['Die Ernährungspyramide verwendet deshalb die eigene Hand als einfaches Maß.\nAuch exakte Mengenangaben in Gramm für Portionen sind unpraktisch und haben sich im Alltag nicht bewährt.'] Label: [['Sie können ganz einfach Ihre Hand als Messhilfe nehmen.\nAber es geht viel praktischer.\nNatürlich können Sie alles ganz genau mit einer Waage abmessen.']] Sacrebleu: {'score': 3.176023542809473, 'counts': [4, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [14.285714285714286, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.037037037037037, 'translation_length': 28, 'reference_length': 27} Rouge: {'rouge1': 0.07142857142857142, 'rouge2': 0.03703703703703704, 'rougeL': 0.07142857142857142, 'rougeLsum': 0.07142857142857142} Sari: {'sari': 35.65270935960591} Flesh Reading Ease: 50.0 ---------------------------------------- Source: ['Denn das Maß für eine Portion kann die eigene Hand sein.'] Prediction: ['Das Maß für eine Portion kann die eigene Hand sein.\nDas Maß kann die eigene Hand sein.'] Label: [['Im Artikel ‚Wie kann ich sehen, wie groß eine Portion ist?\n’ lesen Sie, wie Sie mit der Hand verschiedene Portionen messen können.']] Sacrebleu: {'score': 3.3416458205245885, 'counts': [5, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [26.31578947368421, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 0.6563555554708402, 'sys_len': 19, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.2631578947368421, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 0.6563555554708402, 'length_ratio': 0.7037037037037037, 'translation_length': 19, 'reference_length': 27} Rouge: {'rouge1': 0.1951219512195122, 'rouge2': 0.05128205128205128, 'rougeL': 0.14634146341463414, 'rougeLsum': 0.1951219512195122} Sari: {'sari': 40.05681818181818} Flesh Reading Ease: 89.6 ---------------------------------------- Source: ['Das Modell zeigt, wie ausgewogenes Essen am Tag aussehen kann.'] Prediction: ['Das Modell zeigt, wie ausgewogenes Essen am Tag aussehen kann.\nDas Modell zeigt, wie ausgewogenes Essen am Tag aussehen kann.'] Label: [['Die Portionen können Sie natürlich über verschiedene Mahlzeiten verteilen.\nDie Pyramide zeigt 22 Portionen für einen Tag.']] Sacrebleu: {'score': 2.224972978585352, 'counts': [4, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [16.666666666666668, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.263157894736842, 'translation_length': 24, 'reference_length': 19} Rouge: {'rouge1': 0.10000000000000002, 'rouge2': 0.0, 'rougeL': 0.10000000000000002, 'rougeLsum': 0.10000000000000002} Sari: {'sari': 36.66666666666667} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Sie liefert einen Rahmen, den Sie nach Ihren eigenen Bedürfnissen, Ihrem Geschmack und Gewohnheiten ohne großen Verzicht füllen können.'] Prediction: ['Eine Frau wurde von ihrem Geschmack und Gewohnheiten ohne großen Verzicht füllen.\nSie liefert einen Rahmen, den Sie nach Ihren eigenen Bedürfnissen, Ihrem Geschmack und Gewohnheiten ohne großen Verzicht füllen kann.\nDie Frau liefert einen Rahmen, den Sie nach Ihren eigenen Bedürfnissen, Ihrem Geschmack und Gewohnheiten ohne großen Verzicht füllen können.'] Label: [['An der Pyramidenform können Sie sehen, was sie reichlich essen können und was Sie nicht zu oft nehmen sollten.']] Sacrebleu: {'score': 0.9795563576098021, 'counts': [6, 0, 0, 0], 'totals': [58, 57, 56, 55], 'precisions': [10.344827586206897, 0.8771929824561403, 0.44642857142857145, 0.22727272727272727], 'bp': 1.0, 'sys_len': 58, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.10344827586206896, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.761904761904762, 'translation_length': 58, 'reference_length': 21} Rouge: {'rouge1': 0.14814814814814817, 'rouge2': 0.025316455696202535, 'rougeL': 0.09876543209876543, 'rougeLsum': 0.1234567901234568} Sari: {'sari': 36.394557823129254} Flesh Reading Ease: 51.85 ---------------------------------------- Source: ['Ein großer Vorteil der Ernährungspyramide: Sie ist vielseitig. Die Ernährungspyramide hilft Ihnen dabei. Es mangelt aber oftmals daran, dieses Wissen auch in ein entsprechendes Verhalten, eben in die alltägliche Ernährungspraxis umzusetzen.'] Prediction: ['Ein großer Vorteil der Ernährungspyramide: Sie ist vielseitig.\nEs mangelt aber oftmals daran, dieses Wissen auch in ein entsprechendes Verhalten, eben in die alltägliche Ernährungspraxis umzusetzen.'] Label: [['Sie kann Ihnen helfen, gesund und mit Abwechslung zu essen.\nDie Pyramide ist eine Orientierungshilfe.']] Sacrebleu: {'score': 1.793443763338368, 'counts': [5, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [16.129032258064516, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.16129032258064516, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7222222222222223, 'translation_length': 31, 'reference_length': 18} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.08888888888888888, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 30.103359173126616} Flesh Reading Ease: 38.3 ---------------------------------------- Source: ['Und die Ampelfarben grün, gelb, rot geben bei der Auswahl der Lebensmittel eine erste Orientierung für den Tag.'] Prediction: ['Am Sonntagabend wurde in der Nähe der Lebensmittel eine erste Orientierung für den Tag gegeben.\nDie Ampelfarben grün, gelb, rot geben bei der Auswahl der Lebensmittel eine erste Orientierung für den Tag.'] Label: [['Die Ampelfarben zeigen auf einen Blick, bei welchen Lebensmitteln alles im grünen Bereich ist (grün) und wo Sie aufpassen sollten (rot).\nDie Pyramide hat drei Farben: grün, gelb und rot.']] Sacrebleu: {'score': 5.642550330346403, 'counts': [10, 4, 1, 0], 'totals': [36, 35, 34, 33], 'precisions': [27.77777777777778, 11.428571428571429, 2.9411764705882355, 1.5151515151515151], 'bp': 0.9200444146293233, 'sys_len': 36, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.11428571428571428, 0.029411764705882353, 0.0], 'brevity_penalty': 0.9200444146293233, 'length_ratio': 0.9230769230769231, 'translation_length': 36, 'reference_length': 39} Rouge: {'rouge1': 0.2318840579710145, 'rouge2': 0.08955223880597014, 'rougeL': 0.17391304347826086, 'rougeLsum': 0.20289855072463767} Sari: {'sari': 33.487385819921705} Flesh Reading Ease: 52.85 ---------------------------------------- Source: ['Folgende Ansätze des Stressmanagements können hierbei helfen:'] Prediction: ['Folgende Ansätze des Stressmanagements können hierbei helfen: Folgende Ansätze des Stressmanagements können hierbei helfen:'] Label: [['Diese Methoden können helfen, besser mit Stress zurechtzukommen:']] Sacrebleu: {'score': 3.21858262703621, 'counts': [3, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 16, 'reference_length': 10} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.07999999999999999, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 37.878787878787875} Flesh Reading Ease: 13.9 ---------------------------------------- Source: ['Diese Lebensmittel sind gut zu schlucken und helfen die Appetitlosigkeit zu überwinden. Stresshungerern fällt es unter Druck leichter, flüssige oder weiche Lebensmittel zu essen wie püriertes Obst, Buttermilch, Joghurt oder ein Glas Saft.'] Prediction: ['Einige Lebensmittel helfen die Appetitlosigkeit zu überwinden.\nDiese helfen die Appetitlosigkeit zu überwinden.'] Label: [['Ohne Kauen fällt das Essen manchmal leichter.\nWenn Ihnen widerstrebt zu essen, probieren Sie weiche oder flüssige Lebensmittel wie Joghurt, püriertes Obst oder Gemüsesuppen.']] Sacrebleu: {'score': 1.5622318224563203, 'counts': [4, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [26.666666666666668, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.4203503845086819, 'sys_len': 15, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 0.4203503845086819, 'length_ratio': 0.5357142857142857, 'translation_length': 15, 'reference_length': 28} Rouge: {'rouge1': 0.0975609756097561, 'rouge2': 0.0, 'rougeL': 0.04878048780487805, 'rougeLsum': 0.04878048780487805} Sari: {'sari': 30.827414243102165} Flesh Reading Ease: 15.55 ---------------------------------------- Source: ['Stressessern können Sie beispielsweise empfehlen, Gemüsesticks zu knabbern oder – wer es mag und nicht Hunger davon bekommt – zuckerfreies Kaugummi zu kauen.'] Prediction: ['Kauummi kauen zu Stressessern, Gemüsesticks zu knabbern oder zuckerfreie Kaugummi zu kauen.\nDie Käufer können sich beispielsweise empfehlen, Gemüsesticks zu knabbern oder Gemüsesticks zu knabbern oder zuckerfreies Kaugummi zu kauen.'] Label: [['Dann hilft manchen auch das Kauen von zuckerfreiem Kaugummi.\nEssen Sie eher zur Beruhigung oder Ablenkung?']] Sacrebleu: {'score': 1.432548017297354, 'counts': [3, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [8.823529411764707, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.08823529411764706, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8888888888888888, 'translation_length': 34, 'reference_length': 18} Rouge: {'rouge1': 0.11764705882352938, 'rouge2': 0.0, 'rougeL': 0.11764705882352938, 'rougeLsum': 0.11764705882352938} Sari: {'sari': 36.2037037037037} Flesh Reading Ease: 36.3 ---------------------------------------- Source: ['Sie leiden unter Appetitlosigkeit und Übelkeit und verlieren bei anhaltendem Stress häufig an Gewicht. Sogenannte Stresshungerer schlagen Kummer, Ärger oder Hektik auf den Magen.'] Prediction: ['Einige Stresshungerer leiden unter Appetitlosigkeit und Übelkeit und verlieren bei anhaltendem Stress häufig an Gewicht.\nSie leiden unter Appetitlosigkeit und Übelkeit und verlieren bei anhaltendem Stress häufig an Gewicht.'] Label: [['Ist der Stress groß, kann er Übelkeit oder eine Abneigung vor dem Essen auslösen.\nSie bemerken gar nicht mehr, dass sie Hunger haben.\nAndere Menschen verlieren bei Stress den Appetit.']] Sacrebleu: {'score': 3.545763432367959, 'counts': [8, 2, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [25.806451612903224, 6.666666666666667, 1.7241379310344827, 0.8928571428571429], 'bp': 0.8789456120040121, 'sys_len': 31, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.25806451612903225, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 0.8789456120040121, 'length_ratio': 0.8857142857142857, 'translation_length': 31, 'reference_length': 35} Rouge: {'rouge1': 0.1935483870967742, 'rouge2': 0.03333333333333333, 'rougeL': 0.16129032258064516, 'rougeLsum': 0.16129032258064516} Sari: {'sari': 36.64983164983165} Flesh Reading Ease: 36.8 ---------------------------------------- Source: ['Sie neigen dazu, bei Dauerstress Übergewicht zu entwickeln. Es gibt so genannte Stressesser, die hemmungslos futtern und fett- und zuckerreiche Speisen in kurzer Zeit verschlingen.'] Prediction: ['Dauerstress Übergewicht ist eine neue Woche.\nSie neigen dazu, bei Dauerstress Übergewicht zu entwickeln.\nEs gibt so genannte Stressesser, die hemmungslos futtern und fett- und zuckerreiche Speisen in kurzer Zeit verschlingen.'] Label: [['Dadurch nehmen diese sogenannten Stress-Esser bei Stress häufig an Gewicht zu.\nSie essen dann gerne fette und süße Speisen.']] Sacrebleu: {'score': 2.8048598302198355, 'counts': [7, 1, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [19.444444444444443, 2.857142857142857, 1.4705882352941178, 0.7575757575757576], 'bp': 1.0, 'sys_len': 36, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.19444444444444445, 0.02857142857142857, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7142857142857142, 'translation_length': 36, 'reference_length': 21} Rouge: {'rouge1': 0.18867924528301885, 'rouge2': 0.0, 'rougeL': 0.1509433962264151, 'rougeLsum': 0.18867924528301885} Sari: {'sari': 36.884411884411875} Flesh Reading Ease: 58.55 ---------------------------------------- Source: ['Genuss und Wertschätzung bleiben dabei allerdings auf der Strecke und auch Auswahl und Zusammensetzung des Essens finden wenig Beachtung.'] Prediction: ['Die Strecke und auch Auswahl und Zusammensetzung des Essens bleiben wenig Beachtung.\nDie Strecke bleibt auf der Strecke und auch auf der Strecke.\nDie Strecke bleibt wenig Beachtung.'] Label: [['Und oft wählt man unbewusst andere Lebensmittel aus als sonst.\nAber so fehlt der Genuss beim Essen.']] Sacrebleu: {'score': 1.5784309053930103, 'counts': [3, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [9.67741935483871, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.0967741935483871, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.631578947368421, 'translation_length': 31, 'reference_length': 19} Rouge: {'rouge1': 0.08695652173913043, 'rouge2': 0.0, 'rougeL': 0.08695652173913043, 'rougeLsum': 0.08695652173913043} Sari: {'sari': 34.08045977011494} Flesh Reading Ease: 77.1 ---------------------------------------- Source: ['Morgens in der S-Bahn auf dem Weg zur Arbeit, mittags zwischen zwei Terminen am Schreibtisch und abends vor dem Fernseher – für viele Menschen ist Essen zur Nebensache geworden.'] Prediction: ['Morgens in der S-Bahn auf dem Weg zur Arbeit, mittags zwischen zwei Terminen am Schreibtisch und abends vor dem Fernseher ist Essen zur Nebensache geworden.\nFür viele Menschen ist Essen zur Nebensache geworden.'] Label: [['Oder sie essen unterwegs.\nViele Menschen essen dann nebenher, während sie etwas anderes tun.']] Sacrebleu: {'score': 1.4500372328365223, 'counts': [4, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [11.11111111111111, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1176470588235294, 'translation_length': 36, 'reference_length': 17} Rouge: {'rouge1': 0.16, 'rouge2': 0.041666666666666664, 'rougeL': 0.16, 'rougeLsum': 0.16} Sari: {'sari': 36.43329850226402} Flesh Reading Ease: 64.05 ---------------------------------------- Source: ['Säureregulatoren (Kaliumlactat, Natriumacetate) sorgen dafür, dass das Produkt länger haltbar ist. Je nach Produkt kommen diverse Zusatzstoffe dazu wie Verdickungsmittel (z. B. Carrageen, Guarkernmehl, Johannisbrotkernmehl), Farbstoffe oder Aromen. Außer diesen pflanzlichen „Grundstoffen“ sorgen weitere Zutaten für die gewünschte Konsistenz, die Optik und den Geschmack, zum Beispiel Rapsöl, Sojaproteinkonzentrat (Wasser- und Fettbindemittel) und Sojaprotein-Isolat (Emulgator). Dafür verwenden sie unterschiedliche „Grundstoffe“.'] Prediction: ['Säureregulatoren sorgen dafür, dass das Produkt länger haltbar ist.\nDazu kommen diverse Zusatzstoffe dazu wie Verdickungsmittel (z.\nB. Carrageen, Guarkernmehl, Johannisbrotkernmehl), Farbstoffe oder Aromen.\nDafür verwenden sie unterschiedliche "Grundstoffe".'] Label: [['Dafür müssen diese Produkte aber stark verarbeitet werden und brauchen oft viele Zusatzstoffe.']] Sacrebleu: {'score': 1.1493330194206166, 'counts': [3, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [7.142857142857143, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 42, 'reference_length': 14} Rouge: {'rouge1': 0.12500000000000003, 'rouge2': 0.043478260869565216, 'rougeL': 0.12500000000000003, 'rougeLsum': 0.12500000000000003} Sari: {'sari': 33.874732170186725} Flesh Reading Ease: 20.6 ---------------------------------------- Source: ['Hersteller möchten den veganen Alternativen eine möglichst fleisch- und wurstähnliche Konsistenz, Textur und Geschmack verleihen.'] Prediction: ['Hersteller möchten den veganen Alternativen eine möglichst fleisch und wurstähnliche Konsistenz, Textur und Geschmack verleihen.\nSie möchten den veganen Alternativen eine möglichst fleisch und wurstähnliche Konsistenz, Textur und Geschmack verleihen.'] Label: [['Sie werden so hergestellt, dass sie Fleisch oder Würstchen möglichst ähnlich sind.\nIm Supermarktregal gibt es eine große Palette Fleischersatzprodukte.']] Sacrebleu: {'score': 1.7035962947530545, 'counts': [6, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [17.647058823529413, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4782608695652173, 'translation_length': 34, 'reference_length': 23} Rouge: {'rouge1': 0.1694915254237288, 'rouge2': 0.03508771929824561, 'rougeL': 0.10169491525423728, 'rougeLsum': 0.13559322033898305} Sari: {'sari': 38.59649122807018} Flesh Reading Ease: 30.45 ---------------------------------------- Source: ['Im unreifen Zustand hat das Fruchtfleisch eine sehr faserige Konsistenz (ähnlich wie Hähnchenfleisch) und ist geschmacksneutral.'] Prediction: ['Im Unfall in der Nähe von Stadt Bern hat ein Fruchtfleisch eine sehr faserige Konsistenz entdeckt.\nDas Fruchtfleisch ist geschmacksneutral.'] Label: [['Das Fruchtfleisch von dieser großen Frucht wird ebenfalls als Fleischersatz angeboten.']] Sacrebleu: {'score': 4.108053662461269, 'counts': [4, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 22, 'reference_length': 12} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.06451612903225806, 'rougeL': 0.12121212121212123, 'rougeLsum': 0.12121212121212123} Sari: {'sari': 39.914021164021165} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Sie wächst in vielen tropischen Ländern, vor allem in Südostasien. Jackfrucht ist die größte Baumfrucht der Welt.'] Prediction: ['Eine größte Baumfrucht der Welt ist die größte Baumfrucht der Welt.\nJackfrucht ist die größte Baumfrucht der Welt.'] Label: [['Die weiten Transportwege sind auch bei der Jackfruit problematisch.']] Sacrebleu: {'score': 2.276859592073037, 'counts': [2, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [10.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 20, 'reference_length': 10} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 37.301587301587304} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['Der Vorteil von Süßlupinen gegenüber Soja ist, dass sie auch in Deutschland angebaut und von Sojaallergikern vertragen werden.'] Prediction: ['Die 20-Minuten-App-Hostin Soja (24) hat sich mit ihrem Leben auf Social Media über ihre Leistungen gegenüber ihre Frau Süßlupinen (27) und ihre Partnerin Süßlupinen (29) veröffentlicht.\nDie beiden werden von ihren Partnerinnen und Partnern auch in der Schweiz angebaut.'] Label: [['Bei Seitan und Lopino fallen die langen Transportwege für den Grundstoff Soja weg.']] Sacrebleu: {'score': 0.9798555761147508, 'counts': [3, 0, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [6.122448979591836, 1.0416666666666667, 0.5319148936170213, 0.2717391304347826], 'bp': 1.0, 'sys_len': 49, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.061224489795918366, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 49, 'reference_length': 14} Rouge: {'rouge1': 0.1, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.1} Sari: {'sari': 53.998778998778995} Flesh Reading Ease: 43.5 ---------------------------------------- Source: ['Bei der Seitan-Herstellung wird Weizenmehl mit Wasser vermischt und zu einem festen Teig vermengt. Es hat eine fleischähnliche Konsistenz. Seitan besteht nicht aus Soja, sondern aus Weizenprotein (Weizengluten).'] Prediction: ['Weizenmehl wird weizenmehl mit Wasser vermischt und zu einem festen Teig vermengt.\nEs hat eine fleischähnliche Konsistenz.\nSeitan besteht nicht aus Soja, sondern aus Weizenprotein (Weizengluten).'] Label: [['Seitan ist ein Fleischersatz aus Weizenmehl und Wasser.']] Sacrebleu: {'score': 1.8154533256373546, 'counts': [6, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [18.75, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5555555555555554, 'translation_length': 32, 'reference_length': 9} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.0, 'rougeL': 0.11428571428571428, 'rougeLsum': 0.22857142857142856} Sari: {'sari': 35.786802030456855} Flesh Reading Ease: 54.3 ---------------------------------------- Source: ['Die Samen der Süßlupinen enthalten wie Sojabohnen sehr viel Eiweiß und können zu einem tofuähnlichen Produkt, dem so genannten Lopino, verarbeitet werden.'] Prediction: ['Die Samen der Süßlupinen enthalten wie Sojabohnen sehr viel Eiweiß und können zu einem tofuähnlichen Produkt, dem so genannten Lopino, verarbeitet werden.\nSojabohnen können zu einem tofuähnlichen Produkt, dem so genannten Lopino, verarbeitet werden.'] Label: [['Es ähnelt Tofu und lässt sich auch so verarbeiten.\nDieses Produkt heißt Lopino.\nEs gibt auch Fleischersatz aus Lupinensamen.']] Sacrebleu: {'score': 1.4378558189726398, 'counts': [6, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [15.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8181818181818181, 'translation_length': 40, 'reference_length': 22} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 36.206896551724135} Flesh Reading Ease: 28.45 ---------------------------------------- Source: ['Während Tofu aus Sojaflüssigkeit hergestellt wird, verwendet man für Tempeh ganze Sojabohnen.'] Prediction: ['Die Sojabohnen werden in der Nähe des Jahres 2020 aus dem Sojaflüssigkeit hergestellt.\nDie Tofu-Krise wird auf dem Sojaflüssigkeit geschlossen.\nDie Tofu-Krise wird auf dem Sojaflüssigkeit hergestellt.'] Label: [['Tofu wird aus Sojaflüssigkeit hergestellt, Tempeh aus ganzen Sojabohnen.']] Sacrebleu: {'score': 3.2677968802443296, 'counts': [6, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.727272727272727, 'translation_length': 30, 'reference_length': 11} Rouge: {'rouge1': 0.3255813953488372, 'rouge2': 0.0975609756097561, 'rougeL': 0.23255813953488375, 'rougeLsum': 0.27906976744186046} Sari: {'sari': 47.291666666666664} Flesh Reading Ease: 48.15 ---------------------------------------- Source: ['Die meisten von ihnen werden auf der Basis von Sojabohnen produziert, zum Beispiel Tofu, Tempeh und Sojafleisch (texturiertes Soja).'] Prediction: ['Die meisten von ihnen werden auf der Basis von Sojabohnen produziert, zum Beispiel Tofu, Tempeh und Sojafleisch.\nDie meisten von ihnen werden auf der Basis von Sojabohnen produziert, zum Beispiel Tofu, Tempeh und Sojafleisch (texturiertes Soja).'] Label: [['Dazu gehören Tofu, Tempeh und Sojafleisch.\nViele Produkte werden aus Soja hergestellt.']] Sacrebleu: {'score': 11.346446511593337, 'counts': [9, 5, 4, 3], 'totals': [44, 43, 42, 41], 'precisions': [20.454545454545453, 11.627906976744185, 9.523809523809524, 7.317073170731708], 'bp': 1.0, 'sys_len': 44, 'ref_len': 15} Bleu: {'bleu': 0.11346446511593337, 'precisions': [0.20454545454545456, 0.11627906976744186, 0.09523809523809523, 0.07317073170731707], 'brevity_penalty': 1.0, 'length_ratio': 2.933333333333333, 'translation_length': 44, 'reference_length': 15} Rouge: {'rouge1': 0.2448979591836735, 'rouge2': 0.1276595744680851, 'rougeL': 0.2448979591836735, 'rougeLsum': 0.2448979591836735} Sari: {'sari': 47.3504489951309} Flesh Reading Ease: 56.7 ---------------------------------------- Source: ['Der Handel bietet eine ganze Reihe von pflanzlichen Fleischalternativen an.'] Prediction: ['Der Handel des Fleischalternativen ist eine ganze Reihe von pflanzlichen Fleischalternativen angesteckt.\nDie ganze Reihe von pflanzlichen Fleischalternativen bietet eine ganze Reihe von pflanzlichen Fleischalternativen an.'] Label: [['Es gibt mittlerweile eine ganze Reihe Produkte, um Fleisch zu ersetzen.']] Sacrebleu: {'score': 5.341413623819777, 'counts': [4, 2, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [14.285714285714286, 7.407407407407407, 3.8461538461538463, 2.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.07407407407407407, 0.038461538461538464, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1538461538461537, 'translation_length': 28, 'reference_length': 13} Rouge: {'rouge1': 0.16216216216216214, 'rouge2': 0.11428571428571428, 'rougeL': 0.16216216216216214, 'rougeLsum': 0.16216216216216214} Sari: {'sari': 42.89141414141414} Flesh Reading Ease: 20.75 ---------------------------------------- Source: ['In feuchten Teigen, wie einem Rührteig, kann man statt einem Ei 80 Gramm Apfelmus verwenden.'] Prediction: ['Ein Ei 80 Gramm Apfelmus kann man statt einem Ei 80 Gramm Apfelmus verwenden.\nIn feuchten Teigen kann man statt einem Ei 80 Gramm Apfelmus verwenden.'] Label: [['Oder man nimmt statt einem Ei jeweils 80 Gramm Apfelmus.']] Sacrebleu: {'score': 8.983151137314808, 'counts': [8, 4, 2, 0], 'totals': [28, 27, 26, 25], 'precisions': [28.571428571428573, 14.814814814814815, 7.6923076923076925, 2.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.14814814814814814, 0.07692307692307693, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5454545454545454, 'translation_length': 28, 'reference_length': 11} Rouge: {'rouge1': 0.3888888888888889, 'rouge2': 0.23529411764705882, 'rougeL': 0.3888888888888889, 'rougeLsum': 0.3888888888888889} Sari: {'sari': 46.90564178369057} Flesh Reading Ease: 79.25 ---------------------------------------- Source: ['Laut Angaben des Vegetarierbund Deutschland lässt sich im Kuchen ein Ei durch eine halbe reife zerdrückte Banane ersetzen. Bei einem Kuchenteig, der nur ein Ei beinhaltet (z. B. Mürbeteig und Hefeteig), kann man das Ei oft einfach weglassen.'] Prediction: ['Ein Ei durch eine halbe reife zerdrückte Banane ist in Deutschland ersetzen.\nDas Ei kann oft einfach weglassen.'] Label: [['Beim Backen von Rührteig kann man pro Ei auch eine halbe reife Banane zerdrücken und zum Teig mischen.']] Sacrebleu: {'score': 8.808424865565325, 'counts': [7, 2, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 10.526315789473685, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.35, 0.10526315789473684, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0526315789473684, 'translation_length': 20, 'reference_length': 19} Rouge: {'rouge1': 0.358974358974359, 'rouge2': 0.10810810810810811, 'rougeL': 0.25641025641025644, 'rougeLsum': 0.3076923076923077} Sari: {'sari': 40.2499547529668} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Das Ei-Ersatzpulver wird mit Wasser vermischt und unter den Teig gerührt.'] Prediction: ['Das Ersatzpulver in der Nähe des Kantons Bern wird mit Wasser vermischt und unter den Teig gerührt.\nDie Ersatzpulver wird mit Wasser vermischt und unter den Teig gerührt.'] Label: [['Dieses Pulver wird dann mit Wasser angerührt und statt Ei verwendet.']] Sacrebleu: {'score': 3.1221929756173616, 'counts': [5, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 30, 'reference_length': 12} Rouge: {'rouge1': 0.2325581395348837, 'rouge2': 0.04878048780487805, 'rougeL': 0.2325581395348837, 'rougeLsum': 0.18604651162790697} Sari: {'sari': 40.208333333333336} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ['Im Reformhaus, Bioladen oder in gut sortierten Supermärkten gibt es Ei-Ersatzpulver.'] Prediction: ['Im Reformhaus, Bioladen oder in gut sortierten Supermärkten gibt es Ei-Ersatzpulver.\nIm Reformhaus, Bioladen oder in gut sortierten Supermärkten gibt es Ei-Ersatzpulver.'] Label: [['Es gibt Ei-Ersatzpulver zu kaufen.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.333333333333333, 'translation_length': 26, 'reference_length': 6} Rouge: {'rouge1': 0.25, 'rouge2': 0.06666666666666667, 'rougeL': 0.25, 'rougeLsum': 0.1875} Sari: {'sari': 37.254901960784316} Flesh Reading Ease: 40.3 ---------------------------------------- Source: ['Viele pflanzliche Brotaufstriche kann man auch gut selbst herstellen.'] Prediction: ['Viele pflanzliche Brotaufstriche kann man auch gut selbst herstellen.\nDie pflanzlichen Brotaufstrichen kann man auch gut selbst herstellen.'] Label: [['Pflanzliche Brotaufstriche lassen sich sehr gut selbst herstellen.']] Sacrebleu: {'score': 12.673718536830808, 'counts': [5, 3, 2, 1], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 15.789473684210526, 11.11111111111111, 5.882352941176471], 'bp': 1.0, 'sys_len': 20, 'ref_len': 9} Bleu: {'bleu': 0.12673718536830808, 'precisions': [0.25, 0.15789473684210525, 0.1111111111111111, 0.058823529411764705], 'brevity_penalty': 1.0, 'length_ratio': 2.2222222222222223, 'translation_length': 20, 'reference_length': 9} Rouge: {'rouge1': 0.3846153846153846, 'rouge2': 0.25, 'rougeL': 0.3846153846153846, 'rougeLsum': 0.3846153846153846} Sari: {'sari': 50.128205128205124} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Man muss wissen: Ohne Zusatzstoffe wie Stabilisatoren, Aromen, Farbstoffe oder Konservierungsstoffe kommen Käsealternativen häufig nicht aus.'] Prediction: ['Käsealternativen kommen häufig nicht aus.\nOhne Zusatzstoffe wie Stabilisatoren, Aromen, Farbstoffe oder Konservierungsstoffe kommen Käsealternativen häufig nicht aus.'] Label: [['Damit diese Produkte dem Aufschnitt aus tierischen Produkten ähnlich sind, verwendet man bei der Herstellung Zusatzstoffe.']] Sacrebleu: {'score': 2.4426633221059637, 'counts': [4, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2222222222222223, 'translation_length': 22, 'reference_length': 18} Rouge: {'rouge1': 0.10526315789473685, 'rouge2': 0.0, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.052631578947368425} Sari: {'sari': 34.26075268817204} Flesh Reading Ease: 1.35 ---------------------------------------- Source: ['Manche Produkte enthalten auch Mandeln, Cashewkerne, Soja und Hefeflocken. Käsealternativen werden nicht aus Milch hergestellt, sondern beispielsweise aus Wasser, pflanzlichem Öl, Kartoffelstärke, Salz und weiteren Zutaten.'] Prediction: ['Manche Produkte enthalten auch Mandeln, Cashewkerne, Soja und Hefeflocken.\nKäsealternativen werden nicht aus Milch hergestellt, sondern beispielsweise aus Wasser, pflanzlichem Öl, Kartoffelstärke, Salz und weiteren Zutaten.'] Label: [['Aus Cashewkernen lässt sich Käse-Ersatz herstellen, der entweder Frischkäse oder Schnittkäse ähnelt.']] Sacrebleu: {'score': 1.2944532586971997, 'counts': [2, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [5.882352941176471, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4285714285714284, 'translation_length': 34, 'reference_length': 14} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.08888888888888889, 'rougeLsum': 0.08888888888888889} Sari: {'sari': 34.04907975460123} Flesh Reading Ease: 26.6 ---------------------------------------- Source: ['Das können zum Beispiel Erdnuss-, Mandel- oder Haselnussmus sein oder Aufstriche, die auf einer Gemüsebasis und pflanzlichem Öl basieren.'] Prediction: ['Erdnuss-, Mandel oder Haselnussmus können zum Beispiel Erdnuss-, Mandel oder Haselnussmus sein oder Aufstriche sein.\nDas können zum Beispiel Erdnuss-, Mandel oder Haselnussmus sein oder Aufstriche sein oder auf einer Gemüsebasis und pflanzlichem Öl basieren.'] Label: [['Auch Mus aus Erdnüssen, Mandeln oder Haselnüssen ist lecker auf dem Brot.']] Sacrebleu: {'score': 1.2992493989257516, 'counts': [4, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [10.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.857142857142857, 'translation_length': 40, 'reference_length': 14} Rouge: {'rouge1': 0.07692307692307693, 'rouge2': 0.0, 'rougeL': 0.07692307692307693, 'rougeLsum': 0.07692307692307693} Sari: {'sari': 35.714285714285715} Flesh Reading Ease: 51.35 ---------------------------------------- Source: ['Anstelle von Wurst oder Käse als Brotbelag greifen viele Veganer auch zu pflanzlichen Brotaufstrichen.'] Prediction: ['Viele veganer greifen auch zu pflanzlichen Brotaufstrichen.\nSie greifen auch zu pflanzlichen Brotaufstrichen.'] Label: [['Als Brotbelag wählen die meisten Veganer Pflanzenaufstriche.']] Sacrebleu: {'score': 2.627961710408444, 'counts': [1, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [6.666666666666667, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.875, 'translation_length': 15, 'reference_length': 8} Rouge: {'rouge1': 0.09523809523809525, 'rouge2': 0.0, 'rougeL': 0.09523809523809525, 'rougeLsum': 0.09523809523809525} Sari: {'sari': 32.80423280423281} Flesh Reading Ease: 44.8 ---------------------------------------- Source: ['Durch die Milchsäuregärung (Fermentation) gerinnt die Sojaflüssigkeit, sie erhält eine dickflüssige Konsistenz und einen leicht säuerlichen Geschmack.'] Prediction: ['Die Sojaflüssigkeit ist eine dickflüssige Konsistenz.\nDurch die Milchsäuregärung (Fermentation) gerinnt die Sojaflüssigkeit, sie erhält eine dickflüssige Konsistenz und einen leicht säuerlichen Geschmack.'] Label: [['Sojagurt gibt es wie Joghurt in verschiedenen Geschmacksrichtungen.']] Sacrebleu: {'score': 1.3353534059549443, 'counts': [1, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [3.5714285714285716, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.03571428571428571, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.111111111111111, 'translation_length': 28, 'reference_length': 9} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.12698412698412} Flesh Reading Ease: 22.25 ---------------------------------------- Source: ['Für Sojagurt versetzt man die Sojaflüssigkeit (s. Milchalternativen) mit Milchsäurebakterien.'] Prediction: ['Für Sojagurt versetzt man die Sojaflüssigkeit mit Milchsäurebakterien.\nDie Sojaflüssigkeit versetzt man die Sojaflüssigkeit mit Milchsäurebakterien.'] Label: [['Für den Sojagurt verarbeitet man Flüssigkeit, die aus Sojabohnen hergestellt wird.']] Sacrebleu: {'score': 3.211547431691929, 'counts': [5, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [27.77777777777778, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3846153846153846, 'translation_length': 18, 'reference_length': 13} Rouge: {'rouge1': 0.3428571428571428, 'rouge2': 0.060606060606060615, 'rougeL': 0.3428571428571428, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 38.88888888888889} Flesh Reading Ease: 8.2 ---------------------------------------- Source: ['Diese Bezeichnungen sind nur Milch tierischen Ursprungs und daraus produzierten Milcherzeugnissen vorbehalten (Urteil des Europäischen Gerichtshofs (EuGH) vom 14. Juni 2017). Rein pflanzliche Produkte dürfen nicht unter Bezeichnungen wie „Milch“, „Rahm“, „Butter“, „Käse“, „Molke“, „Buttermilch“ oder „Joghurt“ vermarktet werden.'] Prediction: ['Nur Milch und daraus produzierten Milcherzeugnissen sind vorbehalten.\nRein pflanzliche Produkte dürfen nicht unter Bezeichnungen wie "Milch“, „Rahm“, „Butter“, „Käse“, „Buttermilch“ oder „Joghurt“ vermarktet werden.'] Label: [['All diese Drinks dürfen nicht als „Milch“ verkauft werden, denn Milch ist die Bezeichnung für das tierische Produkt.']] Sacrebleu: {'score': 3.0532163871777716, 'counts': [6, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [18.75, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 32, 'reference_length': 20} Rouge: {'rouge1': 0.25531914893617025, 'rouge2': 0.08888888888888889, 'rougeL': 0.2127659574468085, 'rougeLsum': 0.2127659574468085} Sari: {'sari': 34.69406764333514} Flesh Reading Ease: 38.8 ---------------------------------------- Source: ['Klassische Alternativen zu Kuhmilch sind vor allem Sojadrinks, Getreidedrinks (z. B. Hafer- und Reisdrinks) sowie Mandeldrinks.'] Prediction: ['Klassische Alternativen zu Kuhmilch sind vor allem Sojadrinks, Getreidedrinks (z.\nB. Hafer und Reisdrinks) sowie Mandeldrinks.\nDie Klassische Alternativen zu Kuhmilch sind vor allem Sojadrinks, Getreidedrinks (z.\nB. Hafer und Reisdrinks) sowie Mandeldrinks.'] Label: [['Es gibt eine ganze Reihe pflanzlicher Drinks, die gut statt Milch funktionieren, zum Beispiel aus Soja, Getreide wie Hafer oder Reis oder aus Mandeln.']] Sacrebleu: {'score': 1.1498052049318417, 'counts': [4, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [8.88888888888889, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.08888888888888889, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6071428571428572, 'translation_length': 45, 'reference_length': 28} Rouge: {'rouge1': 0.07017543859649122, 'rouge2': 0.0, 'rougeL': 0.07017543859649122, 'rougeLsum': 0.07017543859649122} Sari: {'sari': 35.81511839708561} Flesh Reading Ease: 54.7 ---------------------------------------- Source: ['So ist es beispielsweise möglich, dass ein Produkt einen Farbstoff enthält, der nicht-vegan ist.'] Prediction: ['Ein Farbstoff enthält einen Farbstoff, der nicht-vegan ist.\nDer nicht-vegan ist ein Farbstoff.\nDie Verantwortlichen sind sich beispielsweise möglich, dass ein Produkt einen Farbstoff enthält, der nicht-vegan ist.'] Label: [['Oder dass zum Beispiel ein nicht-veganer Farbstoff enthalten ist.\nEs kann also sein, dass trotzdem bei der Herstellung ein tierisches Produkt verwendet wurde.']] Sacrebleu: {'score': 3.8713182054813897, 'counts': [10, 2, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [29.41176470588235, 6.0606060606060606, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.29411764705882354, 0.06060606060606061, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3076923076923077, 'translation_length': 34, 'reference_length': 26} Rouge: {'rouge1': 0.27586206896551724, 'rouge2': 0.0, 'rougeL': 0.20689655172413793, 'rougeLsum': 0.27586206896551724} Sari: {'sari': 36.97771124417831} Flesh Reading Ease: 65.4 ---------------------------------------- Source: ['Die Kriterien dafür können von Unternehmen zu Unternehmen jedoch unterschiedlich ausfallen.'] Prediction: ['Unternehmen können sich jedoch unterschiedlich ausfallen.\nDie Kriterien dafür können dafür jedoch unterschiedlich ausfallen.'] Label: [['Allerdings gibt es für solche Logos keine genauen Vorschriften.']] Sacrebleu: {'score': 2.445593937240363, 'counts': [1, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [6.25, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 16, 'reference_length': 10} Rouge: {'rouge1': 0.07142857142857142, 'rouge2': 0.0, 'rougeL': 0.07142857142857142, 'rougeLsum': 0.07142857142857142} Sari: {'sari': 35.0} Flesh Reading Ease: 20.9 ---------------------------------------- Source: ['Manche Lebensmittelhersteller kennzeichnen ihre veganen Produkte mit ihrem eigenen Logo.'] Prediction: ['Manche Lebensmittelhersteller kennzeichnen ihre veganen Produkte mit ihrem eigenen Logo.\nSie kennzeichnen ihre veganen Produkte mit ihrem eigenen Logo.'] Label: [['Damit kennzeichnen sie ihre veganen Produkte.\nEinige Hersteller von Lebensmitteln haben eigene Logos entwickelt.']] Sacrebleu: {'score': 8.039313477786735, 'counts': [6, 2, 1, 0], 'totals': [21, 20, 19, 18], 'precisions': [28.571428571428573, 10.0, 5.2631578947368425, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.1, 0.05263157894736842, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3125, 'translation_length': 21, 'reference_length': 16} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.12903225806451615, 'rougeL': 0.30303030303030304, 'rougeLsum': 0.24242424242424243} Sari: {'sari': 44.50126262626262} Flesh Reading Ease: 24.25 ---------------------------------------- Source: ['Der Einsatz von GVO muss deklariert werden.'] Prediction: ['Der Einsatz von GVO muss deklariert werden.\nDer Einsatz von GVO muss deklariert werden.'] Label: [['Das muss dann aber extra gekennzeichnet werden.']] Sacrebleu: {'score': 5.412989186545263, 'counts': [3, 1, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 6.666666666666667, 3.5714285714285716, 1.9230769230769231], 'bp': 1.0, 'sys_len': 16, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 16, 'reference_length': 8} Rouge: {'rouge1': 0.19047619047619047, 'rouge2': 0.0, 'rougeL': 0.19047619047619047, 'rougeLsum': 0.19047619047619047} Sari: {'sari': 39.96212121212121} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Produkte, die das Siegel Veganblume tragen, dürfen gentechnisch veränderte Organismen (GVO) enthalten, die nicht tierischen Ursprungs sind.'] Prediction: ['Die veganen Organismen des Siegel Veganblumes wollen nicht tierischen Ursprungs sind.\nDie gentechnisch veränderte Organismen wollen das veganen Blume enthalten, die nicht tierischen Ursprungs sind.'] Label: [['Bei diesem Gütesiegel dürfen auch gentechnisch veränderte Pflanzen verwendet werden.\nDie Veganblume kennzeichnet vegane Lebensmittel.\nAuch die veganen Produkte mit dem V-Label sind streng geprüft.']] Sacrebleu: {'score': 4.491575568657404, 'counts': [8, 2, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [28.571428571428573, 7.407407407407407, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.07407407407407407, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 28, 'reference_length': 28} Rouge: {'rouge1': 0.25, 'rouge2': 0.11111111111111112, 'rougeL': 0.17857142857142855, 'rougeLsum': 0.25} Sari: {'sari': 37.56702477739063} Flesh Reading Ease: 38.8 ---------------------------------------- Source: ['Daher hat die Europäische Vegetarierunion (EVU) das sogenannte V-Label für vegetarische und vegane Produkte entwickelt.'] Prediction: ['Die Europäische Vegetarierunion hat das sogenannte V-Label für vegetarische und vegane Produkte entwickelt.\nDie EU hat das sogenannte V-Label für vegetarische und vegane Produkte entwickelt.'] Label: [['Das V-Label gibt es in einer Ausführung für vegetarische und für vegane Produkte.']] Sacrebleu: {'score': 7.305891545072536, 'counts': [8, 3, 1, 0], 'totals': [27, 26, 25, 24], 'precisions': [29.62962962962963, 11.538461538461538, 4.0, 2.0833333333333335], 'bp': 1.0, 'sys_len': 27, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.2962962962962963, 0.11538461538461539, 0.04, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9285714285714286, 'translation_length': 27, 'reference_length': 14} Rouge: {'rouge1': 0.46808510638297873, 'rouge2': 0.26666666666666666, 'rougeL': 0.46808510638297873, 'rougeLsum': 0.3829787234042553} Sari: {'sari': 44.63203463203463} Flesh Reading Ease: 15.4 ---------------------------------------- Source: ['Sprechen Sie mit Ihrem Arzt oder einer Ernährungsfachkraft, wie sie sich mit allen notwendigen Nährstoffen in ausreichender Menge versorgen können. Wenn Sie vegan essen wollen, sollten Sie sich vorher gut informieren.'] Prediction: ['Eine Ernährungsfachkraft kann vegan essen wollen.\nSie sollen sich vorher gut informieren.'] Label: [['Zum Beispiel, ob vegane Ernährung für einen selbst gut möglich ist und wie man alle Nährstoffe in ausreichender Menge zu sich nimmt.\nWer sich vegan ernähren möchte, lässt sich am besten dazu beraten.']] Sacrebleu: {'score': 0.8213956264208878, 'counts': [5, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [35.714285714285715, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 0.19342660460039254, 'sys_len': 14, 'ref_len': 37} Bleu: {'bleu': 0.0, 'precisions': [0.35714285714285715, 0.0, 0.0, 0.0], 'brevity_penalty': 0.19342660460039254, 'length_ratio': 0.3783783783783784, 'translation_length': 14, 'reference_length': 37} Rouge: {'rouge1': 0.15094339622641512, 'rouge2': 0.0, 'rougeL': 0.11320754716981132, 'rougeLsum': 0.15094339622641512} Sari: {'sari': 33.330053605094655} Flesh Reading Ease: 51.15 ---------------------------------------- Source: ['Kein Wunder, dass es immer mehr vegane Lebensmittel im Handel gibt.'] Prediction: ['Immer mehr vegane Lebensmittel im Handel gibt es immer mehr vegane Lebensmittel im Handel.\nDas ist ein Wunder, dass es immer mehr vegane Lebensmittel im Handel gibt.'] Label: [['Die Auswahl an veganen Lebensmitteln wird immer größer.']] Sacrebleu: {'score': 1.4763939041893883, 'counts': [2, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [6.666666666666667, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3333333333333335, 'translation_length': 30, 'reference_length': 9} Rouge: {'rouge1': 0.05555555555555555, 'rouge2': 0.0, 'rougeL': 0.05555555555555555, 'rougeLsum': 0.05555555555555555} Sari: {'sari': 35.714285714285715} Flesh Reading Ease: 61.2 ---------------------------------------- Source: ['Veganer verzichten auf alle Lebensmittel tierischen Ursprungs.'] Prediction: ['Ein vegane Lebensmittel-Proteste auf der Kippe von Tier 1 und 2 wurde aufgefunden.\nDie Ursprungen sind aufgrund der Lebensmittel tierischen Ursprungsgefahr.'] Label: [['Sie verzichten auf alle tierischen Produkte.\nVeganer essen ausschließlich pflanzliche Lebensmittel.']] Sacrebleu: {'score': 2.4623373672221804, 'counts': [5, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [21.73913043478261, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7692307692307692, 'translation_length': 23, 'reference_length': 13} Rouge: {'rouge1': 0.1764705882352941, 'rouge2': 0.0, 'rougeL': 0.11764705882352942, 'rougeLsum': 0.1764705882352941} Sari: {'sari': 37.31060606060606} Flesh Reading Ease: 46.65 ---------------------------------------- Source: ['Im Kühlschrank lagern die Speisen am besten im mittleren oder oberen Kühlschrankfach etwa drei bis vier Tage.'] Prediction: ['Im Kühlschrank lagern die Speisen am besten im mittleren oder oberen Kühlschrankfach etwa drei bis vier Tage.\nIm Kühlschrank lagern die Speisen am besten im mittleren oder oberen Kühlschrankfach etwa drei bis vier Tage.'] Label: [['Dort können sie drei oder vier Tage lang gelagert werden.\nDie einzelnen Behälter kommen dann in den Kühlschrank.']] Sacrebleu: {'score': 2.8048598302198355, 'counts': [7, 1, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [19.444444444444443, 2.857142857142857, 1.4705882352941178, 0.7575757575757576], 'bp': 1.0, 'sys_len': 36, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.19444444444444445, 0.02857142857142857, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 36, 'reference_length': 20} Rouge: {'rouge1': 0.2711864406779661, 'rouge2': 0.07017543859649122, 'rougeL': 0.2033898305084746, 'rougeLsum': 0.2033898305084746} Sari: {'sari': 39.120370370370374} Flesh Reading Ease: 69.4 ---------------------------------------- Source: ['Einige Lebensmittel schmecken eingekocht besonders lecker, zum Beispiel eine selbstgemachte Tomatensauce mit Tomaten aus dem eigenen Garten.'] Prediction: ['Einige Lebensmittel schmecken eingekocht besonders lecker.\nEine selbstgemachte Tomatensauce mit Tomaten aus dem eigenen Garten wurde bei einem Beispiel eingekocht.\nEinige Lebensmittel schmecken eingekocht besonders lecker.'] Label: [['Davon können Sie eine größere Menge einkochen und dann in Gläser abfüllen und aufbewahren.\nWie wäre es zum Beispiel mit fruchtiger Tomatensoße?']] Sacrebleu: {'score': 1.6934096677198087, 'counts': [3, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [10.344827586206897, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.10344827586206896, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2083333333333333, 'translation_length': 29, 'reference_length': 24} Rouge: {'rouge1': 0.11111111111111112, 'rouge2': 0.0, 'rougeL': 0.07407407407407408, 'rougeLsum': 0.07407407407407408} Sari: {'sari': 30.53030303030303} Flesh Reading Ease: 25.05 ---------------------------------------- Source: ['Vorgekochte Mahlzeiten lagern Sie am besten in wiederverwendbaren Vorratsboxen aus Glas oder Plastik oder in Twist-Off- oder Einmachgläsern (Weck-Gläsern).'] Prediction: ['Vorgekochte Mahlzeiten lagern Sie am besten in wiederverwendbaren Vorratsboxen aus Glas oder Plastik oder in Twist-Off oder Einmachgläsern (Weck-Gläsern).\nViele Vorgekochte wollen sich mit dem Vorratsboxen aus Glas oder Plastik oder in Twist-Off oder Einmachgläsern wiederverwenden.'] Label: [['Die Boxen gibt es aus Kunststoff, Glas und Metall.\nGut geeignet sind Vorratsboxen mit fest schließendem Deckel.']] Sacrebleu: {'score': 1.4378558189726398, 'counts': [6, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [15.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 40, 'reference_length': 20} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.1} Sari: {'sari': 37.12121212121212} Flesh Reading Ease: 39.15 ---------------------------------------- Source: ['Meal Prepping ist für alle interessant, die viel unterwegs sind, eine Menge um die Ohren haben, alleine leben, weniger Lebensmittel wegwerfen oder die Eigenkreationen gerne „to go“ mitnehmen möchten.'] Prediction: ['Meal Prepping ist für alle interessant, die viel unterwegs sind, eine Menge um die Ohren haben, alleine leben, weniger Lebensmittel wegwerfen oder die Eigenkreationen gerne "to go“ mitnehmen möchten.\nDie Prepping-Menge um die Ohren haben, alleine leben, weniger Lebensmittel wegwerfen oder die Eigenkreationen gerne "to go“ mitnehmen möchten.'] Label: [['Insgesamt landet bei einem Wocheneinkauf mit Plan am Ende meist weniger Essen in der Abfalltonne.\nDenn für sie sind die üblichen Packungen oft zu groß.\nVor allem alleinlebende Menschen haben dadurch noch mehr Vorteile.\nDas spart Geld und Verpackungsmaterial.\nWer für mehrere Mahlzeiten einkauft, kann oft größere Packungen auswählen.\nDie vorgekochten Essen können Sie auch prima zur Arbeit mitnehmen.']] Sacrebleu: {'score': 1.6306525151340385, 'counts': [10, 1, 0, 0], 'totals': [58, 57, 56, 55], 'precisions': [17.24137931034483, 1.7543859649122806, 0.8928571428571429, 0.45454545454545453], 'bp': 0.8711587695892689, 'sys_len': 58, 'ref_len': 66} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.017543859649122806, 0.0, 0.0], 'brevity_penalty': 0.8711587695892689, 'length_ratio': 0.8787878787878788, 'translation_length': 58, 'reference_length': 66} Rouge: {'rouge1': 0.13793103448275862, 'rouge2': 0.017543859649122806, 'rougeL': 0.1206896551724138, 'rougeLsum': 0.13793103448275862} Sari: {'sari': 36.86958665277264} Flesh Reading Ease: 27.3 ---------------------------------------- Source: ['Für die Zubereitung muss blanchiertes Gemüse nicht erst auftauen, sondern wandert direkt in die Pfanne.'] Prediction: ['Die Pfanne muss blanchiertes Gemüse nicht erst auftauen, sondern wandert direkt in die Pfanne.\nDie Zubereitung muss blanchiertes Gemüse nicht erst auftauen, sondern wandert direkt in die Pfanne.'] Label: [['Sie können das Gemüse direkt aus dem Gefriergerät in einer Pfanne anbraten oder auch in Suppen geben.']] Sacrebleu: {'score': 1.8154533256373546, 'counts': [6, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [18.75, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 32, 'reference_length': 18} Rouge: {'rouge1': 0.24, 'rouge2': 0.041666666666666664, 'rougeL': 0.24, 'rougeLsum': 0.2} Sari: {'sari': 37.5} Flesh Reading Ease: 54.85 ---------------------------------------- Source: ['Nach dem Abtropfen können Sie alles gut verschlossen in einem wiederverwendbaren Plastik- oder Glasbehältnis im Gefriergerät lagern.'] Prediction: ['Nach dem Abtropfen können Sie alles gut verschlossen in einem wiederverwendbaren Plastik oder Glasbehältnis im Gefriergerät lagern.\nDie Polizei hatte den Abtäter aufgefordert, dass sie sich mit dem Abtäter auf dem Abtäter geben können.'] Label: [['Das blanchierte Gemüse in Portionen abfüllen und einfrieren.']] Sacrebleu: {'score': 1.184949136625139, 'counts': [2, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [5.405405405405405, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.05405405405405406, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.111111111111111, 'translation_length': 37, 'reference_length': 9} Rouge: {'rouge1': 0.03921568627450981, 'rouge2': 0.0, 'rougeL': 0.03921568627450981, 'rougeLsum': 0.03921568627450981} Sari: {'sari': 35.08771929824561} Flesh Reading Ease: 46.0 ---------------------------------------- Source: ['Zum Blanchieren geben Sie gewaschenes und zerkleinertes Gemüse für eine bis maximal zwei Minuten in kochendes Wasser und danach für einige Sekunden in ein Eiswasserbad.'] Prediction: ['Die Schweizer Weltfahrt hat einen Blanchieren für eine bis maximal zwei Minuten in kochendes Wasser gegeben.\nDie Gemüse geben zum Blanchieren in kochendes Wasser und danach für einige Sekunden in ein Eiswasserbad.'] Label: [['Das nennt man blanchieren.\nAnschließend für ein paar Sekunden in Eiswasser tauchen.\nDann für ein bis zwei Minuten in kochendes Wasser geben.\nVerschiedene Gemüse putzen und kleinschneiden.']] Sacrebleu: {'score': 14.410670132605604, 'counts': [16, 5, 3, 2], 'totals': [34, 33, 32, 31], 'precisions': [47.05882352941177, 15.151515151515152, 9.375, 6.451612903225806], 'bp': 1.0, 'sys_len': 34, 'ref_len': 31} Bleu: {'bleu': 0.14410670132605607, 'precisions': [0.47058823529411764, 0.15151515151515152, 0.09375, 0.06451612903225806], 'brevity_penalty': 1.0, 'length_ratio': 1.096774193548387, 'translation_length': 34, 'reference_length': 31} Rouge: {'rouge1': 0.5454545454545455, 'rouge2': 0.25, 'rougeL': 0.3636363636363636, 'rougeLsum': 0.5151515151515151} Sari: {'sari': 46.32829676493023} Flesh Reading Ease: 52.85 ---------------------------------------- Source: ['Geben Sie erst unmittelbar vor dem Verzehr nach Belieben Kräuter, Senf, Honig oder frischen Knoblauch hinzu.'] Prediction: ['Eine Frau wurde unmittelbar vor dem Verzehr nach Belieben Kräuter, Senf, Honig oder frischen Knoblauch hinzugeführt.\nSie war mit dem Verzehr nach Belieben Kräuter, Senf, Honig oder frischen Knoblauch hinzugeführt.'] Label: [['Dieses Grund-Dressing können Sie jeden Tag anders verfeinern, zum Beispiel mit Kräutern, Senf oder Honig.']] Sacrebleu: {'score': 2.9000744656730446, 'counts': [8, 1, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [22.22222222222222, 2.857142857142857, 1.4705882352941178, 0.7575757575757576], 'bp': 1.0, 'sys_len': 36, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.02857142857142857, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 36, 'reference_length': 18} Rouge: {'rouge1': 0.23076923076923078, 'rouge2': 0.0, 'rougeL': 0.1923076923076923, 'rougeLsum': 0.1923076923076923} Sari: {'sari': 40.266106442577026} Flesh Reading Ease: 59.7 ---------------------------------------- Source: ['Mischen Sie dazu Essig und Öl (zum Beispiel Balsamico und Olivenöl) etwa im Verhältnis 1: 2 mit etwas Wasser, Salz und Pfeffer.'] Prediction: ['Die Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer stehen im Verhältnis 1: 2.\nEs ist der erste Meistertitel der Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schwe'] Label: [['Mischen Sie 1 Teil Essig, 2 Teile Öl, etwas Wasser, Salz und Pfeffer zu einem Grundrezept.']] Sacrebleu: {'score': 0.20634507704202834, 'counts': [3, 0, 0, 0], 'totals': [227, 226, 225, 224], 'precisions': [1.3215859030837005, 0.22123893805309736, 0.1111111111111111, 0.05580357142857143], 'bp': 1.0, 'sys_len': 227, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.013215859030837005, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 11.35, 'translation_length': 227, 'reference_length': 20} Rouge: {'rouge1': 0.016528925619834708, 'rouge2': 0.0, 'rougeL': 0.016528925619834708, 'rougeLsum': 0.016528925619834708} Sari: {'sari': 26.947102604997347} Flesh Reading Ease: -49.51 ---------------------------------------- Source: ['Mit der richtigen Küchenhygiene geben Sie Mikroorganismen keine Chance.'] Prediction: ['Mikroorganismen wollen sich mit der richtigen Küchenhygiene keine Chance sein.\nMit der richtigen Küchenhygiene geben Sie Mikroorganismen keine Chance.'] Label: [['Beim Meal Prepping ist es besonders wichtig, auf Hygiene und Sauberkeit in der Küche zu achten.']] Sacrebleu: {'score': 2.159701133933343, 'counts': [2, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [9.523809523809524, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.09523809523809523, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1666666666666667, 'translation_length': 21, 'reference_length': 18} Rouge: {'rouge1': 0.10526315789473684, 'rouge2': 0.0, 'rougeL': 0.10526315789473684, 'rougeLsum': 0.10526315789473684} Sari: {'sari': 36.11111111111111} Flesh Reading Ease: 18.4 ---------------------------------------- Source: ['Als Kochevent mit der Familie oder Freunden macht Meal Prepping doppelt Spaß.'] Prediction: ['Meal Prepping ist ein vegan oder veganes Kochevent.\nAls Kochevent mit der Familie oder Freunden macht Meal Prepping doppelt Spaß.'] Label: [['Oder Sie laden Freunde zum Meal Prepping ein.\nMachen Sie aus dem Meal Prepping ein Erlebnis für die ganze Familie.\nVor allem macht es dann viel mehr Spaß!\nSchneller geht es, wenn mehrere Leute gemeinsam kochen.']] Sacrebleu: {'score': 2.590037797850744, 'counts': [10, 2, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [45.45454545454545, 9.523809523809524, 2.5, 1.3157894736842106], 'bp': 0.4216261054870036, 'sys_len': 22, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.45454545454545453, 0.09523809523809523, 0.0, 0.0], 'brevity_penalty': 0.4216261054870036, 'length_ratio': 0.5365853658536586, 'translation_length': 22, 'reference_length': 41} Rouge: {'rouge1': 0.3157894736842105, 'rouge2': 0.07272727272727272, 'rougeL': 0.2105263157894737, 'rougeLsum': 0.2807017543859649} Sari: {'sari': 40.98635235732011} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Etwa 1, 5 bis 3 Stunden dauern Vorbereitung, Kochen und Aufräumen, je nachdem, wie aufwendig die Gerichte sind.'] Prediction: ['Die Gerichte sind am Freitagabend auf dem 1, 5 bis 3 Stunden aufwendig.\nDie Gerichte sind wohl aufwendig, wie aufwendig die Gerichte sind.\nDie Gerichte sind auch aufwendig, wie aufwendig die Gerichte sind.'] Label: [['Sie brauchen zwischen anderthalb und drei Stunden Zeit, bis alles geschnippelt, gekocht und in einzelnen Portionen verpackt ist.']] Sacrebleu: {'score': 1.4104555382959003, 'counts': [5, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [12.820512820512821, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.1282051282051282, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 39, 'reference_length': 21} Rouge: {'rouge1': 0.0784313725490196, 'rouge2': 0.0, 'rougeL': 0.0392156862745098, 'rougeLsum': 0.0392156862745098} Sari: {'sari': 35.20776874435411} Flesh Reading Ease: 69.55 ---------------------------------------- Source: ['Beim Einkauf lagern gekühlte und tiefgekühlte Lebensmittel kurzfristig am besten in einer Kühltasche.'] Prediction: ['Beim Einkauf lagern Lebensmittel kurzfristig am besten in einer Kühltasche.\nEin Lebensmittel kam auf einer Kühltasche.\nDer Lebensmittel war auf einer Kühltasche gekühlt und tiefgekühlte Lebensmittel kurzfristig am besten in einer Kühltasche.'] Label: [['So bringen Sie gekühlte Lebensmittel sicher nach Hause.\nBeim Einkauf ist eine Kühltasche nützlich.']] Sacrebleu: {'score': 2.7794738724637273, 'counts': [6, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [17.142857142857142, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.17142857142857143, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1875, 'translation_length': 35, 'reference_length': 16} Rouge: {'rouge1': 0.2545454545454545, 'rouge2': 0.11320754716981132, 'rougeL': 0.1818181818181818, 'rougeLsum': 0.2545454545454545} Sari: {'sari': 30.774853801169595} Flesh Reading Ease: 46.45 ---------------------------------------- Source: ['Verständlich, wenn Kochen oder die Einkaufsplanung nebenbei erledigt werden und der Hunger unterwegs mit dem belegten Brötchen auf die Hand gestillt wird.'] Prediction: ['Ein Brötchen wird auf die Hand gestillt.\nDie Hunger wird unterwegs mit dem belegten Brötchen auf die Hand gestillt.'] Label: [['Das ist verständlich, denn man möchte ja irgendwann Feierabend haben.\nUnd sucht sich dort Lebensmittel, die „schnell gehen“.\nAlso saust man nach der Arbeit gestresst durch den Supermarkt.\nDa bleibt wenig Zeit für das Einkaufen und Kochen übrig.']] Sacrebleu: {'score': 0.7993934950664598, 'counts': [3, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [14.285714285714286, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 0.3344599641429015, 'sys_len': 21, 'ref_len': 44} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 0.3344599641429015, 'length_ratio': 0.4772727272727273, 'translation_length': 21, 'reference_length': 44} Rouge: {'rouge1': 0.03225806451612904, 'rouge2': 0.0, 'rougeL': 0.03225806451612904, 'rougeLsum': 0.03225806451612904} Sari: {'sari': 30.43917435221783} Flesh Reading Ease: 82.75 ---------------------------------------- Source: ['Ob Single-Haushalt, Wohngemeinschaft oder Familie – für viele Menschen besteht der Alltag aus Beruf, Familie und dem berühmten Freizeitstress.'] Prediction: ['Die Single-Haushalt, Wohngemeinschaft oder Familie besteht der Alltag aus Beruf, Familie und dem berühmten Freizeitstress.\nOb die Alltag aus Beruf, Familie und dem berühmten Freizeitstress besteht, besteht der Alltag aus Beruf, Familie und dem berühmten Freizeitstress.'] Label: [['Arbeit, Familie, Freizeit - in der Woche ist häufig viel zu tun.']] Sacrebleu: {'score': 2.1432834272474053, 'counts': [5, 1, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [11.627906976744185, 2.380952380952381, 1.2195121951219512, 0.625], 'bp': 1.0, 'sys_len': 43, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.11627906976744186, 0.023809523809523808, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8666666666666667, 'translation_length': 43, 'reference_length': 15} Rouge: {'rouge1': 0.07692307692307691, 'rouge2': 0.0, 'rougeL': 0.07692307692307691, 'rougeLsum': 0.07692307692307691} Sari: {'sari': 37.36645299145299} Flesh Reading Ease: 50.85 ---------------------------------------- Source: ['Kurz unter Rühren aufkochen lassen und sofort in heiß ausgespülte Einmachgläser oder Glasflaschen mit großer Öffnung abfüllen.'] Prediction: ['In heißen Einmachgläser oder Glasflaschen werden großer Öffnung abfüllen.\nDie Einmachgläser werden in heißen Einmachgläser abfüllen.\nDie Einmachgläser werden mit großer Öffnung abfüllen.'] Label: [['Das heiße Ketchup in ein heiß ausgespültes Einmachglas oder eine Glasflasche geben Ketchup im Topf kurz aufkochen lassen']] Sacrebleu: {'score': 1.7179060012299232, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4444444444444444, 'translation_length': 26, 'reference_length': 18} Rouge: {'rouge1': 0.14814814814814817, 'rouge2': 0.0, 'rougeL': 0.11111111111111112, 'rougeLsum': 0.11111111111111112} Sari: {'sari': 31.09427609427609} Flesh Reading Ease: 37.75 ---------------------------------------- Source: ['Dann die Stärke mit etwas kaltem Wasser verquirlen und in das Ketchup einrühren.'] Prediction: ['Die Stärke mit etwas kaltem Wasser verquirlen und in das Ketchup einrühren die Stärke mit etwas kaltem Wasser.\nDie Stärke mit etwas kaltem Wasser verquirlen und in das Ketchup einrühren die Stärke mit etwas kaltem Wasser.'] Label: [['Die Speisestärke mit etwas kaltem Wasser mischen und dann in das Ketchup einrühren']] Sacrebleu: {'score': 12.82984302920752, 'counts': [10, 6, 4, 2], 'totals': [38, 37, 36, 35], 'precisions': [26.31578947368421, 16.216216216216218, 11.11111111111111, 5.714285714285714], 'bp': 1.0, 'sys_len': 38, 'ref_len': 13} Bleu: {'bleu': 0.12829843029207522, 'precisions': [0.2631578947368421, 0.16216216216216217, 0.1111111111111111, 0.05714285714285714], 'brevity_penalty': 1.0, 'length_ratio': 2.923076923076923, 'translation_length': 38, 'reference_length': 13} Rouge: {'rouge1': 0.4210526315789473, 'rouge2': 0.29090909090909095, 'rougeL': 0.4210526315789473, 'rougeLsum': 0.4210526315789473} Sari: {'sari': 45.61900517782871} Flesh Reading Ease: 62.55 ---------------------------------------- Source: ['Lorbeerblätter und Nelke entfernen und alles fein pürieren.'] Prediction: ['In der Nacht auf Sonntag wurde auf Sonntag ein Restaurant in St. Gallen festgestellt.\nDie Welt ist eine grosse Woche.\nDie Welt ist eine grosse Woche.'] Label: [['Die Tomatenmischung mit einem Stabmixer fein pürieren Nelke und Lorbeeren aus dem Topf nehmen']] Sacrebleu: {'score': 1.2414943415352928, 'counts': [1, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [3.3333333333333335, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.03333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.142857142857143, 'translation_length': 30, 'reference_length': 14} Rouge: {'rouge1': 0.04878048780487805, 'rouge2': 0.0, 'rougeL': 0.04878048780487805, 'rougeLsum': 0.04878048780487805} Sari: {'sari': 45.408950617283956} Flesh Reading Ease: 83.55 ---------------------------------------- Source: ['Tomatenwürfel in den Topf geben und etwa 45 Minuten bei kleiner Hitze köcheln lassen.'] Prediction: ['Tomatenwürfel köcheln seit Beginn der Woche 45 Minuten bei kleiner Hitze köcheln lassen.\nDer Tomatenwürfel ist nicht mehr für die Welt, sondern auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch a'] Label: [['Tomatenwürfel dazu geben und etwa 45 Minuten köcheln lassen (bei kleiner Hitze)']] Sacrebleu: {'score': 0.9111735512350267, 'counts': [8, 4, 1, 0], 'totals': [221, 220, 219, 218], 'precisions': [3.6199095022624435, 1.8181818181818181, 0.45662100456621, 0.22935779816513763], 'bp': 1.0, 'sys_len': 221, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.03619909502262444, 0.01818181818181818, 0.0045662100456621, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 15.785714285714286, 'translation_length': 221, 'reference_length': 14} Rouge: {'rouge1': 0.08403361344537816, 'rouge2': 0.05084745762711865, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.058823529411764705} Sari: {'sari': 32.73809523809524} Flesh Reading Ease: 6.15 ---------------------------------------- Source: ['Essig mit Zucker, Salz und Gewürzen zum Kochen bringen.'] Prediction: ['Zum Kochen bringen Essig mit Zucker, Salz und Gewürzen zum Kochen.\nEs ist ein ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz'] Label: [['In einem Topf den Essig mit Zucker, Salz und den Gewürzen (Nelke und Lorbeerblätter) zum Kochen bringen']] Sacrebleu: {'score': 2.398053466749703, 'counts': [10, 7, 4, 3], 'totals': [226, 225, 224, 223], 'precisions': [4.424778761061947, 3.111111111111111, 1.7857142857142858, 1.345291479820628], 'bp': 1.0, 'sys_len': 226, 'ref_len': 20} Bleu: {'bleu': 0.02398053466749702, 'precisions': [0.04424778761061947, 0.03111111111111111, 0.017857142857142856, 0.013452914798206279], 'brevity_penalty': 1.0, 'length_ratio': 11.3, 'translation_length': 226, 'reference_length': 20} Rouge: {'rouge1': 0.0819672131147541, 'rouge2': 0.05785123966942149, 'rougeL': 0.07377049180327869, 'rougeLsum': 0.07377049180327869} Sari: {'sari': 60.52731990231991} Flesh Reading Ease: 9.5 ---------------------------------------- Source: ['Tomaten waschen, Stielansätze entfernen und Fruchtfleisch würfeln.'] Prediction: ['Ein Unwetter von Tomaten und Fruchtfleisch würfte in den USA auf den Markt entfernen.\nDie beiden würfen sich um den Tod des Täters entfernen.\nDie beiden würfen sich um den Täters entfernen und für den Täters entfernen.'] Label: [['Tomaten waschen und in kleine Würfel schneiden 1500 Gramm reife Tomaten, zwei Zwiebeln, zwei Knoblauchzehen, vier Esslöffel Tomatenmark (aus der Dose), drei Esslöffel Olivenöl, Salz, Pfeffer, eine Prise Zucker']] Sacrebleu: {'score': 1.2090878038257866, 'counts': [3, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [7.5, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.075, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0526315789473684, 'translation_length': 40, 'reference_length': 38} Rouge: {'rouge1': 0.1038961038961039, 'rouge2': 0.0, 'rougeL': 0.1038961038961039, 'rougeLsum': 0.1038961038961039} Sari: {'sari': 48.53574504737296} Flesh Reading Ease: 74.1 ---------------------------------------- Source: ['Schoko-Nuss-Aufstrich in saubere Gläser füllen und im Kühlschrank aufbewahren.'] Prediction: ['In der Nähe von Schoko-Nuss-Aufstrich in saubere Gläser füllen sich die Nuss-Aufstrich in saubere Gläser auf.\nDie Nuss-Aufstrich in saubere Gläser füllen und im Kühlschrank aufbewahren.'] Label: [['Den Aufstrich in ein sauberes Glas füllen und im Kühlschrank aufbewahren']] Sacrebleu: {'score': 13.083737883508872, 'counts': [6, 4, 3, 2], 'totals': [28, 27, 26, 25], 'precisions': [21.428571428571427, 14.814814814814815, 11.538461538461538, 8.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 11} Bleu: {'bleu': 0.13083737883508872, 'precisions': [0.21428571428571427, 0.14814814814814814, 0.11538461538461539, 0.08], 'brevity_penalty': 1.0, 'length_ratio': 2.5454545454545454, 'translation_length': 28, 'reference_length': 11} Rouge: {'rouge1': 0.36000000000000004, 'rouge2': 0.2916666666666667, 'rougeL': 0.36000000000000004, 'rougeLsum': 0.36000000000000004} Sari: {'sari': 52.96069671069671} Flesh Reading Ease: 55.85 ---------------------------------------- Source: ['Haselnüsse im Ofen rösten und fein mahlen.'] Prediction: ['Im Ofen wurde ein junger Mann mit seinem Partner aufgefunden.\nDie beiden waren nicht nur nur, sondern auch nach der Bevölkerung.\nDie beiden wurden dabei verletzt.'] Label: [['Nüsse in der Küchenmaschine fein mahlen Haselnüsse im Ofen rösten: Ofen auf 175 Grad vorheizen, Haselnüsse auf dem Backblech verteilen, etwa 10 Minuten backen, bis sie leicht gebräunt sind']] Sacrebleu: {'score': 1.4784124458931216, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 0.9048374180359595, 'sys_len': 30, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9048374180359595, 'length_ratio': 0.9090909090909091, 'translation_length': 30, 'reference_length': 33} Rouge: {'rouge1': 0.0967741935483871, 'rouge2': 0.03333333333333333, 'rougeL': 0.06451612903225806, 'rougeLsum': 0.0967741935483871} Sari: {'sari': 25.85016835016835} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['Reichlich Öl oder Butter in einer Pfanne erhitzen und die Brotwürfel darin goldbraun rösten, abtropfen lassen und würzen.'] Prediction: ['In der Schweiz würde es zu einer goldbraunen Woche geben.\nÖl oder Butter in einer Pfanne erhitzen, die Brotwürfel darin goldbraun rösten, abtropfen lassen und würzen.\nAuch in der Schweiz würde es zu einer Woche geben.'] Label: [['Die Brotwürfel mit Gewürzsalz, Kräutermischung oder Pfeffer würzen Die Brotwürfel abtropfen lassen Die Brotwürfel goldbraun rösten Öl in einer Pfanne erhitzen Reichlich']] Sacrebleu: {'score': 8.551904160074711, 'counts': [13, 5, 2, 1], 'totals': [41, 40, 39, 38], 'precisions': [31.70731707317073, 12.5, 5.128205128205129, 2.6315789473684212], 'bp': 1.0, 'sys_len': 41, 'ref_len': 23} Bleu: {'bleu': 0.08551904160074711, 'precisions': [0.3170731707317073, 0.125, 0.05128205128205128, 0.02631578947368421], 'brevity_penalty': 1.0, 'length_ratio': 1.7826086956521738, 'translation_length': 41, 'reference_length': 23} Rouge: {'rouge1': 0.4571428571428572, 'rouge2': 0.2647058823529412, 'rougeL': 0.2571428571428571, 'rougeLsum': 0.2571428571428571} Sari: {'sari': 44.1482128982129} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Trockenes Brot lässt sich toll zu knusprigen Croutons als Topping für Suppen und Salate verarbeiten: Brot in Würfel schneiden.'] Prediction: ['Trockenes Brot ist ein knusprig Croutons-Topping.\nDie Würfeler Stadt hatte ihn zu knusprigen Croutons verarbeiten.\nDie Stadt hatte ihn zu knusprigen Croutons verarbeiten.'] Label: [['Altes Brot in Würfel schneiden Das sind knusprige Toppings für Salat oder Suppe.\nNicht wegwerfen, sondern Croutons daraus machen!\nHaben Sie altes, trockenes Brot?']] Sacrebleu: {'score': 1.6939918237746256, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 0.8910233766955563, 'sys_len': 26, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8910233766955563, 'length_ratio': 0.896551724137931, 'translation_length': 26, 'reference_length': 29} Rouge: {'rouge1': 0.1568627450980392, 'rouge2': 0.04081632653061224, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.1568627450980392} Sari: {'sari': 34.045284780578896} Flesh Reading Ease: 55.3 ---------------------------------------- Source: ['Das Pulver noch einmal kurz mit der Küchenmaschine fein mahlen und in luftdicht verschließbare Gläser füllen.'] Prediction: ['Das Pulver wurde in der Nacht auf Sonntag auf Sonntag auf Sonntag in der Nacht auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag zu sehen.\nIm Video werden die besten Gläser im Gespräch mit dem Pulver noch nicht zu sehen.'] Label: [['Dann in luftdichte Gläser geben.\nDas Pulver noch kurz in der Küchenmaschine fein mahlen.']] Sacrebleu: {'score': 1.9227992777109848, 'counts': [9, 3, 0, 0], 'totals': [72, 71, 70, 69], 'precisions': [12.5, 4.225352112676056, 0.7142857142857143, 0.36231884057971014], 'bp': 1.0, 'sys_len': 72, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.04225352112676056, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.5, 'translation_length': 72, 'reference_length': 16} Rouge: {'rouge1': 0.1818181818181818, 'rouge2': 0.09302325581395349, 'rougeL': 0.11363636363636365, 'rougeLsum': 0.1818181818181818} Sari: {'sari': 36.97446229953971} Flesh Reading Ease: 57.25 ---------------------------------------- Source: ['Dabei die Ofentür einen Spalt geöffnet lassen, damit die Feuchtigkeit entweichen kann. Dazu ein Backblech mit Backpapier auslegen, die Gemüsepaste darauf verstreichen und einige Stunden bei 70 °C trocknen. Ebenfalls eine gute, aber energieintensive, Lösung ist es, die Paste im Ofen zu Pulver zu verarbeiten.'] Prediction: ['Die Gemüsepaste ist eine gute, energieintensive, Lösung.\nDabei ist es, die Paste im Ofen zu Pulver zu verarbeiten.\nDiese ist energieintensive, Lösung ist es, die Paste im Ofen zu Pulver zu verarbeiten.'] Label: [['Das Blech 3-4 Stunden im Ofen lassen, dabei muss die Ofentür einen Spalt geöffnet bleiben.\nDie Paste auf einem Backblech mit Backpapier ausstreichen.\nFür Pulver: Den Backofen auf 70 Grad einstellen.']] Sacrebleu: {'score': 2.747577956933031, 'counts': [10, 1, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [25.0, 2.5641025641025643, 1.3157894736842106, 0.6756756756756757], 'bp': 1.0, 'sys_len': 40, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.02564102564102564, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0526315789473684, 'translation_length': 40, 'reference_length': 38} Rouge: {'rouge1': 0.20000000000000004, 'rouge2': 0.058823529411764705, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.17142857142857143} Sari: {'sari': 31.96613224235829} Flesh Reading Ease: 46.45 ---------------------------------------- Source: ['Durch das Salz ist die rohe Paste bis zu ein Jahr lang haltbar.'] Prediction: ['Die rohe Paste ist bis zu ein Jahr lang haltbar.\nDas Salz ist die rohe Paste bis zu ein Jahr lang haltbar.'] Label: [['Die Paste können Sie bis zu einem Jahr im Kühlschrank aufbewahren.']] Sacrebleu: {'score': 4.141141330484801, 'counts': [6, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [25.0, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 1.0, 'sys_len': 24, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 24, 'reference_length': 12} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.060606060606060615, 'rougeL': 0.2857142857142857, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 39.878542510121456} Flesh Reading Ease: 92.95 ---------------------------------------- Source: ['Dann die Paste in sterile Einmachgläser füllen, fest verschließen und im Kühlschrank lagern.'] Prediction: ['Ein vegane Einmachgläser hat in der Schweiz eine neue Phase durchgeführt, die in der Schweiz verschließen und im Kühlschrank lagern.\nDie Einmachgläser füllen, fest verschließen und im Kühlschrank lagern.\nDie beiden werden in der Schweiz geschlossen, die in der Schweiz zu verhindern.'] Label: [['Für Paste: Die Paste in sterile Einmachgläser geben, fest schließen.']] Sacrebleu: {'score': 2.0018796078701695, 'counts': [6, 1, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [12.5, 2.127659574468085, 1.0869565217391304, 0.5555555555555556], 'bp': 1.0, 'sys_len': 48, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.02127659574468085, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6923076923076925, 'translation_length': 48, 'reference_length': 13} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.032786885245901634, 'rougeL': 0.19047619047619047, 'rougeLsum': 0.19047619047619047} Sari: {'sari': 18.96825396825397} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ['Pro 100 Gramm Gemüse 10 Gramm Salz untermengen, außerdem einen Esslöffel Pflanzenöl (z. B. Oliven- oder Rapsöl).'] Prediction: ['Pro 100 Gramm Gemüse 10 Gramm Salz untermengen einen Esslöffel Pflanzenöl.\nDer Esslöffel Pflanzenöl ist ein neuer als auch der erste Mal.\nDie Gemüse untermengen 10 Gramm Salz.'] Label: [['Pro 100 Gramm Gemüse dazugeben: 10 Gramm Salz und ein Esslöffel Olivenöl.']] Sacrebleu: {'score': 11.871704290088221, 'counts': [10, 5, 3, 1], 'totals': [31, 30, 29, 28], 'precisions': [32.25806451612903, 16.666666666666668, 10.344827586206897, 3.5714285714285716], 'bp': 1.0, 'sys_len': 31, 'ref_len': 14} Bleu: {'bleu': 0.11871704290088221, 'precisions': [0.3225806451612903, 0.16666666666666666, 0.10344827586206896, 0.03571428571428571], 'brevity_penalty': 1.0, 'length_ratio': 2.2142857142857144, 'translation_length': 31, 'reference_length': 14} Rouge: {'rouge1': 0.489795918367347, 'rouge2': 0.2978723404255319, 'rougeL': 0.4489795918367347, 'rougeLsum': 0.4489795918367347} Sari: {'sari': 54.920634920634924} Flesh Reading Ease: 65.4 ---------------------------------------- Source: ['Gemüse und Kräuter mit einem geeigneten Küchengerät zu einer feinen Paste verarbeiten. Gemüse waschen, schälen und putzen, dann grob zerkleinern.'] Prediction: ['Eine feinen Paste-Paste verarbeiten Gemüse und Kräuter mit einem geeigneten Küchengerät zu einer feinen Paste.\nGemüse waschen, schälen und putzen, dann grob zerkleinern.\nDie beiden waren mit einer feinen Paste-Paste geeignet.'] Label: [['Gemüse und Kräuter in die Küchenmaschine geben und zu einer feinen Paste zermahlen']] Sacrebleu: {'score': 9.598524129805773, 'counts': [8, 5, 3, 1], 'totals': [36, 35, 34, 33], 'precisions': [22.22222222222222, 14.285714285714286, 8.823529411764707, 3.0303030303030303], 'bp': 1.0, 'sys_len': 36, 'ref_len': 13} Bleu: {'bleu': 0.09598524129805773, 'precisions': [0.2222222222222222, 0.14285714285714285, 0.08823529411764706, 0.030303030303030304], 'brevity_penalty': 1.0, 'length_ratio': 2.769230769230769, 'translation_length': 36, 'reference_length': 13} Rouge: {'rouge1': 0.4363636363636364, 'rouge2': 0.26415094339622636, 'rougeL': 0.3636363636363636, 'rougeLsum': 0.4} Sari: {'sari': 45.34031656673166} Flesh Reading Ease: 41.0 ---------------------------------------- Source: ['Kräuter waschen, trocken schütteln und Blätter von den Zweigen zupfen.'] Prediction: ['Die Schweizer Welt ist ein grosser Schutz.\nDie Schweizer Welt ist ein grosser Schutz.'] Label: [['Kräuter waschen, trocken schütteln und die Blätter von den Zweigen zupfen']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 16, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 16, 'reference_length': 12} Rouge: {'rouge1': 0.07142857142857142, 'rouge2': 0.0, 'rougeL': 0.07142857142857142, 'rougeLsum': 0.07142857142857142} Sari: {'sari': 9.80218855218855} Flesh Reading Ease: 96.95 ---------------------------------------- Source: ['Als Kräuter eignen sich zum Beispiel Petersilie, Rosmarin, Thymian, Liebstöckel und Salbei.'] Prediction: ['Piktorektionen sind bei den Kräutern auf der Kippe aufgefordert.\nDas Team ist auf der Kippe zu einer speziellen Krise nach dem Beispiel Petersilie, Rosmarin, Thymian, Liebstöckel und Salbei.'] Label: [['Dazu frische Kräuter nach Wahl, Salz, Olivenöl']] Sacrebleu: {'score': 1.4780822562194806, 'counts': [3, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [9.090909090909092, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6666666666666665, 'translation_length': 33, 'reference_length': 9} Rouge: {'rouge1': 0.10256410256410256, 'rouge2': 0.0, 'rougeL': 0.10256410256410256, 'rougeLsum': 0.10256410256410256} Sari: {'sari': 33.47222222222222} Flesh Reading Ease: 49.0 ---------------------------------------- Source: ['Am besten passen die Gemüsearten aus dem klassischen Suppengrün, Karotten, Sellerie und Lauch, aber auch anderes Wurzelgemüse wie Pastinake oder Steckrübe, außerdem Zwiebeln, Knoblauch, Champignons und Tomaten. Für einen kleinen Vorrat wird etwa ein Kilo Gemüse benötigt.'] Prediction: ['Ein Kilo Gemüsearten wird in der Schweiz für einen kleinen Vorrat eingestellt.\nEs ist ein Kilo Gemüsearten für einen kleinen Vorrat.\nEs ist ein Kilo Gemüsearten für einen kleinen Vorrat.'] Label: [['Ein Kilo Gemüse nach Wahl, zum Beispiel Möhren, Sellerie oder Lauch.']] Sacrebleu: {'score': 2.4858281414101677, 'counts': [3, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [9.090909090909092, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.357142857142857, 'translation_length': 33, 'reference_length': 14} Rouge: {'rouge1': 0.12244897959183675, 'rouge2': 0.0851063829787234, 'rougeL': 0.12244897959183675, 'rougeLsum': 0.12244897959183675} Sari: {'sari': 36.3744088123819} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Aus frischem Gemüse, Salz, Öl und Kräutern lassen sich Gemüsepaste oder -pulver als Alternative zur Instant-Gemüsebrühe aus dem Supermarkt ganz einfach herstellen.'] Prediction: ['Aus dem Supermarkt in der Nähe von Bern werden neue Gemüsebrühe geschafft.\nGemüsepaste oder -pulver lassen sich aus dem Supermarkt ganz einfach herstellen.\nDie neue Bestrebungen aus dem Supermarkt sind für die Verantwortlichen ganz einfach herstellen.'] Label: [['So machen Sie aus frischem Gemüse ihre eigene Paste oder Pulver.\nGemüsebrühe können Sie auch einfach selber machen.']] Sacrebleu: {'score': 1.476232328930697, 'counts': [6, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [15.384615384615385, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.95, 'translation_length': 39, 'reference_length': 20} Rouge: {'rouge1': 0.25396825396825395, 'rouge2': 0.0983606557377049, 'rougeL': 0.15873015873015872, 'rougeLsum': 0.25396825396825395} Sari: {'sari': 34.265183807383295} Flesh Reading Ease: 56.85 ---------------------------------------- Source: ['Gemüsebrühe wird in der Küche nicht nur für Suppen benötigt, sondern z. B. auch zum Dünsten von Gemüse, zum Ablöschen von Risotto und zum Würzen.'] Prediction: ['In der Küche von St. Gallen wird Gemüsebrühe nicht nur für Suppen benötigt.\nDer Gemüsebrühe wird auch zum Dünsten von Gemüse, zum Ablöschen von Risotto und zum Würzen.'] Label: [['Für eine schnelle Suppe, aber auch zum Würzen von Gemüse oder beim Risotto kochen.\nGemüsebrühe kann man in der Küche immer brauchen.']] Sacrebleu: {'score': 5.134877429943371, 'counts': [12, 4, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [37.5, 12.903225806451612, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.375, 0.12903225806451613, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.28, 'translation_length': 32, 'reference_length': 25} Rouge: {'rouge1': 0.5074626865671643, 'rouge2': 0.3384615384615384, 'rougeL': 0.23880597014925373, 'rougeLsum': 0.44776119402985076} Sari: {'sari': 41.461161387631975} Flesh Reading Ease: 65.4 ---------------------------------------- Source: ['So kann nicht nur die Menge an Verpackungsmüll reduziert werden, sondern jeder kann die Produkte nach eigenen Bedürfnissen und Geschmacksvorlieben variieren.'] Prediction: ['Die Menge an Verpackungsmüll kann nicht nur die Menge reduziert werden, sondern jeder kann die Produkte nach eigenen Bedürfnissen und Geschmacksvorlieben variieren.\nSo kann nicht nur die Menge an Verpackungsmüll reduziert werden, sondern jeder kann die Produkte nach eigenen Bedürfnissen und Geschmacksvorlieben variieren.'] Label: [['Sie können alle Rezepte in diesem Artikel nach Ihrem eigenen Geschmack würzen.\nMit den Ideen in diesem Artikel sparen Sie viel Verpackungsmüll.']] Sacrebleu: {'score': 1.1622974570266493, 'counts': [5, 0, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [10.638297872340425, 1.0869565217391304, 0.5555555555555556, 0.2840909090909091], 'bp': 1.0, 'sys_len': 47, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.10638297872340426, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9583333333333333, 'translation_length': 47, 'reference_length': 24} Rouge: {'rouge1': 0.11111111111111112, 'rouge2': 0.028571428571428567, 'rougeL': 0.11111111111111112, 'rougeLsum': 0.11111111111111112} Sari: {'sari': 36.00000000000001} Flesh Reading Ease: 35.65 ---------------------------------------- Source: ['Wer Spaß am Selbermachen hat, kann einige von ihnen mit nur wenigen Zutaten in der eigenen Küche herstellen. Fertigprodukte sparen Zeit beim Kochen und Backen oder sind einfach praktisch für den schnellen Genuss.'] Prediction: ['Fertigprodukte sparen Zeit beim Kochen und Backen oder sind einfach praktisch für den schnellen Genuss.\nDas ist ein grosser Spaß, das schnell schnell ist.\nDas ist ein grosser Zutat für die schnellen Genuss.'] Label: [['Mit wenigen Zutaten können Sie sie selbst herstellen.\nManche Fertigprodukte brauchen Sie nicht im Laden zu kaufen.\nFertigprodukte sind in der Küche sehr beliebt.']] Sacrebleu: {'score': 1.4899946568663818, 'counts': [5, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [13.513513513513514, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.13513513513513514, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3703703703703705, 'translation_length': 37, 'reference_length': 27} Rouge: {'rouge1': 0.06557377049180328, 'rouge2': 0.0, 'rougeL': 0.06557377049180328, 'rougeLsum': 0.06557377049180328} Sari: {'sari': 30.140056022408963} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['Moderne Keller eignen sich aber sehr gut für Konserven wie eingekochtes Obst, Gemüse, diverse Marmeladen, Konfitüren, Gelees, Rumtopf oder selbst hergestelltes Sauerkraut, Getränke, Säfte u. ä. Heute ist der Keller trocken und warm und eignet sich eher als Hobbyraum denn als Aufbewahrungsort für frisches Gemüse und Obst.'] Prediction: ['Moderne Keller eignen sich aber sehr gut für Konserven wie eingekochtes Obst, Gemüse, diverse Marmeladen, Konfitüren, Gelees, Rumtopf oder selbst hergestelltes Sauerkraut, Getränke, Säfte u. ä.\nDer Keller ist trocken und warm und eignet sich eher als Hobbyraum denn als Aufbewahrungsort für frisches Gemüse und Obst.'] Label: [['Für die Lagerung von Kartoffeln, Obst und Gemüse sind moderne Keller zu warm – die kommen in den Kühlschrank oder in den Vorratsschrank.\nDann können Sie dort Eingemachtes und nicht angebrochene Säfte und Getränke aufbewahren.\nAußerdem standen dort Eingemachtes und Getränke.']] Sacrebleu: {'score': 1.2551104021195245, 'counts': [14, 0, 0, 0], 'totals': [56, 55, 54, 53], 'precisions': [25.0, 0.9090909090909091, 0.46296296296296297, 0.2358490566037736], 'bp': 1.0, 'sys_len': 56, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2444444444444445, 'translation_length': 56, 'reference_length': 45} Rouge: {'rouge1': 0.32, 'rouge2': 0.1020408163265306, 'rougeL': 0.2, 'rougeLsum': 0.26} Sari: {'sari': 36.74857393593682} Flesh Reading Ease: 45.85 ---------------------------------------- Source: ['Früher konnten im Vorratskeller Äpfel und Kartoffeln über Monate ideal gelagert werden.'] Prediction: ['Vorratskeller konnten über Monate ideal gelagert werden.\nDas ist der erste Vorratskalender der Schweiz.\nDie Schweiz hatte über Monate gelagert.'] Label: [['Im kühlen Keller lagerte man Obst und Gemüse wie Äpfel und Kartoffeln.']] Sacrebleu: {'score': 1.6466642419110007, 'counts': [1, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [4.3478260869565215, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.043478260869565216, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7692307692307692, 'translation_length': 23, 'reference_length': 13} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 24.377289377289376} Flesh Reading Ease: 56.3 ---------------------------------------- Source: ['In Vorratsschränken lagern: Mehl, Salz, Zucker, Vollkonserven, Trockenprodukte wie Reis, Nudeln oder Cerealien.'] Prediction: ['Mehl, Salz, Zucker, Vollkonserven, Trockenprodukte wie Reis, Nudeln oder Cerealien: Mehl, Salz, Zucker, Vollkonserven, Trockenprodukte wie Reis, Nudeln oder Cerealien.\nDie Vorratsschränken werden in der Schweiz geschlossen.'] Label: [['Dazu kommen trockene Produkte wie Reis, Nudeln, Cornflakes und Müsli.\nLange haltbare Lebensmittel, wie Mehl, Salz und Zucker gehören in den Vorratsschrank.']] Sacrebleu: {'score': 9.891845941754758, 'counts': [14, 5, 3, 1], 'totals': [40, 39, 38, 37], 'precisions': [35.0, 12.820512820512821, 7.894736842105263, 2.7027027027027026], 'bp': 1.0, 'sys_len': 40, 'ref_len': 28} Bleu: {'bleu': 0.09891845941754758, 'precisions': [0.35, 0.1282051282051282, 0.07894736842105263, 0.02702702702702703], 'brevity_penalty': 1.0, 'length_ratio': 1.4285714285714286, 'translation_length': 40, 'reference_length': 28} Rouge: {'rouge1': 0.30769230769230765, 'rouge2': 0.12, 'rougeL': 0.2692307692307692, 'rougeLsum': 0.30769230769230765} Sari: {'sari': 47.352941176470594} Flesh Reading Ease: 31.95 ---------------------------------------- Source: ['Sorgfältiges Einlagern und regelmäßige Kontrolle vermindern hier Vorratsverluste und -verderb:'] Prediction: ['Vorratsverluste und -verderb: Die Vorratsverluste sind aufgrund der Corona-Pandemie vorbei.\nDie Vorratsverluste sind aufgrund der Corona-Pandemie vorbei.\nDie Vorratsverluste sind aufgrund der Corona-Pandemie vorbei.'] Label: [['Kontrollieren Sie das Mindesthaltbarkeitsdatum und verbrauchen Sie ihre Lebensmittel bevor das Datum abläuft.']] Sacrebleu: {'score': 1.5880117714047368, 'counts': [2, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [7.142857142857143, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 28, 'reference_length': 14} Rouge: {'rouge1': 0.04878048780487805, 'rouge2': 0.0, 'rougeL': 0.04878048780487805, 'rougeLsum': 0.04878048780487805} Sari: {'sari': 36.4021164021164} Flesh Reading Ease: 19.9 ---------------------------------------- Source: ['Eine Vorratskammer sollte sich möglichst in der Nähe der Küche befinden und eine gute Belüftung haben. Längerfristig haltbare Lebensmittel können in Speisekammern oder Vorratsschränken bei durchschnittlich 15 bis 20 °C, trocken und dunkel gelagert werden.'] Prediction: ['Eine Vorratskammer sollte sich möglichst in der Nähe der Küche befinden und eine gute Belüftung haben.\nLängerfristig haltbare Lebensmittel können in Speisekammern oder Vorratsschränken bei durchschnittlich 15 bis 20 °C, trocken und dunkel gelagert werden.'] Label: [['Der Vorratsschrank sollte dunkel und trocken sein und gut belüftet sein.\nIn einer kleinen Wohnung ist der Vorratsschrank meistens in der Küche.\nAm besten ist das ein kühler Ort nah an der Küche.\nHeute hat fast jede Wohnung einen Vorratsschrank.\nDie Speisekammer war nah an der Küche, hier lagerte man lange haltbare Lebensmittel bei Zimmertemperatur.']] Sacrebleu: {'score': 2.3045132828502295, 'counts': [15, 3, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [39.473684210526315, 8.108108108108109, 1.3888888888888888, 0.7142857142857143], 'bp': 0.5459307417499609, 'sys_len': 38, 'ref_len': 61} Bleu: {'bleu': 0.0, 'precisions': [0.39473684210526316, 0.08108108108108109, 0.0, 0.0], 'brevity_penalty': 0.5459307417499611, 'length_ratio': 0.6229508196721312, 'translation_length': 38, 'reference_length': 61} Rouge: {'rouge1': 0.3137254901960784, 'rouge2': 0.08, 'rougeL': 0.1764705882352941, 'rougeLsum': 0.2549019607843137} Sari: {'sari': 39.02777777777778} Flesh Reading Ease: 39.65 ---------------------------------------- Source: ['Auch Milchprodukte wie Joghurt, Dickmilch, saure Sahne und Crème fraîche gehören nicht in den Gefrierschrank, da sie schnell ausflocken.'] Prediction: ['Milchprodukte wie Joghurt, Dickmilch, saure Sahne und Crème fraîche gehören nicht in den Gefrierschrank, da sie schnell ausflocken.\nDie Milchprodukte wie Joghurt, Dickmilch, saure Sahne und Crème fraîche gehören nicht in den Gefrierschrank, da sie schnell ausflocken.'] Label: [['Sie werden beim Auftauen flockig.\nMilchprodukte wie Joghurt, Dickmilch und saure Sahne gehören nicht in das Gefrierfach.']] Sacrebleu: {'score': 11.945026312989958, 'counts': [13, 7, 4, 2], 'totals': [45, 44, 43, 42], 'precisions': [28.88888888888889, 15.909090909090908, 9.30232558139535, 4.761904761904762], 'bp': 1.0, 'sys_len': 45, 'ref_len': 20} Bleu: {'bleu': 0.11945026312989958, 'precisions': [0.28888888888888886, 0.1590909090909091, 0.09302325581395349, 0.047619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 45, 'reference_length': 20} Rouge: {'rouge1': 0.3934426229508197, 'rouge2': 0.23728813559322035, 'rougeL': 0.36065573770491804, 'rougeLsum': 0.36065573770491804} Sari: {'sari': 48.22246768123057} Flesh Reading Ease: 62.05 ---------------------------------------- Source: ['Solche wasserreichen Lebensmittel werden beim Auftauen matschig.'] Prediction: ['In den USA werden am Sonntag die Lebensmittel auf den Kantonen Solchen geschickt.\nSolchen wasserreichen Lebensmittel werden beim Auftauen matschig.\nDie beiden werden beim Auftauen matschig.'] Label: [['Diese Lebensmittel enthalten viel Wasser und werden beim Auftauen matschig.']] Sacrebleu: {'score': 12.607162121844206, 'counts': [6, 4, 3, 2], 'totals': [29, 28, 27, 26], 'precisions': [20.689655172413794, 14.285714285714286, 11.11111111111111, 7.6923076923076925], 'bp': 1.0, 'sys_len': 29, 'ref_len': 11} Bleu: {'bleu': 0.12607162121844206, 'precisions': [0.20689655172413793, 0.14285714285714285, 0.1111111111111111, 0.07692307692307693], 'brevity_penalty': 1.0, 'length_ratio': 2.6363636363636362, 'translation_length': 29, 'reference_length': 11} Rouge: {'rouge1': 0.2777777777777778, 'rouge2': 0.1764705882352941, 'rougeL': 0.2777777777777778, 'rougeLsum': 0.2777777777777778} Sari: {'sari': 59.49786324786325} Flesh Reading Ease: 54.3 ---------------------------------------- Source: ['Im Gefriergerät lagern nicht: Eier, Blattsalate, Frischkostsalate, Radieschen, Rettich, rohe Kartoffeln, Zwiebeln, Gurken, Tomaten, Wassermelonen, Weintrauben, ganze rohe Äpfel und Birnen sowie Baiser und Makronen.'] Prediction: ['Im Gefriergerät lagern nicht mehr Eier, Blattsalate, Frischkostsalate, Radieschen, Rettich, rohe Kartoffeln, Zwiebeln, Gurken, Tomaten, Wassermelonen, Weintrauben, ganze rohe Äpfel und Birnen sowie Baiser und Makronen.\nDie Gefriergerät lagern nicht: Eier, Blattsalate, Frischkostsalate, Radieschen, Rettich, rohe Kartoffeln, Zwiebeln, Gurken, Tomaten, Wassermelonen, Weintrauben, ganze rohe Äpfel und Birnen sowie Baiser und Makronen.'] Label: [['Gemüse wie Salat, Radieschen, Rettich, rohe Kartoffeln, Zwiebeln, Gurken, Tomaten, Wassermelonen, Weintrauben, rohe Äpfel und Birnen gehören nicht ins Gefrierfach.\nEier lassen sich nicht einfrieren.']] Sacrebleu: {'score': 26.985876455719907, 'counts': [27, 21, 18, 16], 'totals': [76, 75, 74, 73], 'precisions': [35.526315789473685, 28.0, 24.324324324324323, 21.91780821917808], 'bp': 1.0, 'sys_len': 76, 'ref_len': 36} Bleu: {'bleu': 0.2698587645571991, 'precisions': [0.35526315789473684, 0.28, 0.24324324324324326, 0.2191780821917808], 'brevity_penalty': 1.0, 'length_ratio': 2.111111111111111, 'translation_length': 76, 'reference_length': 36} Rouge: {'rouge1': 0.4, 'rouge2': 0.28205128205128205, 'rougeL': 0.375, 'rougeLsum': 0.3499999999999999} Sari: {'sari': 56.14455150365397} Flesh Reading Ease: 14.1 ---------------------------------------- Source: ['– Einfrieren bietet eine gute Möglichkeit, Lebensmittel mehrere Monate aufzubewahren und das nahezu ohne merkliche Qualitätseinbußen.'] Prediction: ['Einfrieren bieten eine gute Möglichkeit, Lebensmittel mehrere Monate aufzubewahren und das nahezu ohne merkliche Qualitätseinbußen.\nEinfrieren bieten eine gute Möglichkeit, Lebensmittel mehrere Monate aufzubewahren und das nahezu ohne merkliche Qualitätseinbußen.'] Label: [['Eingefroren sind Lebensmittel viel länger haltbar.\nDie meisten Lebensmittel lassen sich prima einfrieren, zum Beispiel im Gefrierschrank oder in einer Gefriertruhe.']] Sacrebleu: {'score': 1.6276888006478718, 'counts': [5, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [14.705882352941176, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.14705882352941177, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4166666666666667, 'translation_length': 34, 'reference_length': 24} Rouge: {'rouge1': 0.10344827586206896, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 36.66666666666667} Flesh Reading Ease: -4.66 ---------------------------------------- Source: ['Im Kühlschrank lagern: Fleisch- und Fleischwaren, Fisch- und Fischerzeugnisse, zubereitete Speisen, Milch- und Milchprodukte, Käse, Getränke, Butter, Eier, Marmeladen, Dressings, Soßen, Tuben, kühlschrankverträgliche Obst- und Gemüsearten.'] Prediction: ['In der Schweiz wurden Fleischwaren, Fisch und Fleischwaren, Fisch und Fleischzeugnisse, zubereitete Speisen, Käse, Getränke, Butter, Eier, Marmeladen, Dressings, Soßen, Tuben, kühlschrankverträgliche Obst und Gemüsearten.\nDer Kühlschrank lagern auch im Kühlschrank.'] Label: [['Manche Arten kann man besser außerhalb aufbewahren.\nGemüse und Obst kommen nicht immer in den Kühlschrank.\nKäse, Butter und Eier können auf der obersten Ablage liegen.\nAngebrochene Getränke, Marmeladen, Dressings, Soßen und Tuben kommen in den mittleren Teil oder in die Tür.\nMilch, Jogurt, Quark und andere Milchprodukte gehören in die mittleren Ablagen.\nFleisch, Fleischwaren, Fisch und Fischprodukte kommen nach unten auf die Glasplatte.']] Sacrebleu: {'score': 10.274556976164263, 'counts': [26, 12, 6, 4], 'totals': [45, 44, 43, 42], 'precisions': [57.77777777777778, 27.272727272727273, 13.953488372093023, 9.523809523809524], 'bp': 0.48030530108979935, 'sys_len': 45, 'ref_len': 78} Bleu: {'bleu': 0.10274556976164265, 'precisions': [0.5777777777777777, 0.2727272727272727, 0.13953488372093023, 0.09523809523809523], 'brevity_penalty': 0.48030530108979935, 'length_ratio': 0.5769230769230769, 'translation_length': 45, 'reference_length': 78} Rouge: {'rouge1': 0.4107142857142857, 'rouge2': 0.14545454545454545, 'rougeL': 0.1964285714285714, 'rougeLsum': 0.3214285714285714} Sari: {'sari': 49.974623106718326} Flesh Reading Ease: 35.8 ---------------------------------------- Source: ['Im herkömmlichen Kühlschrank lagern Lebensmittel bei 4\xa0°C bis 8 °C, im\xa0Mehrzonenkühlgerät\xa0bei nahezu\xa00 °C. Bei Temperaturen zwischen 0 °C und 14 °C können frische, leichtverderbliche Lebensmittel gelagert werden.'] Prediction: ['In der Kühlschrank lagern Lebensmittel bei 4\xa0°C bis 8 °C.\nBei Temperaturen zwischen 0 °C und 14 °C können frische, leichtverderbliche Lebensmittel gelagert werden.'] Label: [['Die Temperatur im Kühlschrank liegt zwischen 0 und 14 Grad.\nDer Kühlschrank ist der beste Ort für frisches Essen.']] Sacrebleu: {'score': 4.491575568657404, 'counts': [8, 2, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [28.571428571428573, 7.407407407407407, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.07407407407407407, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 28, 'reference_length': 21} Rouge: {'rouge1': 0.32653061224489793, 'rouge2': 0.1702127659574468, 'rougeL': 0.2857142857142857, 'rougeLsum': 0.32653061224489793} Sari: {'sari': 38.844190105271664} Flesh Reading Ease: 56.35 ---------------------------------------- Source: ['Diese sind wesentlich fettärmer. Bevorzugen Sie bei den fertigen Fleisch- und Fischprodukten die unpanierten Varianten.'] Prediction: ['Die Fleisch und Fischprodukten in der Schweiz sind wesentlich fettärmer.\nSie bevorzugen die unpanierten Varianten.'] Label: [['In einer Knusperschicht steckt viel Fett.\nDann wählen Sie unpanierte Sorten.\nEssen Sie gerne fertige Fleisch- oder Fischprodukte?']] Sacrebleu: {'score': 2.3787638700239504, 'counts': [3, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [17.647058823529413, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.7903383629814982, 'sys_len': 17, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7903383629814982, 'length_ratio': 0.8095238095238095, 'translation_length': 17, 'reference_length': 21} Rouge: {'rouge1': 0.22857142857142856, 'rouge2': 0.0, 'rougeL': 0.17142857142857143, 'rougeLsum': 0.22857142857142856} Sari: {'sari': 34.9390243902439} Flesh Reading Ease: 49.65 ---------------------------------------- Source: ['6. Fettarme Convenience-Gerichte wählenWählen Sie fettreiche Gerichte wie Lasagne oder bestimmte Pizzasorten eher selten.'] Prediction: ['Die Veranstalter fühlen in der Schweiz fettreiche Convenience-Gerichte eher.\nSie wählen fettreiche Gerichte wie Lasagne oder bestimmte Pizzasorten eher selten.'] Label: [['Die sollten Sie lieber nicht zu oft essen.\nFertiglasagne und viele Tiefkühlpizzen enthalten viel Fett.\nNehmen Sie fettarme Gerichte.']] Sacrebleu: {'score': 2.5828020030551087, 'counts': [5, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [22.727272727272727, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.22727272727272727, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 22, 'reference_length': 22} Rouge: {'rouge1': 0.13953488372093023, 'rouge2': 0.0, 'rougeL': 0.13953488372093023, 'rougeLsum': 0.13953488372093023} Sari: {'sari': 34.487734487734485} Flesh Reading Ease: 41.3 ---------------------------------------- Source: ['Fettreiche Zutaten wie Käse, Rahm, Sahne, Speck oder Salami sollten auf den hinteren Plätzen der Zutatenliste stehen. Transportieren Sie die Produkte kühl und lagern Sie sie umgehend im Kühlfach. Salate, Keimlinge und Gemüse müssen zu Hause vor dem Verzehr unbedingt noch einmal gewaschen werden.'] Prediction: ['Fettreiche Zutaten wie Käse, Rahm, Sahne, Speck oder Salami sollten auf den hinteren Plätzen der Zutatenliste stehen.\nDie Produkte kühl und lagern Sie sie umgehend im Kühlfach.\nSalate, Keimlinge und Gemüse müssen zu Hause noch einmal gewaschen werden.'] Label: [['Fette, Öle, Rahm oder Sahne sollten viel weiter hinten stehen.']] Sacrebleu: {'score': 2.734713061144216, 'counts': [8, 2, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [17.77777777777778, 4.545454545454546, 1.1627906976744187, 0.5952380952380952], 'bp': 1.0, 'sys_len': 45, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.17777777777777778, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4615384615384617, 'translation_length': 45, 'reference_length': 13} Rouge: {'rouge1': 0.18518518518518517, 'rouge2': 0.0, 'rougeL': 0.14814814814814814, 'rougeLsum': 0.14814814814814814} Sari: {'sari': 36.30890655605485} Flesh Reading Ease: 56.15 ---------------------------------------- Source: ['Nahe am Verbrauchsdatum sind die Lebensmittel oftmals bereits stark mit Keimen belastet.'] Prediction: ['Die Lebensmittel von Keimen ist bereits stark mit Keimen belastet.\nDie Lebensmittel ist bereits mit Keimen belastet.'] Label: [['Oft haben sie schon viele Krankheitskeime.\nUnser Tipp: Kaufen Sie keine Produkte die nah am Verbrauchsdatum sind.']] Sacrebleu: {'score': 2.2840528494190804, 'counts': [2, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [10.526315789473685, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 0.9487294800164372, 'sys_len': 19, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9487294800164372, 'length_ratio': 0.95, 'translation_length': 19, 'reference_length': 20} Rouge: {'rouge1': 0.058823529411764705, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.058823529411764705} Sari: {'sari': 26.92918192918193} Flesh Reading Ease: 60.35 ---------------------------------------- Source: ['Fresh Cut-Produkte wie Obst- und Gemüsesnacks und Fertigsalate sind leicht verderblich und nur kurz haltbar.'] Prediction: ['Fresh Cut-Produkte wie Obst und Gemüsesnacks und Fertigsalate sind leicht verderblich und nur kurz haltbar.\nFresh Cut-Produkte wie Obst und Gemüsesnacks und Fertigsalate sind leicht verderblich und nur kurz haltbar.'] Label: [['Diese gekühlten Produkte sind leicht verderblich.\nZum Beispiel Obst- und Gemüsesnacks, oder Fertigsalate.']] Sacrebleu: {'score': 6.106432774355542, 'counts': [8, 3, 1, 0], 'totals': [32, 31, 30, 29], 'precisions': [25.0, 9.67741935483871, 3.3333333333333335, 1.7241379310344827], 'bp': 1.0, 'sys_len': 32, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0967741935483871, 0.03333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 32, 'reference_length': 16} Rouge: {'rouge1': 0.36734693877551017, 'rouge2': 0.21276595744680848, 'rougeL': 0.36734693877551017, 'rougeLsum': 0.36734693877551017} Sari: {'sari': 27.494469582704877} Flesh Reading Ease: 53.85 ---------------------------------------- Source: ['5. Auf Haltbarkeit achtenAchten Sie auf das Mindesthaltbarkeitsdatum oder Verbrauchsdatum.'] Prediction: ['Die Veranstalterinnen und Veranstalter der Corona-Pandemie haben sich auf eine Haltstelle aufmerksam gemacht.\nSie wurden auf das Mindesthaltbarkeitsdatum oder Verbrauchsdatum aufgezeichnet.'] Label: [['Achten Sie beim Einkaufen also immer auf die Haltbarkeit.\nFertigprodukte können schlecht werden, genau wie andere Lebensmittel.']] Sacrebleu: {'score': 2.328734903585348, 'counts': [4, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [17.391304347826086, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.15, 'translation_length': 23, 'reference_length': 20} Rouge: {'rouge1': 0.15, 'rouge2': 0.0, 'rougeL': 0.09999999999999999, 'rougeLsum': 0.09999999999999999} Sari: {'sari': 35.24549453668227} Flesh Reading Ease: 17.4 ---------------------------------------- Source: ['Eine Handvoll frische Kräuter oder Tiefkühlkräuter werten das Gericht zusätzlich gesundheitlich und geschmacklich auf!'] Prediction: ['Eine Handvoll-Kühlkräuter werten das Gericht zusätzlich gesundheitlich und geschmacklich auf.\nDie Handvoll-Kühlkräuter werden zusätzlich gesundheitlich und geschmacklich aufgezeichnet.'] Label: [['Außerdem sind sie gesund.\nFrische Kräuter oder Kräuter aus der Kühltruhe machen jedes Gericht schmackhafter.\nMit frischen Kräutern oder etwas Gemüse geben Sie der Mahlzeit extra Geschmack.']] Sacrebleu: {'score': 1.5283112973810702, 'counts': [3, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [15.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 0.6065306597126334, 'sys_len': 20, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6065306597126334, 'length_ratio': 0.6666666666666666, 'translation_length': 20, 'reference_length': 30} Rouge: {'rouge1': 0.13559322033898305, 'rouge2': 0.0, 'rougeL': 0.06779661016949153, 'rougeLsum': 0.06779661016949153} Sari: {'sari': 27.543956043956047} Flesh Reading Ease: 18.9 ---------------------------------------- Source: ['Gerne auch mit solchen, die nicht mehr zu schnippeln sind, etwa Mini-Tomaten, Mais oder Kidneybohnen aus der Dose.'] Prediction: ['Mini-Tomaten, Mais oder Kidneybohnen sind aus der Dose.\nDas ist ein neues Mini-Tomaten, die nicht mehr zu schnippeln sind.\nDie Mini-Tomaten, Mais oder Kidneybohnen sind aus der Dose.'] Label: [['Andere Gemüsearten brauchen Sie gar nicht zu schneiden, zum Beispiel Mini-Tomaten oder Mais aus der Dose.']] Sacrebleu: {'score': 8.568635726825898, 'counts': [10, 3, 2, 1], 'totals': [34, 33, 32, 31], 'precisions': [29.41176470588235, 9.090909090909092, 6.25, 3.225806451612903], 'bp': 1.0, 'sys_len': 34, 'ref_len': 18} Bleu: {'bleu': 0.08568635726825895, 'precisions': [0.29411764705882354, 0.09090909090909091, 0.0625, 0.03225806451612903], 'brevity_penalty': 1.0, 'length_ratio': 1.8888888888888888, 'translation_length': 34, 'reference_length': 18} Rouge: {'rouge1': 0.3673469387755102, 'rouge2': 0.12765957446808512, 'rougeL': 0.32653061224489793, 'rougeLsum': 0.32653061224489793} Sari: {'sari': 47.71213850837139} Flesh Reading Ease: 65.4 ---------------------------------------- Source: ['Schnell küchenfertig zubereitet sind zum Beispiel Zucchini, Auberginen oder Paprika.'] Prediction: ['Zum Beispiel Zucchini, Auberginen oder Paprika sind schnell küchenfertig zubereitet.\nDie Beispiel-Zucchini sind zum Beispiel Zucchini, Auberginen oder Paprika.\nDie Beispiel-Zucchini sind zum Beispiel Zucchini, Auberginen oder Paprika.'] Label: [['Manche Gemüsearten sind sehr schnell fertig, zum Beispiel Zucchini, Aubergine oder Paprika.']] Sacrebleu: {'score': 10.77448900968642, 'counts': [10, 5, 3, 1], 'totals': [34, 33, 32, 31], 'precisions': [29.41176470588235, 15.151515151515152, 9.375, 3.225806451612903], 'bp': 1.0, 'sys_len': 34, 'ref_len': 15} Bleu: {'bleu': 0.1077448900968642, 'precisions': [0.29411764705882354, 0.15151515151515152, 0.09375, 0.03225806451612903], 'brevity_penalty': 1.0, 'length_ratio': 2.2666666666666666, 'translation_length': 34, 'reference_length': 15} Rouge: {'rouge1': 0.3181818181818182, 'rouge2': 0.14285714285714288, 'rougeL': 0.3181818181818182, 'rougeLsum': 0.2727272727272727} Sari: {'sari': 52.95815295815296} Flesh Reading Ease: 30.3 ---------------------------------------- Source: ['Gemüse und Beilagen stehen dann auf den vordersten Plätzen. Werfen Sie also einen kritischen Blick auf die Zutatenliste: Bevorzugen Sie Komplettmenüs mit möglichst hohem Gemüseanteil.'] Prediction: ['Die Zutatenliste ist auf dem 3. bis 4. bis 5. bis 6. bis 6. bis 7. bis am 7. bis 11.\nJuni 2021.\nDie Zutatenliste ist auf dem 3. bis 6. bis 11.\nJuni 2021.'] Label: [['In einer gesunden Fertigmahlzeit stehen Gemüse und Beilagen ganz vorne.']] Sacrebleu: {'score': 0.7605497822189857, 'counts': [1, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [2.0833333333333335, 1.0638297872340425, 0.5434782608695652, 0.2777777777777778], 'bp': 1.0, 'sys_len': 48, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.020833333333333332, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.363636363636363, 'translation_length': 48, 'reference_length': 11} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 40.39987789987791} Flesh Reading Ease: 92.25 ---------------------------------------- Source: ['Nach dem Einkauf auf dem Nachhauseweg die Kühlkette nicht unterbrechen und zu Hause so schnell wie möglich wieder tiefgekühlt lagern!'] Prediction: ['Die Kühlkette in der Schweiz ist nicht unterbrechen.\nDie Kühlkette ist nicht unterbrechen wie möglich wieder tiefgekühlt.\nDie Kühlkette ist nicht unterbrechen wie möglich wieder tiefgekühlt.'] Label: [['Tiefkühlkost muss kalt bleiben, also schnell nach Hause und wieder in die Tiefkühltruhe legen.\nWichtig beim Einkaufen: Lassen Sie gefrorene Lebensmittel nicht auftauen!']] Sacrebleu: {'score': 1.8196871111910016, 'counts': [4, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0740740740740742, 'translation_length': 29, 'reference_length': 27} Rouge: {'rouge1': 0.1379310344827586, 'rouge2': 0.0, 'rougeL': 0.10344827586206896, 'rougeLsum': 0.10344827586206896} Sari: {'sari': 34.375} Flesh Reading Ease: 60.15 ---------------------------------------- Source: ['Durch die sehr schnelle Verarbeitung nach der Ernte besitzt Tiefkühlgemüse einen vergleichsweise hohen Vitamingehalt und liegt damit eindeutig vor den Vertretern aus der Frische-Abteilung.'] Prediction: ['Tiefkühlgemüse besitzen einen vergleichsweise hohen Vitamingehalt.\nDer Tiefkühlgemüse liegt damit eindeutig vor den Vertretern aus der Frische-Abteilung.'] Label: [['Es ist also besonders frisch!\nTiefkühlgemüse wird sofort nach der Ernte eingefroren.\nTiefkühlgemüse enthält viele Vitamine, manchmal sogar mehr als frisches Gemüse.']] Sacrebleu: {'score': 2.094331982557397, 'counts': [5, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [26.31578947368421, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 0.6918258252705171, 'sys_len': 19, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.2631578947368421, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6918258252705171, 'length_ratio': 0.7307692307692307, 'translation_length': 19, 'reference_length': 26} Rouge: {'rouge1': 0.28, 'rouge2': 0.16666666666666666, 'rougeL': 0.28, 'rougeLsum': 0.28} Sari: {'sari': 31.625479995045207} Flesh Reading Ease: 25.25 ---------------------------------------- Source: ['bevorratenEin gewisses Sortiment an Tiefkühlgemüse zu Hause peppt viele Fertiggerichte wie Pizza, Tütensuppe oder Doseneintopf noch mal auf - geschmacklich und mit Vitaminen!'] Prediction: ['Ein gewisses Sortiment an Tiefkühlgemüse zu Hause peppt viele Fertiggerichte wie Pizza, Tütensuppe oder Doseneintopf noch mal auf.\nEin gewisses Sortiment an Tiefkühlgemüse zu Hause peppt viele Fertiggerichte wie Pizza, Tütensuppe oder Doseneintopf noch mal auf.'] Label: [['Geben Sie gefrorenes Gemüse in eine Tütensuppe.\nDenn damit können Sie ganz einfach Fertiggerichte aufpeppen – mit Geschmack und Vitaminen.']] Sacrebleu: {'score': 1.2992493989257516, 'counts': [4, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [10.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8181818181818181, 'translation_length': 40, 'reference_length': 22} Rouge: {'rouge1': 0.125, 'rouge2': 0.03225806451612904, 'rougeL': 0.125, 'rougeLsum': 0.125} Sari: {'sari': 32.191572281086344} Flesh Reading Ease: 33.3 ---------------------------------------- Source: ['Früchte, Gemüse und Salate der Saison gibt es in der Kühltheke bereits küchenfertig vorbereitet.'] Prediction: ['Die Kühltheke in der Kühltheke ist bereits küchenfertig vorbereitet.\nDie Gemüse und Salate der Saison sind bereits küchenfertig vorbereitet.\nDie Gemüse und Gemüse der Kühltheke sind bereits küchenfertig vorbereitet.'] Label: [['Hier liegen vorgeschnittene Blattsalate, bunte Gemüsemischungen und fertige Obstsalate.\nIn der Kühltheke finden Sie vorbereitetes Gemüse und Obst.']] Sacrebleu: {'score': 3.7735645292725852, 'counts': [7, 2, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [21.875, 6.451612903225806, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.21875, 0.06451612903225806, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5238095238095237, 'translation_length': 32, 'reference_length': 21} Rouge: {'rouge1': 0.30508474576271183, 'rouge2': 0.1754385964912281, 'rougeL': 0.23728813559322035, 'rougeLsum': 0.30508474576271183} Sari: {'sari': 43.060776942355886} Flesh Reading Ease: 41.6 ---------------------------------------- Source: ['Beziehen Sie stets eine Kombination von frischen Lebensmitteln und Convenience-Produkten ein.'] Prediction: ['Die Kombination von Convenience-Produkten stets eine Kombination von frischen Lebensmitteln und Convenience-Produkten ein.\nDie Kombination von frischen Lebensmitteln und Convenience-Produkten stets ein.'] Label: [['Wenn Sie Fertigprodukte kaufen, kombinieren Sie die einfach mit ein paar frischen Lebensmitteln.\nPlanen Sie Ihre Mahlzeiten und den Einkauf:']] Sacrebleu: {'score': 3.9566236357113054, 'counts': [5, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [20.833333333333332, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 1.0, 'sys_len': 24, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.20833333333333334, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0434782608695652, 'translation_length': 24, 'reference_length': 23} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.04651162790697675, 'rougeL': 0.22222222222222224, 'rougeLsum': 0.17777777777777778} Sari: {'sari': 37.083333333333336} Flesh Reading Ease: 5.2 ---------------------------------------- Source: ["Was an erster Stelle steht, hat den höchsten Gewichtsanteil, dann geht's in absteigender Reihenfolge weiter."] Prediction: ['Die Reihenfolge des Gewichtsanteils in der Stadt Zürich wurde am Sonntagabend umgebrochen.\nDie beiden waren in der ersten Reihenfolge der Stadt Zürich gekommen.\nDie beiden waren in der Stadt Zürich, Zürich, Glarus, Appenzell Innerrhoden und dem Kanton Ausserrhoden.'] Label: [['Wovon am meisten drin steckt, wird zuerst genannt.']] Sacrebleu: {'score': 1.0952083604308251, 'counts': [3, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [6.818181818181818, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.06818181818181818, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.4, 'translation_length': 44, 'reference_length': 10} Rouge: {'rouge1': 0.04, 'rouge2': 0.0, 'rougeL': 0.04, 'rougeLsum': 0.04} Sari: {'sari': 63.45350052246603} Flesh Reading Ease: 56.15 ---------------------------------------- Source: ['Unterm Strich ist ein Fertiggericht nur so gesund wie seine Zutaten.'] Prediction: ['Unterm Strich ist ein Fertiggericht nur so gesund wie seine Zutaten.\nUnterm Strich ist ein Fertiggericht nur so gesund wie seine Zutaten.'] Label: [['Hier sehen Sie genau, welche Zutaten in der Verpackung sind – und wie viel.\nDort stehen die Zutaten.\nDie Wahrheit über Zutaten und Nährstoffe finden Sie nicht auf der Vorderseite, sondern auf der Rückseite der Packung.']] Sacrebleu: {'score': 1.9484958403602581, 'counts': [5, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [20.833333333333332, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 0.4924642876754098, 'sys_len': 24, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.20833333333333334, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 0.4924642876754097, 'length_ratio': 0.5853658536585366, 'translation_length': 24, 'reference_length': 41} Rouge: {'rouge1': 0.10169491525423728, 'rouge2': 0.0, 'rougeL': 0.10169491525423728, 'rougeLsum': 0.06779661016949154} Sari: {'sari': 38.05555555555556} Flesh Reading Ease: 69.55 ---------------------------------------- Source: ['Doch wie lassen sich Convenience-Lebensmittel mit einer gesunden und schmackhaften Ernährung im Alltag vereinbaren?'] Prediction: ['Im Alltag wurde eine gesunde und schmackhaften Ernährung im Alltag vereinbaren.\nDie Veranstalter wollen sich mit einer gesunden und schmackhaften Ernährung im Alltag vereinbaren.'] Label: [['In diesem Artikel geben wir Tipps, worauf Sie beim Einkauf von Fertigprodukten achten können.\nUnd wenn man die richtigen Produkte wählt, passen sie auch in eine gesunde Ernährung.']] Sacrebleu: {'score': 2.8842645504736155, 'counts': [5, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [19.23076923076923, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 0.7939226578179512, 'sys_len': 26, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.19230769230769232, 0.04, 0.0, 0.0], 'brevity_penalty': 0.7939226578179512, 'length_ratio': 0.8125, 'translation_length': 26, 'reference_length': 32} Rouge: {'rouge1': 0.21052631578947367, 'rouge2': 0.07272727272727272, 'rougeL': 0.14035087719298245, 'rougeLsum': 0.17543859649122806} Sari: {'sari': 38.53781719635378} Flesh Reading Ease: 39.3 ---------------------------------------- Source: ['Fertige oder vorbereitete Lebensmittel sind praktisch und sparen oft Zeit.'] Prediction: ['Fertige oder vorbereitete Lebensmittel sind praktisch und sparen oft Zeit.\nDas ist ein Paar, der sich mit dem Leben auf dem Körper geht.\nDie Lebensmittel sind praktisch und sparen oft Zeit.'] Label: [['Sie sind praktisch und sparen Zeit in der Küche.\nViele Menschen kochen mit Fertigprodukten.']] Sacrebleu: {'score': 8.096470168539781, 'counts': [9, 3, 2, 1], 'totals': [35, 34, 33, 32], 'precisions': [25.714285714285715, 8.823529411764707, 6.0606060606060606, 3.125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 16} Bleu: {'bleu': 0.08096470168539781, 'precisions': [0.2571428571428571, 0.08823529411764706, 0.06060606060606061, 0.03125], 'brevity_penalty': 1.0, 'length_ratio': 2.1875, 'translation_length': 35, 'reference_length': 16} Rouge: {'rouge1': 0.3404255319148936, 'rouge2': 0.13333333333333333, 'rougeL': 0.2978723404255319, 'rougeLsum': 0.3404255319148936} Sari: {'sari': 49.39327036513737} Flesh Reading Ease: 76.1 ---------------------------------------- Source: ['Geeignet für: Suppen, Eintöpfe, Soßen, Nudeln, Kartoffeln.'] Prediction: ['Geeignet für: Suppen, Eintöpfe, Soßen, Nudeln, Kartoffeln.\nIm Gespräch mit dem Projekt: 20 Minuten.\nIm Gespräch mit dem Projekt: 20 Minuten.\nIm Gespräch mit dem Projekt: 20 Minuten.'] Label: [['Suppe, Eintopf, Nudeln, Kartoffeln, Soße']] Sacrebleu: {'score': 6.364996151971675, 'counts': [6, 3, 2, 1], 'totals': [40, 39, 38, 37], 'precisions': [15.0, 7.6923076923076925, 5.2631578947368425, 2.7027027027027026], 'bp': 1.0, 'sys_len': 40, 'ref_len': 9} Bleu: {'bleu': 0.06364996151971677, 'precisions': [0.15, 0.07692307692307693, 0.05263157894736842, 0.02702702702702703], 'brevity_penalty': 1.0, 'length_ratio': 4.444444444444445, 'translation_length': 40, 'reference_length': 9} Rouge: {'rouge1': 0.15, 'rouge2': 0.052631578947368425, 'rougeL': 0.1, 'rougeLsum': 0.1} Sari: {'sari': 44.592074592074596} Flesh Reading Ease: 67.7 ---------------------------------------- Source: ['Geeignet für: Fleisch, Fisch, Kartoffeln, Obst und Gemüse. Verfahrensart: Garen in trockener Wärme'] Prediction: ['Der Schweizer Unternehmen hat einen grossen Unternehmen für die Schweizer Wärme geschafft.\nDer Unternehmen für die Schweizer Wärme ist ein grosser Unternehmen.\nDer Unternehmen für die Schweizer Wärme ist ein grosser Unternehmen.'] Label: [['Fleisch, Fisch, Kartoffeln, Obst und Gemüse']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 35, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.888888888888889, 'translation_length': 35, 'reference_length': 9} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 18.586077593430534} Flesh Reading Ease: 58.15 ---------------------------------------- Source: ['Zum Wenden eine Zange oder einen Bratenwender benutzen, sodass die Kruste vollständig erhalten bleibt.'] Prediction: ['Die Kruste bleiben vollständig erhalten.\nDie Kruste bleiben vollständig erhalten.'] Label: [['Wenden Sie das Lebensmittel mit einer Zange oder einem Wender, dann bleibt die Kruste heil.']] Sacrebleu: {'score': 2.6549256363457783, 'counts': [2, 0, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [16.666666666666668, 4.545454545454546, 2.5, 1.3888888888888888], 'bp': 0.6592406302004437, 'sys_len': 12, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6592406302004439, 'length_ratio': 0.7058823529411765, 'translation_length': 12, 'reference_length': 17} Rouge: {'rouge1': 0.14814814814814814, 'rouge2': 0.08, 'rougeL': 0.14814814814814814, 'rougeLsum': 0.14814814814814814} Sari: {'sari': 53.58391608391608} Flesh Reading Ease: 46.3 ---------------------------------------- Source: ['und das Grillgut auf einen Rost legen bis es gebräunt ist. Den Grill vorheizen.'] Prediction: ['Das Grillgut auf einen Rost legt bis es gebräunt ist.\nEs ist das erste Grill in der Schweiz.\nEs ist das erste Grill in der Schweiz.'] Label: [['Legen Sie das Lebensmittel auf einen Rost, bis es braun ist.\nHeizen Sie den Grill vor.']] Sacrebleu: {'score': 7.696339439306159, 'counts': [10, 4, 1, 0], 'totals': [29, 28, 27, 26], 'precisions': [34.48275862068966, 14.285714285714286, 3.7037037037037037, 1.9230769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.3448275862068966, 0.14285714285714285, 0.037037037037037035, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5263157894736843, 'translation_length': 29, 'reference_length': 19} Rouge: {'rouge1': 0.37209302325581395, 'rouge2': 0.14634146341463417, 'rougeL': 0.37209302325581395, 'rougeLsum': 0.37209302325581395} Sari: {'sari': 42.366081930302116} Flesh Reading Ease: 101.1 ---------------------------------------- Source: ['Erst nach Ablauf der Garzeit den Ofen öffnen und eine Garprobe durchführen.'] Prediction: ['Die Garzeit wurde am Sonntagabend in der Nähe von St. Gallen aufgefunden.\nDie Polizei hatte den Ofen öffnen und eine Garprobe durchführen.\nDie Polizei hatte den Ofen öffnen und eine Garprobe durchführen.'] Label: [['Den Ofen erst öffnen, wenn die Garzeit vorbei ist.']] Sacrebleu: {'score': 1.4500372328365223, 'counts': [4, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [11.11111111111111, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.272727272727273, 'translation_length': 36, 'reference_length': 11} Rouge: {'rouge1': 0.22727272727272727, 'rouge2': 0.09523809523809523, 'rougeL': 0.1818181818181818, 'rougeLsum': 0.22727272727272727} Sari: {'sari': 39.468640020110605} Flesh Reading Ease: 58.15 ---------------------------------------- Source: ['Gebäck sollte weiter unten im Ofen gebacken werden je größer es ist.'] Prediction: ['Im Ofen wurde ein Gebäck von der Polizei gebacken.\nDie Polizei hatte den Gebäck nicht mehr gebacken.\nDie Polizei hatte den Gebäck nicht mehr gebacken.'] Label: [['Je größer das Lebensmittel, desto weiter unten stellen Sie es in den Ofen.']] Sacrebleu: {'score': 1.7574239156849023, 'counts': [3, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [10.714285714285714, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.10714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8666666666666667, 'translation_length': 28, 'reference_length': 15} Rouge: {'rouge1': 0.09523809523809523, 'rouge2': 0.0, 'rougeL': 0.047619047619047616, 'rougeLsum': 0.09523809523809523} Sari: {'sari': 46.98021885521885} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['Den Ofen anstellen, das Gargut auf ein Blech, Rost oder in eine Form legen und bei 160 bis 275 Grad Celsius\xa0gemäß den Angaben im Rezept garen.'] Prediction: ['Das Gargut auf ein Blech, Rost oder in eine Form legte den Angaben im Rezept.\nEs wurde dabei von 160 bis 275 Grad Celsius\xa0gemäß gekommen.\nDie Temperaturen waren zudem 160 bis 275 Grad Celsius\xa0gemäß.'] Label: [['Backen Sie es zwischen 160 und 275 Grad Hitze, je nach Rezept.\nLegen Sie das Lebensmittel auf ein Blech oder ein Rost oder in eine Form.\nStellen Sie den Ofen an.']] Sacrebleu: {'score': 14.92381112797016, 'counts': [17, 8, 4, 2], 'totals': [40, 39, 38, 37], 'precisions': [42.5, 20.512820512820515, 10.526315789473685, 5.405405405405405], 'bp': 1.0, 'sys_len': 40, 'ref_len': 35} Bleu: {'bleu': 0.1492381112797016, 'precisions': [0.425, 0.20512820512820512, 0.10526315789473684, 0.05405405405405406], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 40, 'reference_length': 35} Rouge: {'rouge1': 0.44776119402985076, 'rouge2': 0.2153846153846154, 'rougeL': 0.29850746268656714, 'rougeLsum': 0.44776119402985076} Sari: {'sari': 45.47855181118981} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['Geeignet für: Brot, Kuchen, Aufläufe, Pizza oder Fischgerichte.'] Prediction: ['Das Restaurant in der Nähe von Stadt Bern hat einen grossen Wissenschaftler geschützt.\nDie Wissenschaftler wollen sich mit einem grossen Wissenschaftler aufgefordert werden.\nDie Wissenschaftler werden von einem Wissenschaftler aufgefordert.'] Label: [['Auflauf, Pizza, Fischgerichte, Brot und Kuchen']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 33, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6666666666666665, 'translation_length': 33, 'reference_length': 9} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 45.138888888888886} Flesh Reading Ease: 47.15 ---------------------------------------- Source: ['In Pfannen mit Beschichtung kann mit weniger Fett gebraten werden und die Lebensmittel brennen nicht so schnell an.'] Prediction: ['In Pfannen kann mit weniger Fett gebraten werden.\nDie Lebensmittel brennen nicht so schnell an.'] Label: [['Die Lebensmittel brennen darin nicht so schnell an.\nIn einer Pfanne mit Beschichtung brauchen Sie weniger Fett.']] Sacrebleu: {'score': 29.87048860946151, 'counts': [13, 7, 4, 2], 'totals': [17, 16, 15, 14], 'precisions': [76.47058823529412, 43.75, 26.666666666666668, 14.285714285714286], 'bp': 0.8890097654027757, 'sys_len': 17, 'ref_len': 19} Bleu: {'bleu': 0.29870488609461504, 'precisions': [0.7647058823529411, 0.4375, 0.26666666666666666, 0.14285714285714285], 'brevity_penalty': 0.8890097654027757, 'length_ratio': 0.8947368421052632, 'translation_length': 17, 'reference_length': 19} Rouge: {'rouge1': 0.6875, 'rouge2': 0.39999999999999997, 'rougeL': 0.43749999999999994, 'rougeLsum': 0.6875} Sari: {'sari': 46.658456486042695} Flesh Reading Ease: 73.05 ---------------------------------------- Source: ['Das Lebensmittel in die heiße Pfanne geben und auf beiden Seiten braten.'] Prediction: ['Ein Lebensmittel in die heiße Pfanne brannte in einem Auto.\nDie Polizei hatte das Lebensmittel auf beiden Seiten geborgen.\nDie Polizei hatte den Mann aufgefunden.'] Label: [['Legen Sie das Lebensmittel in die Pfanne und braten Sie es auf beiden Seiten.']] Sacrebleu: {'score': 9.78237574896145, 'counts': [9, 5, 2, 0], 'totals': [28, 27, 26, 25], 'precisions': [32.142857142857146, 18.51851851851852, 7.6923076923076925, 2.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.32142857142857145, 0.18518518518518517, 0.07692307692307693, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8666666666666667, 'translation_length': 28, 'reference_length': 15} Rouge: {'rouge1': 0.4, 'rouge2': 0.2631578947368421, 'rougeL': 0.35000000000000003, 'rougeLsum': 0.4} Sari: {'sari': 44.39484126984127} Flesh Reading Ease: 54.7 ---------------------------------------- Source: ['KurzbratenWenig Fett in eine Pfanne geben und erhitzen.'] Prediction: ['In einer Pfanne in der Nähe von Pfanne wurden mehrere Frauen verletzt.\nSie wurden dabei verletzt.\nSie wurden dabei verletzt.'] Label: [['Geben Sie ein wenig Fett in eine Pfanne und erhitzen sie diese.']] Sacrebleu: {'score': 2.328734903585348, 'counts': [4, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [17.391304347826086, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7692307692307692, 'translation_length': 23, 'reference_length': 13} Rouge: {'rouge1': 0.24242424242424246, 'rouge2': 0.0, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 24.18831168831169} Flesh Reading Ease: 68.0 ---------------------------------------- Source: ['Geeignet für: Fleisch, Fisch, Gemüse, Kartoffel-, Reis- und Nudelgerichte.'] Prediction: ['Der Schweizer Kartoffel-Kette ist ein grosser Reis-Kollegen.\nDer Schweizer kämpft mit Fleisch, Fisch, Gemüse und Nudelgerichte.\nDer Schweizer kämpft mit Fleisch, Fisch, Gemüse und Nudelgerichte.'] Label: [['Fleisch, Fisch und Gemüse, Kartoffel-, Reis- und Nudelgerichte']] Sacrebleu: {'score': 6.288914797547567, 'counts': [9, 3, 1, 0], 'totals': [32, 31, 30, 29], 'precisions': [28.125, 9.67741935483871, 3.3333333333333335, 1.7241379310344827], 'bp': 1.0, 'sys_len': 32, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.28125, 0.0967741935483871, 0.03333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.909090909090909, 'translation_length': 32, 'reference_length': 11} Rouge: {'rouge1': 0.45000000000000007, 'rouge2': 0.15789473684210528, 'rougeL': 0.35000000000000003, 'rougeLsum': 0.39999999999999997} Sari: {'sari': 28.821571335337854} Flesh Reading Ease: 60.55 ---------------------------------------- Source: ['Geeignet für: Kleine, in Stücke zerteilte Mengen von allen Lebensmitteln'] Prediction: ['In Stücke zerteilte Mengen von allen Lebensmitteln.\nDie Polizei hatte die Mengen in Stücke zerteilt.\nDie Polizei hatte die Mengen in Stücke zerteilt.'] Label: [['Alle Lebensmittel, vor allem in kleinen Mengen oder kleinen Stücken.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1666666666666665, 'translation_length': 26, 'reference_length': 12} Rouge: {'rouge1': 0.16216216216216214, 'rouge2': 0.0, 'rougeL': 0.16216216216216214, 'rougeLsum': 0.16216216216216214} Sari: {'sari': 36.282051282051285} Flesh Reading Ease: 61.15 ---------------------------------------- Source: ['Keinesfalls sollten Gefäße oder Besteck aus Metall in die Mikrowelle gelangen.'] Prediction: ['Gefäße oder Besteck aus Metall sollen in die Mikrowelle gelangen.\nKeinesfalls sollten Gefäße oder Besteck aus Metall gelangen.'] Label: [['Keinen Topf, kein Besteck und keine Teller mit Goldrand.\nAufgepasst: Niemals Metall in die Mikrowelle stellen!']] Sacrebleu: {'score': 8.475426399505569, 'counts': [6, 2, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [30.0, 10.526315789473685, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.3, 0.10526315789473684, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 20, 'reference_length': 20} Rouge: {'rouge1': 0.2777777777777778, 'rouge2': 0.11764705882352941, 'rougeL': 0.2777777777777778, 'rougeLsum': 0.2777777777777778} Sari: {'sari': 27.841880341880337} Flesh Reading Ease: 48.15 ---------------------------------------- Source: ['Zu Garzeiten und Leistungsstufe die Angaben des Herstellers beachten.'] Prediction: ['Die Angaben des Herstellers sind in der Nacht auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag zu sehen.\nDie Angaben sind zu Garzeiten und Leistungsstufe die Angaben des Herstellers beachten.'] Label: [['Wie lange und auf welcher Leistungsstufe die Mikrowelle laufen muss, finden Sie in der Bedienungs-Anleitung des Herstellers.']] Sacrebleu: {'score': 2.038488155676215, 'counts': [9, 3, 0, 0], 'totals': [68, 67, 66, 65], 'precisions': [13.235294117647058, 4.477611940298507, 0.7575757575757576, 0.38461538461538464], 'bp': 1.0, 'sys_len': 68, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.1323529411764706, 0.04477611940298507, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5789473684210527, 'translation_length': 68, 'reference_length': 19} Rouge: {'rouge1': 0.19047619047619047, 'rouge2': 0.07317073170731707, 'rougeL': 0.11904761904761905, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 45.68834900731453} Flesh Reading Ease: 53.4 ---------------------------------------- Source: ['Damit das Gargut nicht austrocknet oder spritzt, eine Abdeckhaube darüber stellen.'] Prediction: ['Das Gargut ist nicht austrocknet oder spritzt.\nDas Abdeckhaube stellt eine Abdeckhaube darüber.'] Label: [['Damit das Essen nicht spritzt oder austrocknet, sollten Sie es mit einer Haube abdecken.']] Sacrebleu: {'score': 3.676279892490428, 'counts': [5, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [33.333333333333336, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.9355069850316178, 'sys_len': 15, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9355069850316178, 'length_ratio': 0.9375, 'translation_length': 15, 'reference_length': 16} Rouge: {'rouge1': 0.35714285714285715, 'rouge2': 0.0, 'rougeL': 0.21428571428571427, 'rougeLsum': 0.21428571428571427} Sari: {'sari': 31.944444444444446} Flesh Reading Ease: 68.2 ---------------------------------------- Source: ['Das Lebensmittel mit etwas Wasser in einem Gefäß aus Glas, Keramik oder hitzebeständigem Kunststoff in die Mikrowelle stellen.'] Prediction: ['Das Lebensmittel mit etwas Wasser in einem Gefäß aus Glas, Keramik oder hitzebeständigem Kunststoff in die Mikrowelle stellen die Mikrowelle.\nDas Lebensmittel mit etwas Wasser in einem Gefäß aus Glas, Keramik oder hitzebeständigem Kunststoff in die Mikrowelle stellen die Lebensmittel mit etwas Wasser in einem Gefäß aus Glas, Keramik oder hitzebeständigem Kunststoff in die Mikrowelle.'] Label: [['Stellen Sie es in die Mikrowelle.\nLegen Sie das Lebensmittel mit etwas Wasser in das Gefäß.\nNehmen Sie ein Gefäß aus Glas, Keramik oder hitzefestem Plastik.']] Sacrebleu: {'score': 17.51577887982973, 'counts': [17, 12, 9, 6], 'totals': [60, 59, 58, 57], 'precisions': [28.333333333333332, 20.338983050847457, 15.517241379310345, 10.526315789473685], 'bp': 1.0, 'sys_len': 60, 'ref_len': 30} Bleu: {'bleu': 0.17515778879829721, 'precisions': [0.2833333333333333, 0.2033898305084746, 0.15517241379310345, 0.10526315789473684], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 60, 'reference_length': 30} Rouge: {'rouge1': 0.40476190476190477, 'rouge2': 0.2682926829268293, 'rougeL': 0.3571428571428572, 'rougeLsum': 0.380952380952381} Sari: {'sari': 59.90604377701152} Flesh Reading Ease: 29.65 ---------------------------------------- Source: ['Geeignet für: Zartes, bindegewebsarmes Gargut wie Fisch, zartes Gemüse, Geflügelteilstücke oder Tajine.'] Prediction: ['Geeignet für: Zartes, bindegewebsarmes Gargut wie Fisch, zartes Gemüse, Geflügelteilstücke oder Tajine.\nDie Welt ist eine neue Woche.\nDie Welt ist eine neue Woche.'] Label: [['Fisch, Geflügelstücke, zartes Gemüse']] Sacrebleu: {'score': 5.613782358458971, 'counts': [5, 3, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [16.129032258064516, 10.0, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.16129032258064516, 0.1, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.166666666666667, 'translation_length': 31, 'reference_length': 6} Rouge: {'rouge1': 0.34285714285714286, 'rouge2': 0.12121212121212122, 'rougeL': 0.2285714285714286, 'rougeLsum': 0.2285714285714286} Sari: {'sari': 40.08101260432635} Flesh Reading Ease: 55.0 ---------------------------------------- Source: ['Den Topfinhalt nicht umrühren oder wenden, sondern bei geschlossenem Deckel den Topf ab und zu vorsichtig rütteln, um Wasserdampfverluste zu vermeiden.'] Prediction: ['Die Wasserdampfverluste der Schweizer Welt wird abgebrochen.\nDie Welt ist einige Wochen lang, das sich bei geschlossenem Deckel zu vorsichtig rütteln.\nDie Welt ist einige Wochen lang, das sich bei den Topfern zu vorsichtig rütteln.'] Label: [['Sie können den Topf ab und zu vorsichtig rütteln, damit nichts festklebt.']] Sacrebleu: {'score': 4.066870399856363, 'counts': [6, 2, 1, 0], 'totals': [40, 39, 38, 37], 'precisions': [15.0, 5.128205128205129, 2.6315789473684212, 1.3513513513513513], 'bp': 1.0, 'sys_len': 40, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.05128205128205128, 0.02631578947368421, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.857142857142857, 'translation_length': 40, 'reference_length': 14} Rouge: {'rouge1': 0.19607843137254902, 'rouge2': 0.12244897959183675, 'rougeL': 0.19607843137254902, 'rougeLsum': 0.19607843137254902} Sari: {'sari': 34.17065390749601} Flesh Reading Ease: 68.85 ---------------------------------------- Source: ['Nach dem Ankochen die Lebensmittel auf der Fortkochstufe bei mittlerer Hitze zu Ende garen. Den Topf mit einem Deckel gut verschließen und vor Ende der Garzeit nicht wieder öffnen.'] Prediction: ['Ein junger Lebensmittel auf der Fortkochstufe wurde bei mittlerer Hitze zu Ende gefunden.\nDer Topf mit einem Deckel und einem Deckel wurde nicht wieder öffnen.\nDie Lebensmittel waren auf der Fortkochstufe bei mittlerer Hitze zu Ende gekommen.'] Label: [['Nehmen Sie den Deckel nicht vom Topf, sonst entweicht der Dampf.\nLegen Sie einen Deckel auf den Topf und schalten Sie den Herd auf mittlere Hitze zurück.']] Sacrebleu: {'score': 1.6731146348583268, 'counts': [11, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [27.5, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.275, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 40, 'reference_length': 30} Rouge: {'rouge1': 0.27692307692307694, 'rouge2': 0.0, 'rougeL': 0.15384615384615385, 'rougeLsum': 0.2153846153846154} Sari: {'sari': 36.42502258355917} Flesh Reading Ease: 56.55 ---------------------------------------- Source: ['In einem flachen, breiten Topf ein bis zwei Teelöffel Fett erwärmen, das Lebensmittel kurz darin andünsten und anschließend wenig Wasser zugegeben.'] Prediction: ['In einem breiten Topf wurden in einem breiten Topf ein bis zwei Teelöffel Fett erwärmen.\nDas Lebensmittel kurz darin und wenig Wasser zugegeben.\nDie Lebensmittel-Fett-Fälle waren auf einem flachen, breiten Topf ein bis zwei Teelöffel Fett erwärmen.'] Label: [['Geben Sie ein bisschen Wasser dazu.\nBraten Sie das Lebensmittel kurz an.\nNehmen Sie einen flachen, breiten Topf und geben Sie ein bis zwei Teelöffel Fett hinein.']] Sacrebleu: {'score': 17.020978727222843, 'counts': [17, 8, 5, 3], 'totals': [41, 40, 39, 38], 'precisions': [41.46341463414634, 20.0, 12.820512820512821, 7.894736842105263], 'bp': 1.0, 'sys_len': 41, 'ref_len': 31} Bleu: {'bleu': 0.17020978727222835, 'precisions': [0.4146341463414634, 0.2, 0.1282051282051282, 0.07894736842105263], 'brevity_penalty': 1.0, 'length_ratio': 1.3225806451612903, 'translation_length': 41, 'reference_length': 31} Rouge: {'rouge1': 0.41666666666666663, 'rouge2': 0.2571428571428572, 'rougeL': 0.36111111111111116, 'rougeLsum': 0.41666666666666663} Sari: {'sari': 52.37854251012145} Flesh Reading Ease: 56.55 ---------------------------------------- Source: ['Geeignet für: Gemüse, Fisch oder Teigtaschen.'] Prediction: ['Geeignet für Gemüse, Fisch oder Teigtaschen: Gemüse, Fisch oder Teigtaschen.\nGemüse, Fisch oder Teigtaschen: Gemüse, Fisch oder Teigtaschen.\nDie Gemüse und Fisch oder Teigtaschen: Gemüse, Fisch oder Teigtaschen.'] Label: [['Gemüse, Fisch, Teigtaschen']] Sacrebleu: {'score': 3.9893707027646133, 'counts': [5, 2, 1, 0], 'totals': [39, 38, 37, 36], 'precisions': [12.820512820512821, 5.2631578947368425, 2.7027027027027026, 1.3888888888888888], 'bp': 1.0, 'sys_len': 39, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.1282051282051282, 0.05263157894736842, 0.02702702702702703, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.8, 'translation_length': 39, 'reference_length': 5} Rouge: {'rouge1': 0.20512820512820512, 'rouge2': 0.10810810810810811, 'rougeL': 0.20512820512820512, 'rougeLsum': 0.20512820512820512} Sari: {'sari': 44.94301994301995} Flesh Reading Ease: 59.55 ---------------------------------------- Source: ['Während des ganzen Garprozesses den Topf nicht öffnen, damit kein Dampf entweicht!'] Prediction: ['Der Schweizer Garprozess ist nicht mehr geworden.\nDas Team ist nicht mehr geworden, damit kein Dampf entweicht.\nWährend des ganzen Garprozesses den Topf nicht öffnen, damit kein Dampf entweicht!'] Label: [['Nehmen Sie den Deckel nicht vom Topf, sonst entweicht der Dampf.']] Sacrebleu: {'score': 1.7705303846970066, 'counts': [7, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [20.58823529411765, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.20588235294117646, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6153846153846154, 'translation_length': 34, 'reference_length': 13} Rouge: {'rouge1': 0.29268292682926833, 'rouge2': 0.0, 'rougeL': 0.14634146341463417, 'rougeLsum': 0.14634146341463417} Sari: {'sari': 40.416666666666664} Flesh Reading Ease: 70.85 ---------------------------------------- Source: ['Beginnt das Wasser zu sieden, auf geringere Wärmezufuhr zurückschalten und das Lebensmittel im Wasserdampf fertig garen.'] Prediction: ['Ein Lebensmittel im Wasserdampf hatte einen Wasserbeginnt das Wasser zurückschalten.\nDas Wasser wurde auf geringere Wärmezufuhr zurückschalten und das Lebensmittel im Wasserdampf fertig gekostet.'] Label: [['Wenn das Wasser kocht, schalten Sie den Herd auf niedrige Hitze zurück.']] Sacrebleu: {'score': 3.435812002459847, 'counts': [4, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 26, 'reference_length': 14} Rouge: {'rouge1': 0.2, 'rouge2': 0.05263157894736842, 'rougeL': 0.2, 'rougeLsum': 0.2} Sari: {'sari': 36.7441591487393} Flesh Reading Ease: 33.45 ---------------------------------------- Source: ['Das Gargut in den Einsatz füllen, den Topf mit dem Deckel verschließen und auf höchster Stufe ankochen.'] Prediction: ['Das Gargut füllt den Deckel verschließen und auf höchster Stufe ankochen.\nDas Deckel wurde auf höchster Stufe ankochen.\nDas Gargut ist ein Deckel-Topf.'] Label: [['Bringen Sie das Wasser zum Kochen.\nLegen Sie das Lebensmittel in das Sieb und legen Sie den Deckel auf den Topf.']] Sacrebleu: {'score': 3.802351022611669, 'counts': [6, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [23.076923076923077, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1304347826086956, 'translation_length': 26, 'reference_length': 23} Rouge: {'rouge1': 0.32653061224489793, 'rouge2': 0.0425531914893617, 'rougeL': 0.20408163265306123, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 34.93055555555556} Flesh Reading Ease: 72.85 ---------------------------------------- Source: ['In den Topf etwa einen fingerbreit Wasser geben und einen Siebeinsatz einlegen.'] Prediction: ['In den Topf kam es zu einem Wasser und einen Siebeinsatz.\nEin Siebeinsatz wurde dabei eingestuft.\nDie Wasser-Fälle waren in den Topf etwa einen fingerbreit Wasser geben und einen Siebeinsatz einlegen.'] Label: [['Legen Sie ein Sieb oder Dampfkorb in den Topf.\nGeben Sie einen fingerbreit Wasser in einen Topf.']] Sacrebleu: {'score': 7.7426364109627785, 'counts': [10, 4, 2, 0], 'totals': [34, 33, 32, 31], 'precisions': [29.41176470588235, 12.121212121212121, 6.25, 1.6129032258064515], 'bp': 1.0, 'sys_len': 34, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.29411764705882354, 0.12121212121212122, 0.0625, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7894736842105263, 'translation_length': 34, 'reference_length': 19} Rouge: {'rouge1': 0.44, 'rouge2': 0.16666666666666666, 'rougeL': 0.32, 'rougeLsum': 0.32} Sari: {'sari': 47.71116138763197} Flesh Reading Ease: 70.25 ---------------------------------------- Source: ['Geeignet für: Stärkehaltige Lebensmittel wie Reis, Couscous, Hirse oder Grieß.'] Prediction: ['Die Schweiz hat einen neuen Lebensmittel für Reis, Couscous, Hirse oder Grieß geschlossen.\nDie Stärkehaltige Lebensmittel wie Reis, Couscous, Hirse oder Grieß sind wohl auch für die Stärkehaltige.'] Label: [['Reis, Couscous, Bulgur, Hirse']] Sacrebleu: {'score': 8.10371533925042, 'counts': [6, 4, 2, 1], 'totals': [34, 33, 32, 31], 'precisions': [17.647058823529413, 12.121212121212121, 6.25, 3.225806451612903], 'bp': 1.0, 'sys_len': 34, 'ref_len': 7} Bleu: {'bleu': 0.0810371533925042, 'precisions': [0.17647058823529413, 0.12121212121212122, 0.0625, 0.03225806451612903], 'brevity_penalty': 1.0, 'length_ratio': 4.857142857142857, 'translation_length': 34, 'reference_length': 7} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.0588235294117647, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 48.322649572649574} Flesh Reading Ease: 60.7 ---------------------------------------- Source: ['Während der Garzeit saugt das Lebensmittel die gesamte Flüssigkeit auf.'] Prediction: ['Ein Lebensmittel aus dem Kanton Graubünden hatte am Sonntag eine gesamte Flüssigkeit aufgefunden.\nDie gesamte Flüssigkeit wurde aufgefunden.\nDie Polizei sucht Zeugen.'] Label: [['Das Lebensmittel saugt die gesamte Flüssigkeit auf.']] Sacrebleu: {'score': 3.5823421191287177, 'counts': [4, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [16.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.16, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.125, 'translation_length': 25, 'reference_length': 8} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.19354838709677416, 'rougeL': 0.30303030303030304, 'rougeLsum': 0.30303030303030304} Sari: {'sari': 37.21382783882785} Flesh Reading Ease: 44.0 ---------------------------------------- Source: ['Den Deckel auf den Topf legen und abgedeckt stehen lassen.'] Prediction: ['Der Schweizer Weltcup hat einen neuen Deckel auf den Topf geschlossen.\nDer Deckel auf den Topf legt und abgedeckt stehen lassen.\nDie Schweizer Weltcup-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-Quali-'] Label: [['Legen Sie den Deckel auf den Topf und lassen Sie ihn abgedeckt stehen.']] Sacrebleu: {'score': 12.219667481477892, 'counts': [10, 4, 2, 1], 'totals': [26, 25, 24, 23], 'precisions': [38.46153846153846, 16.0, 8.333333333333334, 4.3478260869565215], 'bp': 1.0, 'sys_len': 26, 'ref_len': 14} Bleu: {'bleu': 0.12219667481477892, 'precisions': [0.38461538461538464, 0.16, 0.08333333333333333, 0.043478260869565216], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 26, 'reference_length': 14} Rouge: {'rouge1': 0.10650887573964497, 'rouge2': 0.04790419161676647, 'rougeL': 0.09467455621301775, 'rougeLsum': 0.08284023668639054} Sari: {'sari': 39.464285714285715} Flesh Reading Ease: -559.26 ---------------------------------------- Source: ['Dazu die genau abgemessene Menge Wasser in einen Topf geben, erwärmen und das Lebensmittel zugeben.'] Prediction: ['Das Lebensmittel zugeben die genau abgemessene Menge Wasser in einen Topf.\nDazu wurden die genau abgemessene Menge Wasser in einen Topf geben, erwärmen und das Lebensmittel zugeben.'] Label: [['Jetzt geben Sie das Lebensmittel dazu – das Wasser darf nicht mehr kochen.\nErhitzen Sie den Topf bis kurz vor dem Kochen.\nGeben Sie eine genau abgemessene Menge Wasser in einen Topf.']] Sacrebleu: {'score': 22.63039548439093, 'counts': [14, 8, 6, 5], 'totals': [30, 29, 28, 27], 'precisions': [46.666666666666664, 27.586206896551722, 21.428571428571427, 18.51851851851852], 'bp': 0.846481724890614, 'sys_len': 30, 'ref_len': 35} Bleu: {'bleu': 0.22630395484390933, 'precisions': [0.4666666666666667, 0.27586206896551724, 0.21428571428571427, 0.18518518518518517], 'brevity_penalty': 0.846481724890614, 'length_ratio': 0.8571428571428571, 'translation_length': 30, 'reference_length': 35} Rouge: {'rouge1': 0.47457627118644063, 'rouge2': 0.2456140350877193, 'rougeL': 0.3728813559322034, 'rougeLsum': 0.4067796610169491} Sari: {'sari': 55.322645382429734} Flesh Reading Ease: 43.65 ---------------------------------------- Source: ['KochenHier gibt es zwei Verfahren: 1. Wasser in einen Topf geben, den Deckel auflegen, auf den Herd stellen und auf der höchsten Stufe zum Kochen bringen.'] Prediction: ['Hier gibt es zwei Verfahren: 1.\nWasser in einen Topf geben, den Deckel auflegen, auf den Herd stellen und auf der höchsten Stufe zum Kochen bringen.\nDie Verfahren werden zwei Verfahren eröffnet.'] Label: [['Bringen Sie alles auf der höchsten Stufe zum Kochen.\nLegen Sie den Deckel auf den Topf.\nStellen Sie den Topf auf den Herd.\nDas Essen muss vollständig unter Wasser stehen.\nLegen Sie die Lebensmittel in einen Topf und geben Sie Wasser dazu.']] Sacrebleu: {'score': 16.754344432696836, 'counts': [20, 10, 6, 3], 'totals': [38, 37, 36, 35], 'precisions': [52.63157894736842, 27.027027027027028, 16.666666666666668, 8.571428571428571], 'bp': 0.7891158754249911, 'sys_len': 38, 'ref_len': 47} Bleu: {'bleu': 0.16754344432696838, 'precisions': [0.5263157894736842, 0.2702702702702703, 0.16666666666666666, 0.08571428571428572], 'brevity_penalty': 0.7891158754249911, 'length_ratio': 0.8085106382978723, 'translation_length': 38, 'reference_length': 47} Rouge: {'rouge1': 0.5384615384615384, 'rouge2': 0.2894736842105263, 'rougeL': 0.20512820512820512, 'rougeLsum': 0.46153846153846156} Sari: {'sari': 50.07452922894099} Flesh Reading Ease: 75.7 ---------------------------------------- Source: ['Und schließlich bilden sich beim Garen auch Geruchs- oder Geschmacksstoffe, die Appetit machen.'] Prediction: ['Einige Appetit-Gäste sind bei einem Garen auf dem Appetit gestartet.\nSie bilden sich auch Geruchs oder Geschmacksstoffe, die Appetit machen.'] Label: [['Die machen Appetit!\nUnd das Beste kommt zuletzt: beim Garen bilden sich Geruchs- und Geschmacksstoffe.']] Sacrebleu: {'score': 4.504556737153658, 'counts': [7, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [30.434782608695652, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.30434782608695654, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2777777777777777, 'translation_length': 23, 'reference_length': 18} Rouge: {'rouge1': 0.43243243243243246, 'rouge2': 0.057142857142857134, 'rougeL': 0.3243243243243243, 'rougeLsum': 0.43243243243243246} Sari: {'sari': 33.805315055315056} Flesh Reading Ease: 47.15 ---------------------------------------- Source: ['Das Erhitzen macht einige Nährstoffe wie Vitamine und sekundäre Pflanzenstoffe besser verfügbar.'] Prediction: ['Ein Erhitzen in der Schweiz ist einige Nährstoffe wie Vitamine und sekundäre Pflanzenstoffe verfügbar.\nDie Erhitzen machten einige Nährstoffe wie Vitamine und sekundäre Pflanzenstoffe besser verfügbar.'] Label: [['Das ist gesund.\nBeim Garen werden außerdem Nährstoffe und Vitamine frei.']] Sacrebleu: {'score': 2.0899410246084282, 'counts': [6, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [21.428571428571427, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1538461538461537, 'translation_length': 28, 'reference_length': 13} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.046511627906976744, 'rougeL': 0.22222222222222224, 'rougeLsum': 0.17777777777777778} Sari: {'sari': 34.523809523809526} Flesh Reading Ease: 32.45 ---------------------------------------- Source: ['Vor allem bei tierischen Produkten wie Hühnerfleisch, Fisch, Meeresfrüchten und Fleisch, die roh mit krankheitserregenden Keimen behaftet sein können, werden diese beim Durchgaren abgetötet.'] Prediction: ['Die Rückkehr von Keimen ist bei tierischen Produkten wie Hühnerfleisch, Fisch, Meeresfrüchten und Fleisch, die roh mit krankheitserregenden Keimen behaftet sein können, werden diese beim Durchgaren abgetötet.\nDie Rückkehr ist auf dem Durchgaren der Rückkehr zu kämpfen.'] Label: [['Beim Garen werden diese Bakterien getötet.\nWenn sie roh sind, können sie Bakterien enthalten, die Menschen krank machen.\nDas gilt vor allem für tierische Lebensmittel, wie Fleisch, Fisch und Meeresfrüchte.\nViele Lebensmittel kann man erst sicher essen, wenn sie gegart sind.']] Sacrebleu: {'score': 3.389813583459636, 'counts': [15, 4, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [34.883720930232556, 9.523809523809524, 1.2195121951219512, 0.625], 'bp': 0.8497690284366347, 'sys_len': 43, 'ref_len': 50} Bleu: {'bleu': 0.0, 'precisions': [0.3488372093023256, 0.09523809523809523, 0.0, 0.0], 'brevity_penalty': 0.8497690284366347, 'length_ratio': 0.86, 'translation_length': 43, 'reference_length': 50} Rouge: {'rouge1': 0.3111111111111111, 'rouge2': 0.045454545454545456, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 28.303019903912148} Flesh Reading Ease: 50.35 ---------------------------------------- Source: ['So wird durch Garen zum Beispiel die unverdauliche Stärke der Kartoffel aufgeschlossen. Außerdem werden manche Lebensmittel durch Garen erst genießbar.'] Prediction: ['Durch Garen wird das Kartoffel aufgeschlossen.\nDie unverdauliche Stärke der Kartoffel wird aufgeschlossen.\nDie unverdauliche Stärke der Kartoffel wird aufgeschlossen.'] Label: [['Rohe Kartoffeln haben viel Stärke, erst nach dem Kochen oder Backen kann man sie genießen.\nKartoffeln zum Beispiel.\nManche Lebensmittel kann man nur essen, wenn sie gegart sind.']] Sacrebleu: {'score': 1.5076355333151612, 'counts': [4, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [17.391304347826086, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 0.6474053920839111, 'sys_len': 23, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6474053920839111, 'length_ratio': 0.696969696969697, 'translation_length': 23, 'reference_length': 33} Rouge: {'rouge1': 0.07692307692307691, 'rouge2': 0.04, 'rougeL': 0.07692307692307691, 'rougeLsum': 0.07692307692307691} Sari: {'sari': 30.52889139845662} Flesh Reading Ease: 38.75 ---------------------------------------- Source: ['Während des Garens werden Lebensmittel erhitzt und verändern sich damit in Geschmack, Zusammensetzung, Konsistenz und Aussehen.'] Prediction: ['Im Garens werden Lebensmittel erhitzt.\nDie Lebensmittel verändern sich damit in Geschmack, Zusammensetzung, Konsistenz und Aussehen.'] Label: [['Gegarte Lebensmittel verändern sich auch in ihrer Festigkeit.\nGegarte Lebensmittel sehen anders aus als rohe Lebensmittel und sie schmecken anders.\nDurch diese Hitze verändert ein Lebensmittel sich.\nBeim Garen wird Essen erhitzt.']] Sacrebleu: {'score': 4.664140246875921, 'counts': [9, 3, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [45.0, 15.789473684210526, 5.555555555555555, 2.9411764705882355], 'bp': 0.44932896411722156, 'sys_len': 20, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.45, 0.15789473684210525, 0.05555555555555555, 0.0], 'brevity_penalty': 0.4493289641172217, 'length_ratio': 0.5555555555555556, 'translation_length': 20, 'reference_length': 36} Rouge: {'rouge1': 0.3137254901960785, 'rouge2': 0.12244897959183672, 'rougeL': 0.23529411764705885, 'rougeLsum': 0.3137254901960785} Sari: {'sari': 38.26355661881978} Flesh Reading Ease: 37.45 ---------------------------------------- Source: ['So schmecken zum Beispiel Zwiebeln nach dem Braten weniger scharf, sind weicher und je nach Bratdauer leicht gebräunt.'] Prediction: ['Zwiebeln nach dem Braten sind weniger scharf, sind weicher und je nach Bratdauer leicht gebräunt.\nSo schmecken zum Beispiel Zwiebeln nach dem Braten weniger scharf, sind weicher und je nach Bratdauer leicht gebräunt.'] Label: [['Eine gebratene Zwiebel ist viel weicher als eine rohe.\nSie werden glasig und schmecken viel süßer als rohe Zwiebeln.\nDenken Sie zum Beispiel an gebratene Zwiebeln:']] Sacrebleu: {'score': 2.9025207558830606, 'counts': [9, 1, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [24.324324324324323, 2.7777777777777777, 1.4285714285714286, 0.7352941176470589], 'bp': 1.0, 'sys_len': 37, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.24324324324324326, 0.027777777777777776, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2758620689655173, 'translation_length': 37, 'reference_length': 29} Rouge: {'rouge1': 0.22580645161290322, 'rouge2': 0.03333333333333333, 'rougeL': 0.1935483870967742, 'rougeLsum': 0.22580645161290322} Sari: {'sari': 38.653846153846146} Flesh Reading Ease: 69.9 ---------------------------------------- Source: ['„Wenn der Joghurt seine Farbe verändert hat, unangenehm riecht oder schmeckt, wird er besser entsorgt. “'] Prediction: ['Ein Mann hat seine Farbe verändert und wird besser entsorgt.\nDer Joghurt hat seine Farbe riecht oder schmeckt.\nDer Mann wird besser entsorgt.'] Label: [['Dieses Lebensmittel sollten Sie wegwerfen.\nDann ist es nicht mehr in Ordnung.\nOder ist die Verpackung aufgebläht?\nRiecht es komisch?\nSehen Sie Schimmel?\nHat es sich verfärbt?']] Sacrebleu: {'score': 1.3124233827940486, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 0.7639669352423403, 'sys_len': 26, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 0.76396693524234, 'length_ratio': 0.7878787878787878, 'translation_length': 26, 'reference_length': 33} Rouge: {'rouge1': 0.11320754716981132, 'rouge2': 0.0, 'rougeL': 0.03773584905660377, 'rougeLsum': 0.11320754716981132} Sari: {'sari': 45.588235294117645} Flesh Reading Ease: 78.7 ---------------------------------------- Source: ['„Viele Lebensmittel sind auch nach Ablauf der Mindesthaltbarkeit noch völlig in Ordnung“, erklärt Harald Seitz, Ernährungswissenschaftler am Bundeszentrum für Ernährung (BZfE).'] Prediction: ['Viele Lebensmittel sind auch nach Ablauf der Mindesthaltbarkeit noch völlig in Ordnung.\nDas ist der erste Mal, dass viele Lebensmittel noch völlig in Ordnung sind.'] Label: [['Das bedeutet: Lebensmittel sind nach Ablauf des Mindest-Haltbarkeitsdatums oft noch in Ordnung.']] Sacrebleu: {'score': 7.779637090949696, 'counts': [9, 4, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [32.142857142857146, 14.814814814814815, 3.8461538461538463, 2.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.32142857142857145, 0.14814814814814814, 0.038461538461538464, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 28, 'reference_length': 14} Rouge: {'rouge1': 0.4, 'rouge2': 0.15789473684210525, 'rougeL': 0.35000000000000003, 'rougeLsum': 0.4} Sari: {'sari': 46.813511050353156} Flesh Reading Ease: 68.05 ---------------------------------------- Source: ['Im Gegensatz zum Mindesthaltbarkeitsdatum („mindestens haltbar bis. . . ") sollte das Verbrauchsdatum („zu verbrauchen bis. . . “) auf der Verpackung unbedingt eingehalten werden.'] Prediction: ['Im Gegensatz zum Mindesthaltbarkeitsdatum („mindestens haltbar bis... ") sollte das Verbrauchsdatum auf der Verpackung unbedingt eingehalten werden.\nDas Verbrauchdatum sollte auf der Verpackung unbedingt eingehalten werden.'] Label: [['Diese Produkte sind leicht verderblich.\nDanach geht das nicht mehr.\nDiese Produkte müssen Sie bis zum angegebenen Datum essen.\nAuf dem Etikett steht „zu verbrauchen bis“ – oder die Abkürzung VD – und ein Datum.\nViele frische Produkte haben ein Verbrauchsdatum.\nBis zu diesem Datum kann man sie essen, danach nicht mehr.\nDie meisten frischen Waren haben ein Verbrauchsdatum.']] Sacrebleu: {'score': 0.6942629613318403, 'counts': [9, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [27.272727272727273, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 0.35689879303155075, 'sys_len': 33, 'ref_len': 67} Bleu: {'bleu': 0.0, 'precisions': [0.2727272727272727, 0.0, 0.0, 0.0], 'brevity_penalty': 0.35689879303155075, 'length_ratio': 0.4925373134328358, 'translation_length': 33, 'reference_length': 67} Rouge: {'rouge1': 0.11904761904761904, 'rouge2': 0.0, 'rougeL': 0.07142857142857142, 'rougeLsum': 0.09523809523809523} Sari: {'sari': 31.093778507571606} Flesh Reading Ease: 31.3 ---------------------------------------- Source: ['Reis und Nudeln sind sogar noch Jahre länger haltbar, und bei Kaffee ist mit der Zeit höchstens ein Aromaverlust zu befürchten.'] Prediction: ['In der Schweiz sind sich die Reis und Nudeln noch nicht mehr länger haltbar.\nDie Zeit ist mit der Zeit höchstens ein Aromaverlust zu befürchten.\nDie Reis und Nudeln sind sogar noch Jahre länger haltbar.'] Label: [['Aber auch verpackte Nudeln, Mehl oder Konserven (viele Monate).']] Sacrebleu: {'score': 1.1524538390587937, 'counts': [2, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [5.2631578947368425, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.05263157894736842, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.923076923076923, 'translation_length': 38, 'reference_length': 13} Rouge: {'rouge1': 0.041666666666666664, 'rouge2': 0.0, 'rougeL': 0.041666666666666664, 'rougeLsum': 0.041666666666666664} Sari: {'sari': 32.070707070707066} Flesh Reading Ease: 86.4 ---------------------------------------- Source: ['Milch und Milchprodukte werden nach Ablauf der Mindesthaltbarkeit mit allen Sinnen geprüft.'] Prediction: ['Milch und Milchprodukte werden nach Ablauf der Mindesthaltbarkeit mit allen Sinnen geprüft.\nDie Veranstalter werden nach Ablauf der Mindesthaltbarkeit mit allen Sinnen geprüft.'] Label: [['Doch auch nach diesem Datum kann man sie oft noch essen, denn sie sind immer noch in Ordnung.\nZum Beispiel Käse oder andere Milchprodukte (einige Wochen).']] Sacrebleu: {'score': 1.6755750575584345, 'counts': [4, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [16.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.7866278610665535, 'sys_len': 25, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.16, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7866278610665535, 'length_ratio': 0.8064516129032258, 'translation_length': 25, 'reference_length': 31} Rouge: {'rouge1': 0.07692307692307691, 'rouge2': 0.0, 'rougeL': 0.03846153846153846, 'rougeLsum': 0.07692307692307691} Sari: {'sari': 36.45833333333333} Flesh Reading Ease: 51.5 ---------------------------------------- Source: ['Es handelt sich um leicht verderbliche Produkte wie Hackfleisch und Geflügel, in denen sich Krankheitserreger vermehren können.'] Prediction: ['Hackfleisch und Geflügel wie Hackfleisch und Geflügel sind leicht verderbliche Produkte.\nEs handelt sich um leicht verderbliche Produkte wie Hackfleisch und Geflügel, in denen sich Krankheitserreger vermehren können.'] Label: [['Diese Waren können leicht verderben.\nZum Beispiel Fleisch oder Fisch, aber auch vorgeschnittene Salate.\nManche Lebensmittel bleiben nur wenige Tage haltbar.']] Sacrebleu: {'score': 1.793443763338368, 'counts': [5, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [16.129032258064516, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.16129032258064516, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.24, 'translation_length': 31, 'reference_length': 25} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.03846153846153846, 'rougeL': 0.07407407407407407, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 36.36363636363636} Flesh Reading Ease: 49.0 ---------------------------------------- Source: ['Viele Verbraucher sind verunsichert, ob Lebensmittel nach Ablauf des Mindesthaltbarkeitsdatums weiterhin genießbar sind.'] Prediction: ['Viele Verbraucher sind verunsichert, ob Lebensmittel nach Ablauf des Mindesthaltbarkeitsdatums weiterhin genießbar sind.\nDie Verbraucher sind verunsichert, ob Lebensmittel nach Ablauf des Mindesthaltbarkeitsdatums weiterhin genießbar sind.'] Label: [['Kann ich das noch essen?']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 30, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.0, 'translation_length': 30, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.33333333333333} Flesh Reading Ease: 14.9 ---------------------------------------- Source: ['Das Siegel informiert über die Produktionsmethode, sagt aber nichts über die gesamte Ökobilanz aus. Doch das Bio-Siegel auf dem Apfel oder dem Salatkopf sagt nichts darüber aus, ob es sich um ein saisonales Angebot handelt.'] Prediction: ['Das Bio-Siegel informiert über die Produktionsmethode, sagt aber nichts über die gesamte Ökobilanz aus.\nDiese sind auf dem Apfel oder dem Salatkopf ausgestellt.\nDas Bio-Siegel auf dem Apfel oder dem Salatkopf sagt nichts darüber aus, ob es sich um ein saisonales Angebot handelt.'] Label: [['Auch Obst und Gemüse mit dem Bio-Siegel haben nicht immer Saison.\nEs sagt etwas über die Produktion – nicht über den Transport.\nDas Bio-Siegel steht auch auf Ware, die aus anderen Kontinenten kommt.\nAber aufgepasst!']] Sacrebleu: {'score': 4.685093573881758, 'counts': [15, 3, 1, 0], 'totals': [48, 47, 46, 45], 'precisions': [31.25, 6.382978723404255, 2.1739130434782608, 1.1111111111111112], 'bp': 1.0, 'sys_len': 48, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.3125, 0.06382978723404255, 0.021739130434782608, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 48, 'reference_length': 40} Rouge: {'rouge1': 0.3614457831325302, 'rouge2': 0.09876543209876543, 'rougeL': 0.24096385542168675, 'rougeLsum': 0.3132530120481928} Sari: {'sari': 39.00620333772507} Flesh Reading Ease: 66.25 ---------------------------------------- Source: ['Biologisch angebautes Obst und Gemüse wird grundsätzlich ohne chemisch-synthetische Pflanzenschutzmittel und chemisch-synthetische Dünger erzeugt.'] Prediction: ['Biologisch angebautes Obst und Gemüse werden grundsätzlich ohne chemisch-synthetische Pflanzenschutzmittel und chemisch-synthetische Dünger erzeugt.\nBiologisch angebautes Obst und Gemüse werden grundsätzlich ohne chemisch-synthetische Pflanzenschutzmittel und chemisch-synthetische Dünger erzeugt.'] Label: [['Normale Landwirte benutzen Dünger und Pflanzenschutz mit vielen chemischen Stoffen.\nDas kommt weil Öko-Bauern anderen Dünger und Pflanzenschutz benutzen.\nSie sind besser fürs Klima als ‚normales’Obst und Gemüse.\nBio-Obst und Bio-Gemüse sind gut für den Boden und das Wasser und für Menschen sehr gesund.']] Sacrebleu: {'score': 1.984728835378057, 'counts': [9, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [30.0, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 0.5488116360940264, 'sys_len': 30, 'ref_len': 48} Bleu: {'bleu': 0.0, 'precisions': [0.3, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 0.5488116360940264, 'length_ratio': 0.625, 'translation_length': 30, 'reference_length': 48} Rouge: {'rouge1': 0.30107526881720426, 'rouge2': 0.15384615384615385, 'rougeL': 0.19354838709677416, 'rougeLsum': 0.27956989247311825} Sari: {'sari': 38.782051282051285} Flesh Reading Ease: -3.66 ---------------------------------------- Source: ['Hier sollte man vor dem Kauf die Qualität testen (wenn möglich probieren! ), denn trotz ansprechender roter Farbe sind die Früchte manchmal recht geschmacksarm.'] Prediction: ['Ein roter Farbe sollte man vor dem Kauf die Qualität testen (wenn möglich probieren!\n), denn trotz ansprechender roter Farbe sind die Früchte manchmal recht geschmacksarm.\nDie Früchte sind manchmal recht geschmacksarm.'] Label: [['Die Ware sieht vielleicht lecker aus, aber sie schmeckt nicht so gut wie in der Hauptsaison.']] Sacrebleu: {'score': 1.3113617852675474, 'counts': [3, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [8.108108108108109, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.08108108108108109, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0555555555555554, 'translation_length': 37, 'reference_length': 18} Rouge: {'rouge1': 0.0392156862745098, 'rouge2': 0.0, 'rougeL': 0.0392156862745098, 'rougeLsum': 0.0392156862745098} Sari: {'sari': 34.795321637426895} Flesh Reading Ease: 64.4 ---------------------------------------- Source: ['Der sicherste Weg, saisonale und regionale Produkte zu bekommen, ist der Kauf direkt beim Erzeuger, also ab-Hof oder auf Wochenmärkten.'] Prediction: ['Der Kauf ist direkt beim Erzeuger, also ab-Hof oder auf Wochenmärkten.\nDer sicherste Weg, saisonale und regionale Produkte zu bekommen, ist der Kauf direkt beim Erzeuger, also ab-Hof oder auf Wochenmärkten.'] Label: [['Das bedeutet: Hier finden Sie Produkte, die gerade Saison haben.\nAuf dem Wochenmarkt und beim Bauern gibt es viel frisches Obst und Gemüse aus der Region.']] Sacrebleu: {'score': 1.6207525738139132, 'counts': [7, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [18.91891891891892, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.1891891891891892, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2333333333333334, 'translation_length': 37, 'reference_length': 30} Rouge: {'rouge1': 0.16129032258064516, 'rouge2': 0.0, 'rougeL': 0.0967741935483871, 'rougeLsum': 0.12903225806451613} Sari: {'sari': 36.95652173913044} Flesh Reading Ease: 53.35 ---------------------------------------- Source: ['Einige Händler sind mit ihrer Ware schon vor der Hauptsaison am Markt, die dann meist teurer ist, aber nicht unbedingt eine gute Qualität aufweist.'] Prediction: ['Einige Händler sind am Markt vor der Hauptsaison am Markt.\nSie sind mit ihrer Ware schon teurer und sind nicht meist teurer.\nEinige Händler sind mit ihrer Ware am Markt, die dann meist teurer ist, aber nicht unbedingt eine gute Qualität aufweist.'] Label: [['Sie verkaufen teure Ware, die oft noch nicht optimal reif ist.\nManche Händler möchten Obst und Gemüse als Erste anbieten.']] Sacrebleu: {'score': 2.324594914053299, 'counts': [10, 1, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [21.27659574468085, 2.1739130434782608, 1.1111111111111112, 0.5681818181818182], 'bp': 1.0, 'sys_len': 47, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.2127659574468085, 0.021739130434782608, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0434782608695654, 'translation_length': 47, 'reference_length': 23} Rouge: {'rouge1': 0.23529411764705882, 'rouge2': 0.030303030303030307, 'rougeL': 0.14705882352941177, 'rougeLsum': 0.2058823529411765} Sari: {'sari': 39.2684766214178} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['Bei den meisten frischen Obst- und Gemüsearten muss das Ursprungsland angegeben werden.'] Prediction: ['Bei den meisten frischen Obst und Gemüsearten muss das Ursprungsland angegeben werden.\nEs muss das Ursprungsland angegeben werden.'] Label: [['Bei frischem Obst und Gemüse steht das Land auf dem Etikett oder auf dem Schild daneben.']] Sacrebleu: {'score': 4.814971807094068, 'counts': [5, 1, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 5.2631578947368425, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1764705882352942, 'translation_length': 20, 'reference_length': 17} Rouge: {'rouge1': 0.27777777777777773, 'rouge2': 0.11764705882352941, 'rougeL': 0.27777777777777773, 'rougeLsum': 0.27777777777777773} Sari: {'sari': 39.65924426450742} Flesh Reading Ease: 54.0 ---------------------------------------- Source: ['Für saisonales Obst und Gemüse gibt es kein verbindliches einheitliches Siegel, an dem man sich beim Einkauf orientieren könnte.'] Prediction: ['Für saisonale Obst und Gemüse gibt es kein verbindliches einheitliches Siegel.\nDas ist ein Einkauf, an dem man sich beim Einkauf orientieren könnte.\nDie saisonale Obst und Gemüse gibt es kein verbindliches einheitliches Siegel.'] Label: [['Für Obst und Gemüse, das gerade Saison hat, gibt es kein einheitliches Siegel.']] Sacrebleu: {'score': 8.646091597914753, 'counts': [11, 6, 3, 0], 'totals': [38, 37, 36, 35], 'precisions': [28.94736842105263, 16.216216216216218, 8.333333333333334, 1.4285714285714286], 'bp': 1.0, 'sys_len': 38, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2894736842105263, 0.16216216216216217, 0.08333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.375, 'translation_length': 38, 'reference_length': 16} Rouge: {'rouge1': 0.45283018867924535, 'rouge2': 0.2745098039215686, 'rougeL': 0.45283018867924535, 'rougeLsum': 0.45283018867924535} Sari: {'sari': 48.3756045591909} Flesh Reading Ease: 63.4 ---------------------------------------- Source: ['Zitronen, Apfelsinen oder Honigmelonen aus Europa haben wegen der kürzeren Transportwege immer eine bessere Ökobilanz als Obst aus Übersee oder Flugware.'] Prediction: ['Zitronen, Apfelsinen oder Honigmelonen aus Europa haben wegen der kürzeren Transportwege eine bessere Ökobilanz als Obst aus Übersee oder Flugware aus dem Land.\nZitronen, Apfelsinen oder Honigmelonen aus Europa haben wegen der kürzeren Transportwege immer eine bessere Ökobilanz als Obst aus Übersee oder Flugware aus dem Land.'] Label: [['Zitronen, Melonen und Apfelsinen aus Südeuropa haben kürzere Wege als die gleichen Früchte aus anderen Kontinenten.']] Sacrebleu: {'score': 2.0207176067551376, 'counts': [8, 1, 0, 0], 'totals': [51, 50, 49, 48], 'precisions': [15.686274509803921, 2.0, 1.0204081632653061, 0.5208333333333334], 'bp': 1.0, 'sys_len': 51, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.1568627450980392, 0.02, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8333333333333335, 'translation_length': 51, 'reference_length': 18} Rouge: {'rouge1': 0.20588235294117646, 'rouge2': 0.0, 'rougeL': 0.20588235294117646, 'rougeLsum': 0.20588235294117646} Sari: {'sari': 38.25757575757576} Flesh Reading Ease: 27.8 ---------------------------------------- Source: ['Bei Früchten, die auch in Südeuropa wachsen, lohnt sich immer ein Blick auf das Ursprungsland.'] Prediction: ['In Südeuropa wurden immer mehr Früchte auf das Ursprungsland geschickt.\nDie Ursprungsland-Früchte sind auch in Südeuropa wachsen.'] Label: [['Achten Sie beim Einkauf immer auf das Ursprungsland.\nManche exotische Früchte wachsen auch in Südeuropa.']] Sacrebleu: {'score': 14.747364570390475, 'counts': [11, 4, 2, 0], 'totals': [19, 18, 17, 16], 'precisions': [57.89473684210526, 22.22222222222222, 11.764705882352942, 3.125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.5789473684210527, 0.2222222222222222, 0.11764705882352941, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1176470588235294, 'translation_length': 19, 'reference_length': 17} Rouge: {'rouge1': 0.5641025641025642, 'rouge2': 0.3243243243243243, 'rougeL': 0.5128205128205129, 'rougeLsum': 0.5128205128205129} Sari: {'sari': 52.80163549900393} Flesh Reading Ease: 48.65 ---------------------------------------- Source: ['Litchis oder Karambolen kommen dagegen meistens per Flugzeug zu uns, so dass sie eine schlechtere Ökobilanz aufweisen.'] Prediction: ['Eine schlechtere Ökobilanz kommt auf der Flugzeug zu uns.\nLitchis oder Karambolen kommen dagegen meistens per Flugzeug zu uns.\nDie Ökobilanz kommt auf der Flugzeug zu uns.'] Label: [['Das ist nicht klimafreundlich.\nDieser Transport ist teuer und kostet viel Energie.\nSie halten sich nicht lange genug für längere Transporte.\nAndere Früchte kommen immer mit dem Flugzeug nach Deutschland, zum Beispiel Brombeeren aus Mexiko oder Litschis aus Thailand.']] Sacrebleu: {'score': 1.2184614652402108, 'counts': [6, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 0.6270890852730562, 'sys_len': 30, 'ref_len': 44} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6270890852730561, 'length_ratio': 0.6818181818181818, 'translation_length': 30, 'reference_length': 44} Rouge: {'rouge1': 0.08695652173913043, 'rouge2': 0.0, 'rougeL': 0.057971014492753624, 'rougeLsum': 0.057971014492753624} Sari: {'sari': 33.33333333333333} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Wer die Umwelt weniger belasten möchte, sollte sich möglichst an Früchte halten, die überwiegend mit dem Schiff transportiert werden, wie z. B. Bananen und Ananas.'] Prediction: ['Eine Umwelt weniger belastete sich in der Nacht auf Sonntag.\nDie Umwelt wurde weniger belastet.\nDie Umwelt wurde weniger belastet.'] Label: [['Der Transport ist nicht so teuer und kostet nicht so viel Energie.\nManche Früchte kommen aus anderen Kontinenten mit dem Schiff nach Deutschland, zum Beispiel Bananen und Ananas.']] Sacrebleu: {'score': 1.382940844142473, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 0.7062216866978064, 'sys_len': 23, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7062216866978064, 'length_ratio': 0.7419354838709677, 'translation_length': 23, 'reference_length': 31} Rouge: {'rouge1': 0.04081632653061224, 'rouge2': 0.0, 'rougeL': 0.04081632653061224, 'rougeLsum': 0.04081632653061224} Sari: {'sari': 29.726114455999515} Flesh Reading Ease: 56.3 ---------------------------------------- Source: ['Vor allem bei Apfelsinen, Mandarinen, Litschis und Feigen gibt es große jahreszeitliche Schwankungen beim Angebot.'] Prediction: ['Bei Apfelsinen, Mandarinen, Litschis und Feigen gibt es große jahreszeitliche Schwankungen beim Angebot.\nDie Schwankungen sind vor allem bei Apfelsinen, Mandarinen, Litschis und Feigen.'] Label: [['Sie schmecken aber nur in ihrer Hauptsaison richtig gut.\nDiese Früchte liegen das ganze Jahr im Laden.\nAchten Sie zum Beispiel auf die Saisonzeiten für Orangen, Mandarinen, Litschis und Feigen.']] Sacrebleu: {'score': 16.545318529164554, 'counts': [8, 6, 5, 4], 'totals': [30, 29, 28, 27], 'precisions': [26.666666666666668, 20.689655172413794, 17.857142857142858, 14.814814814814815], 'bp': 0.846481724890614, 'sys_len': 30, 'ref_len': 35} Bleu: {'bleu': 0.16545318529164557, 'precisions': [0.26666666666666666, 0.20689655172413793, 0.17857142857142858, 0.14814814814814814], 'brevity_penalty': 0.846481724890614, 'length_ratio': 0.8571428571428571, 'translation_length': 30, 'reference_length': 35} Rouge: {'rouge1': 0.17543859649122806, 'rouge2': 0.10909090909090909, 'rougeL': 0.17543859649122806, 'rougeLsum': 0.17543859649122806} Sari: {'sari': 49.62678278748185} Flesh Reading Ease: 39.3 ---------------------------------------- Source: ['Aber: Auch viele Exoten und Südfrüchte haben zu bestimmten Zeiten Saison, in denen das Angebot besonders groß ist und die Qualität entsprechend gut.'] Prediction: ['Auch viele Exoten und Südfrüchte haben zu bestimmten Zeiten Saison ein Angebot besonders groß ist.\nAuch viele Exoten und Südfrüchte haben zu bestimmten Zeiten Saison ein Angebot besonders groß ist und die Qualität entsprechend gut.'] Label: [['In dieser Zeit ist das Angebot groß, die Früchte sind frisch und günstig und die Qualität ist gut.\nAuch exotische Früchte haben ihre Saisonzeiten im Ursprungsland.']] Sacrebleu: {'score': 6.364005413961754, 'counts': [13, 4, 1, 0], 'totals': [37, 36, 35, 34], 'precisions': [35.13513513513514, 11.11111111111111, 2.857142857142857, 1.4705882352941178], 'bp': 1.0, 'sys_len': 37, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.35135135135135137, 0.1111111111111111, 0.02857142857142857, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2758620689655173, 'translation_length': 37, 'reference_length': 29} Rouge: {'rouge1': 0.4, 'rouge2': 0.11764705882352941, 'rougeL': 0.2285714285714286, 'rougeLsum': 0.3142857142857143} Sari: {'sari': 37.07765210799089} Flesh Reading Ease: 51.35 ---------------------------------------- Source: ['Die umweltschonendste Variante wäre in diesem Fall, bis zur neuen heimischen Ernte auf Äpfel zu verzichten.'] Prediction: ['Die heimische Variante wäre in diesem Fall, bis zur neuen heimischen Ernte auf Äpfel zu verzichten.\nDie umweltschonendste Variante wäre in diesem Fall, bis zur neuen heimischen Ernte auf Äpfel zu verzichten.'] Label: [['Am besten fürs Klima ist es, wenn Sie im Juli gar keine Äpfel kaufen – sondern anderes Obst, das gerade Saison hat.']] Sacrebleu: {'score': 1.4500372328365223, 'counts': [4, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [11.11111111111111, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.44, 'translation_length': 36, 'reference_length': 25} Rouge: {'rouge1': 0.03571428571428571, 'rouge2': 0.0, 'rougeL': 0.03571428571428571, 'rougeLsum': 0.03571428571428571} Sari: {'sari': 35.714285714285715} Flesh Reading Ease: 47.0 ---------------------------------------- Source: ['Deshalb kann ein im Herbst eingelagerter heimischer Apfel im Juni/Juli des Folgejahres eine ungünstigere Ökobilanz haben, als ein Apfel aus Neuseeland.'] Prediction: ['Deshalb kann im Herbst ein heimischer Apfel im Juni/Juli des Folgejahres eine ungünstigere Ökobilanz haben.\nDer Apfel aus Neuseeland kann im Herbst eingelagerter heimischer Apfel im Juni/Juli des Folgejahres eine ungünstigere Ökobilanz haben.'] Label: [['Sie wurden zwar eingeflogen, aber sie sind frisch und wurden nicht monatelang gelagert.\nMan kann auch Äpfel aus Neuseeland wählen.\nDie deutschen Äpfel waren seit dem letzten Herbst im Kühlhaus.\nWenn Sie im Juli Äpfel essen möchten, finden Sie deutsche und neuseeländische Früchte im Laden.']] Sacrebleu: {'score': 2.073768745463179, 'counts': [10, 1, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [25.641025641025642, 2.6315789473684212, 1.3513513513513513, 0.6944444444444444], 'bp': 0.7351414805916845, 'sys_len': 39, 'ref_len': 51} Bleu: {'bleu': 0.0, 'precisions': [0.2564102564102564, 0.02631578947368421, 0.0, 0.0], 'brevity_penalty': 0.7351414805916845, 'length_ratio': 0.7647058823529411, 'translation_length': 39, 'reference_length': 51} Rouge: {'rouge1': 0.18390804597701146, 'rouge2': 0.023529411764705882, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.16091954022988506} Sari: {'sari': 35.666832752034544} Flesh Reading Ease: 28.95 ---------------------------------------- Source: ['Auch die Lagerung kostet viel Energie.'] Prediction: ['Die Lagerung kostet viel Energie.\nDie Lagerung kostet viel Energie.'] Label: [['Die Lagerung von Obst und Gemüse kostet viel Energie.']] Sacrebleu: {'score': 25.211936184349828, 'counts': [6, 4, 2, 1], 'totals': [12, 11, 10, 9], 'precisions': [50.0, 36.36363636363637, 20.0, 11.11111111111111], 'bp': 1.0, 'sys_len': 12, 'ref_len': 10} Bleu: {'bleu': 0.2521193618434983, 'precisions': [0.5, 0.36363636363636365, 0.2, 0.1111111111111111], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 12, 'reference_length': 10} Rouge: {'rouge1': 0.5, 'rouge2': 0.3333333333333333, 'rougeL': 0.5, 'rougeLsum': 0.5} Sari: {'sari': 58.79629629629629} Flesh Reading Ease: 69.7 ---------------------------------------- Source: ['Diese Ware wurde in der Regel mit besonderem Aufwand (Anzucht unter Glas, Folientunnel) erzeugt und hat deshalb eine schlechtere Ökobilanz als echte Freilandware.'] Prediction: ['Ein echtes Freilandware wurde in der Regel mit besonderem Aufwand (Anzucht unter Glas, Folientunnel) erzeugt und hat eine schlechtere Ökobilanz als echte Freilandware.\nDer Ware wurde in der Regel mit besonderem Aufwand erzeugt und hat deshalb eine schlechtere Ökobilanz als echte Freilandware.'] Label: [['Das verursacht Treibgase und ist schlecht für die Umwelt.\nObst und Gemüse, das aus beheizten und beleuchteten Glashäusern kommt, braucht viel Energie.\nWare aus dem Gewächshaus oder Tunnelanbau ist auch gut, wenn die Bauern dafür keine extra Beheizung brauchen.']] Sacrebleu: {'score': 1.2165013609501771, 'counts': [6, 0, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [12.76595744680851, 1.0869565217391304, 0.5555555555555556, 0.2840909090909091], 'bp': 1.0, 'sys_len': 47, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.1276595744680851, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0444444444444445, 'translation_length': 47, 'reference_length': 45} Rouge: {'rouge1': 0.0697674418604651, 'rouge2': 0.0, 'rougeL': 0.046511627906976744, 'rougeLsum': 0.0697674418604651} Sari: {'sari': 35.55555555555556} Flesh Reading Ease: 42.0 ---------------------------------------- Source: ['Hier schneidet der Freilandanbau mit Abstand am besten ab.'] Prediction: ['Ein Mann schneidet im Freilandanbau mit Abstand am besten ab.\nEr schneidet der Freilandanbau mit Abstand am besten ab.'] Label: [['Am besten wählen Sie Obst und Gemüse, das im Freiland gewachsen ist.']] Sacrebleu: {'score': 2.3901021968803136, 'counts': [3, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [14.285714285714286, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 21, 'reference_length': 14} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.06451612903225808, 'rougeL': 0.12121212121212122, 'rougeLsum': 0.12121212121212122} Sari: {'sari': 40.46296296296297} Flesh Reading Ease: 76.9 ---------------------------------------- Source: ['Zudem kosten lange Transporte viel Energie und verursachen klimaschädliches CO2.'] Prediction: ['Lange Transporte kosten lange Transporte viel Energie und verursachen klimaschädliches CO2.\nDie Energie kosten lange Transporte viel Energie und verursachen klimaschädliches CO2.'] Label: [['Außerdem ist der Transport teuer und ist schlecht für die Umwelt.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 24, 'reference_length': 12} Rouge: {'rouge1': 0.10810810810810811, 'rouge2': 0.0, 'rougeL': 0.10810810810810811, 'rougeLsum': 0.05405405405405406} Sari: {'sari': 37.77777777777778} Flesh Reading Ease: 34.45 ---------------------------------------- Source: ['Importierte Ware aus weit entfernten Ländern wird dagegen aufgrund längerer Transportwege oftmals nicht mit optimaler Reife geerntet und entpuppt sich deshalb manchmal als geschmacksarm, trotz ansprechender Optik.'] Prediction: ['Immer mehr Importe Ware aus weit entfernten Ländern wird dagegen nicht mit optimaler Reife geerntet.\nImportierte Ware aus weit entfernten Ländern wird dagegen aufgrund längerer Transportwege oftmals nicht mit optimaler Reife geerntet.'] Label: [['Deswegen wird es früher geerntet als Obst aus Deutschland.\nEs muss lange Wege zurücklegen.\nImportiertes Obst ist oft nicht optimal reif.']] Sacrebleu: {'score': 1.7035962947530545, 'counts': [6, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [17.647058823529413, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4166666666666667, 'translation_length': 34, 'reference_length': 24} Rouge: {'rouge1': 0.13793103448275862, 'rouge2': 0.0, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.10344827586206898} Sari: {'sari': 36.0479797979798} Flesh Reading Ease: 35.3 ---------------------------------------- Source: ['Denn viele Früchte wie Erdbeeren, Kirschen oder Himbeeren reifen nach dem Pflücken nicht mehr nach. Das garantiert optimale Frische und oft einen besseren Geschmack, vor allem bei leicht verderblichem Obst.'] Prediction: ['Früchte wie Erdbeeren, Kirschen oder Himbeeren reifen nicht mehr nach dem Pflücken nach dem Pflücken.\nDas garantiert optimale Frische und oft einen besseren Geschmack.\nDas garantiert optimale Frische und oft einen besseren Geschmack, vor allem bei leicht verderblichem Obst.'] Label: [['Das gilt vor allem für Früchte, die leicht verderben: zum Beispiel Erdbeeren, Kirschen und Himbeeren.\nDann ist es besonders frisch und schmeckt es am besten.']] Sacrebleu: {'score': 5.038673922099651, 'counts': [14, 3, 1, 0], 'totals': [44, 43, 42, 41], 'precisions': [31.818181818181817, 6.976744186046512, 2.380952380952381, 1.2195121951219512], 'bp': 1.0, 'sys_len': 44, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.3181818181818182, 0.06976744186046512, 0.023809523809523808, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4666666666666666, 'translation_length': 44, 'reference_length': 30} Rouge: {'rouge1': 0.3188405797101449, 'rouge2': 0.08955223880597016, 'rougeL': 0.17391304347826086, 'rougeLsum': 0.3188405797101449} Sari: {'sari': 40.196236559139784} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Wenn heimisches Obst und Gemüse Saison hat, stammt das Angebot bestenfalls sogar direkt aus der Region.'] Prediction: ['Das Angebot des Obst und Gemüse Saison ist aus der Region gestiegen.\nEs ist das erste Angebot, das aus der Region stammt.'] Label: [['Wenn das Obst und Gemüse in Deutschland gewachsen ist, kommt es in der Saison meistens aus Ihrer Region.']] Sacrebleu: {'score': 7.758410052509767, 'counts': [11, 2, 1, 0], 'totals': [25, 24, 23, 22], 'precisions': [44.0, 8.333333333333334, 4.3478260869565215, 2.272727272727273], 'bp': 1.0, 'sys_len': 25, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.44, 0.08333333333333333, 0.043478260869565216, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 25, 'reference_length': 20} Rouge: {'rouge1': 0.5238095238095238, 'rouge2': 0.15, 'rougeL': 0.42857142857142855, 'rougeLsum': 0.380952380952381} Sari: {'sari': 48.867718432935824} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['Den Großteil seiner Gemüseimporte bezieht Deutschland aus EU-Ländern, von denen die Niederlande und Spanien mit Abstand die wichtigsten Handelspartner sind.'] Prediction: ['Deutschland hat einen Großteil seiner Gemüseimporte aus EU-Ländern bezahlt.\nDie wichtigsten Handelspartner sind die wichtigsten Handelspartner.'] Label: [['Das meiste Importgemüse kommt aus anderen Ländern in Europa.']] Sacrebleu: {'score': 2.5540496664715904, 'counts': [2, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [11.11111111111111, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 18, 'reference_length': 10} Rouge: {'rouge1': 0.19354838709677416, 'rouge2': 0.06896551724137931, 'rougeL': 0.19354838709677416, 'rougeLsum': 0.19354838709677416} Sari: {'sari': 35.8974358974359} Flesh Reading Ease: 31.6 ---------------------------------------- Source: ['Dagegen werden Tomaten und Paprika fast vollständig importiert.'] Prediction: ['Trotz vor dem Jahr 2020 werden Tomaten und Paprika fast vollständig importiert.\nDie Welt wird vollständig importiert.'] Label: [['Andere Arten kommen fast immer aus dem Ausland: zum Beispiel Paprika und Tomaten.']] Sacrebleu: {'score': 3.168429634207702, 'counts': [6, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [31.57894736842105, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.3157894736842105, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2666666666666666, 'translation_length': 19, 'reference_length': 15} Rouge: {'rouge1': 0.3125, 'rouge2': 0.0, 'rougeL': 0.125, 'rougeLsum': 0.125} Sari: {'sari': 40.66951566951567} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['So liegt der Selbstversorgungsgrad bei Kohlgemüse bei rund 89 %, bei Karotten und Zwiebelgemüse sind es 74 %.'] Prediction: ['Die Selbstversorgungsgrad bei Kohlgemüse liegt bei rund 89 %.\nBei Karotten und Zwiebelgemüse sind es 74 %.'] Label: [['Manche Gemüsearten kommen oft aus Deutschland: zum Beispiel Kohl, Karotten und Zwiebeln.']] Sacrebleu: {'score': 4.480836160121357, 'counts': [3, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 1.0, 'sys_len': 19, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2666666666666666, 'translation_length': 19, 'reference_length': 15} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.07142857142857144, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 34.52380952380952} Flesh Reading Ease: 61.35 ---------------------------------------- Source: ['Transporte mit dem Flugzeug belasten die Umwelt grundsätzlich am stärksten.'] Prediction: ['Am Sonntagabend kam es in der Nähe des Landes zu einem Unfall zwischen dem Tod und dem Land zu einem Unfall.\nDie Umwelt belastete am stärksten.\nDie Flugzeug-Auswirkungen sind noch unklar.'] Label: [['Vor allem der Flugzeug-Transport ist teuer und ist schlecht für die Umwelt.']] Sacrebleu: {'score': 1.5393730252811677, 'counts': [4, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [11.764705882352942, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6153846153846154, 'translation_length': 34, 'reference_length': 13} Rouge: {'rouge1': 0.20833333333333334, 'rouge2': 0.043478260869565216, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.20833333333333334} Sari: {'sari': 52.5383141762452} Flesh Reading Ease: 70.25 ---------------------------------------- Source: ['Mango, Ananas und andere exotische Früchte/'] Prediction: ['Mango, Ananas und andere exotische Früchte werden von der "New Yorker" aufgefordert.\nDie beiden werden von der "New Yorker" aufgefordert, wie sie sich mit dem "New Yorker" aufgefordert werden.\nDie beiden werden von der New Yorker-New Yorker-New Yorker-New Yorker-New Yorker-Newcomer Mango und andere exotische Früchte wie Ananas und andere exotische Früchte wie Mango, Ananas und andere exotische Früchte werden.'] Label: [['Bekannte exotische Früchte sind Bananen, Mangos und Ananas.']] Sacrebleu: {'score': 1.3391731023123208, 'counts': [6, 1, 0, 0], 'totals': [71, 70, 69, 68], 'precisions': [8.450704225352112, 1.4285714285714286, 0.7246376811594203, 0.36764705882352944], 'bp': 1.0, 'sys_len': 71, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.08450704225352113, 0.014285714285714285, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.1, 'translation_length': 71, 'reference_length': 10} Rouge: {'rouge1': 0.12987012987012989, 'rouge2': 0.05333333333333334, 'rougeL': 0.12987012987012989, 'rougeLsum': 0.12987012987012989} Sari: {'sari': 43.416305916305916} Flesh Reading Ease: 43.3 ---------------------------------------- Source: ['Der größte Teil der Zitrusfrüchte kommt aus Spanien und Italien zu uns, während andere Südfrüchte und Exoten hauptsächlich aus Süd- und Mittelamerika stammen**.'] Prediction: ['Der größte Teil der Zitrusfrüchte kommt aus Spanien und Italien zu uns.\nDer grösste Teil der Zitrusfrüchte kommt aus Spanien und Italien zu uns.'] Label: [['Doch Südfrüchte und exotische Früchte kommen auch oft aus Süd- und Mittelamerika.']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 26, 'reference_length': 13} Rouge: {'rouge1': 0.22727272727272727, 'rouge2': 0.0, 'rougeL': 0.22727272727272727, 'rougeLsum': 0.13636363636363635} Sari: {'sari': 28.958670676227932} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Der größte Teil der importierten Früchte (ohne Südfrüchte) kommt bei uns aus Italien, Spanien, Polen und den Niederlanden**.'] Prediction: ['Der größte Teil der importierten Früchte (ohne Südfrüchte) kommt bei uns aus Italien, Spanien, Polen und den Niederlanden.\nDer größte Teil der importierten Früchte kommt bei uns aus Italien, Spanien, Polen und den Niederlanden**.'] Label: [['Unser Obst kommt vor allem aus Ländern in Europa: Italien, Spanien, Polen und den Niederlanden.']] Sacrebleu: {'score': 18.35246569050701, 'counts': [11, 8, 7, 6], 'totals': [44, 43, 42, 41], 'precisions': [25.0, 18.6046511627907, 16.666666666666668, 14.634146341463415], 'bp': 1.0, 'sys_len': 44, 'ref_len': 19} Bleu: {'bleu': 0.18352465690507014, 'precisions': [0.25, 0.18604651162790697, 0.16666666666666666, 0.14634146341463414], 'brevity_penalty': 1.0, 'length_ratio': 2.3157894736842106, 'translation_length': 44, 'reference_length': 19} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.18518518518518517, 'rougeL': 0.28571428571428575, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 51.99787192510589} Flesh Reading Ease: 51.85 ---------------------------------------- Source: ['Das liegt vor allem am Klima hierzulande, das den Anbau vieler beliebter Obstarten wie Zitrusfrüchte oder Bananen unmöglich oder unrentabel macht.'] Prediction: ['Am Klima wird ein Anbau auf dem Anbau geschlossen, das den Anbau vieler beliebter Obstarten wie Zitrusfrüchte oder Bananen unmöglich oder unrentabel macht.\nDas liegt vor allem am Klima hierzulande, das den Anbau vieler beliebter Obstarten wie Zitrusfrüchte oder Bananen unmöglich oder unrentabel macht.'] Label: [['In Deutschland ist es nicht warm genug für beliebtes Obst wie Orangen, Zitronen und Bananen.\nDas liegt an unserem Klima.\nWenn etwas nicht in Deutschland wächst, holen wir es aus dem Ausland.']] Sacrebleu: {'score': 3.8253628844009158, 'counts': [10, 2, 1, 0], 'totals': [48, 47, 46, 45], 'precisions': [20.833333333333332, 4.25531914893617, 2.1739130434782608, 1.1111111111111112], 'bp': 1.0, 'sys_len': 48, 'ref_len': 37} Bleu: {'bleu': 0.0, 'precisions': [0.20833333333333334, 0.0425531914893617, 0.021739130434782608, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2972972972972974, 'translation_length': 48, 'reference_length': 37} Rouge: {'rouge1': 0.14634146341463414, 'rouge2': 0.024999999999999998, 'rougeL': 0.12195121951219513, 'rougeLsum': 0.14634146341463414} Sari: {'sari': 39.34251878892931} Flesh Reading Ease: 46.85 ---------------------------------------- Source: ['Das gilt ebenso für die meisten exotischen Früchte aus dem Ausland. Doch auch Importe und aufwändige Anbautechniken ändern nichts daran, dass fast alle Obst- und Gemüsearten in bestimmten Monaten besonders reichlich verfügbar sind, sprich „Saison haben“.'] Prediction: ['Das gilt ebenso für die meisten exotische Früchte aus dem Ausland.\nAuch Importe und aufwändige Anbautechniken ändern nichts daran, dass fast alle Obst und Gemüsearten in bestimmten Monaten besonders reichlich verfügbar sind.\nDas gilt ebenso für die meisten exotischen Früchte aus dem Ausland.'] Label: [['Auch Obst und Gemüse aus anderen Ländern hat seine Saison.']] Sacrebleu: {'score': 1.9547435301444356, 'counts': [5, 1, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [10.638297872340425, 2.1739130434782608, 1.1111111111111112, 0.5681818181818182], 'bp': 1.0, 'sys_len': 47, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.10638297872340426, 0.021739130434782608, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.2727272727272725, 'translation_length': 47, 'reference_length': 11} Rouge: {'rouge1': 0.1935483870967742, 'rouge2': 0.06666666666666667, 'rougeL': 0.16129032258064516, 'rougeLsum': 0.16129032258064516} Sari: {'sari': 37.594148770619356} Flesh Reading Ease: 54.55 ---------------------------------------- Source: ['Schließlich findet man beinahe jedes Obst oder Gemüse ganzjährig im Handel - Unterglas- oder Tunnelanbau, schnelle Transportmittel und eine ausgefeilte Lagertechnik machen es möglich.'] Prediction: ['Ganzjährige Menschen wollen sich beinahe eine ausgefeilte Lagertechnik machen.\nDie Obst oder Gemüse werden ganzjährig geschlossen.\nDie Lagertechnik ist ein grosses Problem.'] Label: [['Fast alle Obst- und Gemüsearten liegen das ganze Jahr im Laden.\nHeute ist das anders.']] Sacrebleu: {'score': 1.9822566267103439, 'counts': [3, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [12.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.12, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4705882352941178, 'translation_length': 25, 'reference_length': 17} Rouge: {'rouge1': 0.14634146341463414, 'rouge2': 0.0, 'rougeL': 0.14634146341463414, 'rougeLsum': 0.14634146341463414} Sari: {'sari': 34.29835562987738} Flesh Reading Ease: 44.0 ---------------------------------------- Source: ['Erdbeeren, Spargel oder Apfelsinen hatten feste Angebotszeiten, die mehr oder weniger klar begrenzt waren.'] Prediction: ['Erdbeeren, Spargel oder Apfelsinen wurden feste Angebotszeiten, die mehr oder weniger klar begrenzt waren.\nDie Angebotszeiten waren mehr oder weniger klar begrenzt.'] Label: [['Früher gab es Erdbeeren und Spargel nur im Frühsommer.\nJede Art hatte ihre eigene Saison zu einer bestimmten Zeit.']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2380952380952381, 'translation_length': 26, 'reference_length': 21} Rouge: {'rouge1': 0.09302325581395349, 'rouge2': 0.0, 'rougeL': 0.09302325581395349, 'rougeLsum': 0.09302325581395349} Sari: {'sari': 36.27450980392157} Flesh Reading Ease: 46.15 ---------------------------------------- Source: ['Es ist noch gar nicht so lange her, als man sich beim Kauf von frischem Obst- und Gemüse ganz selbstverständlich am Kalender orientiert hat:'] Prediction: ['Ein frischer Obst und Gemüse-Kauf ist am Kalender ganz selbstverständlich orientiert.\nEs ist noch nicht so lange her, als man sich beim Kauf von frischem Obst und Gemüse ganz selbstverständlich am Kalender orientiert hat.'] Label: [['Der Kalender gibt eine deutliche Übersicht mit der besten Einkaufszeit für 75 Obst- und Gemüsearten.']] Sacrebleu: {'score': 1.3113617852675474, 'counts': [3, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [8.108108108108109, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.08108108108108109, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3125, 'translation_length': 37, 'reference_length': 16} Rouge: {'rouge1': 0.14285714285714282, 'rouge2': 0.07407407407407407, 'rougeL': 0.14285714285714282, 'rougeLsum': 0.10714285714285716} Sari: {'sari': 31.151332327802916} Flesh Reading Ease: 69.4 ---------------------------------------- Source: ['Klima-Tipp 2: Saisonal essenSaisonale Freilandware, dazu gehört auch Ware aus Folientunnel und unbeheizten Gewächshäusern, ist nicht zu toppen, was die Klimafreundlichkeit angeht!'] Prediction: ['Saisonal essen Freilandware, dazu gehört auch Ware aus Folientunnel und unbeheizten Gewächshäusern.\nDie Klimafreundlichkeit ist nicht zu toppen, was die Klimafreundlichkeit angeht.'] Label: [['Darum ist der zweite Klima-Tipp: Kaufen Sie Obst und Gemüse immer in der richtigen Jahreszeit.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5294117647058822, 'translation_length': 26, 'reference_length': 17} Rouge: {'rouge1': 0.09523809523809526, 'rouge2': 0.0, 'rougeL': 0.04761904761904763, 'rougeLsum': 0.09523809523809526} Sari: {'sari': 33.13492063492063} Flesh Reading Ease: 34.45 ---------------------------------------- Source: ['Bio-Fleisch muss dagegen nicht immer die klimaschonendere Alternative darstellen – die bisher vorhandenen Studien sind in Sachen CO2-Ausstoß nicht eindeutig.'] Prediction: ['Bio-Fleisch muss nicht immer die klimaschonendere Alternative darstellen.\nDie bisher vorhandenen Studien sind in Sachen CO2-Ausstoß nicht eindeutig.\nBio-Fleisch muss nicht immer die klimaschonendere Alternative darstellen.'] Label: [['Viehzucht braucht immer viel Energie und verursacht viele Treibhausgase.\nDoch Bio-Fleisch ist nicht unbedingt besser für das Klima als normales Fleisch.']] Sacrebleu: {'score': 1.793443763338368, 'counts': [5, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [16.129032258064516, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.16129032258064516, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3478260869565217, 'translation_length': 31, 'reference_length': 23} Rouge: {'rouge1': 0.19230769230769232, 'rouge2': 0.04, 'rougeL': 0.15384615384615385, 'rougeLsum': 0.15384615384615385} Sari: {'sari': 35.925925925925924} Flesh Reading Ease: 36.75 ---------------------------------------- Source: ['sind im Vergleich zu den konventionell angebauten Sorten oft die klimafreundlicheren Varianten. Klima-Tipp 8: Bio ist gut fürs KlimaBio-Obst und Bio-Gemüse'] Prediction: ['Klima-Tipp 8: Bio ist gut fürs KlimaBio-Obst und Bio-Gemüse ist gut fürs KlimaBio ist gut fürs KlimaBio-Obst und Bio-Gemüse ist gut fürs Klima Bio-Obst und Bio-Gemüse'] Label: [['Bio-Obst und Bio-Gemüse sind gesünder und besser fürs Klima als ‚normales’Obst und Gemüse.']] Sacrebleu: {'score': 7.066026049079721, 'counts': [7, 3, 1, 0], 'totals': [27, 26, 25, 24], 'precisions': [25.925925925925927, 11.538461538461538, 4.0, 2.0833333333333335], 'bp': 1.0, 'sys_len': 27, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.25925925925925924, 0.11538461538461539, 0.04, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9285714285714286, 'translation_length': 27, 'reference_length': 14} Rouge: {'rouge1': 0.4666666666666667, 'rouge2': 0.3103448275862069, 'rougeL': 0.4666666666666667, 'rougeLsum': 0.4666666666666667} Sari: {'sari': 43.03011803011803} Flesh Reading Ease: 48.7 ---------------------------------------- Source: ['Und übrigens: So leisten Sie auch einen Beitrag zur Erhaltung von Streuobstwiesen und schönen Kulturlandschaften in Ihrer Nähe!'] Prediction: ['Eine Frau aus dem Kanton Bern hat einen Beitrag zur Erhaltung von Streuobstwiesen und schönen Kulturlandschaften in Ihrer Nähe gegeben.\nSie hatte sich mit Streuobstwiesen und schönen Kulturlandschaften in der Nähe gebracht.'] Label: [['Das ist gut für die Natur.\nSie helfen dabei, Äcker und Wiesen zu erhalten.']] Sacrebleu: {'score': 2.5889065173943995, 'counts': [4, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [11.764705882352942, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 34, 'reference_length': 17} Rouge: {'rouge1': 0.0784313725490196, 'rouge2': 0.0, 'rougeL': 0.0784313725490196, 'rougeLsum': 0.0784313725490196} Sari: {'sari': 36.14290543803729} Flesh Reading Ease: 52.85 ---------------------------------------- Source: ['einkaufenRegionale Lebensmittel fördern kurze Wege und stärken die Wirtschaft vor Ort.'] Prediction: ['Die Schweiz vermeldeten in den letzten Tagen mehrere Lebensmittel.\nDie Schweiz vermeldeten sich mit einer Wirtschaft vor Ort.\nDie Schweiz vermeldet die Wirtschaft vor Ort.'] Label: [['Sie unterstützen Bauern und Betriebe aus der direkten Umgebung.\nWenn Sie regionale Produkte kaufen, helfen Sie also dem Klima.\nWas man von nah holt, ist frisch und klimafreundlich.']] Sacrebleu: {'score': 1.470022378253494, 'counts': [3, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [10.714285714285714, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 0.8364643072929833, 'sys_len': 28, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.10714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8364643072929833, 'length_ratio': 0.8484848484848485, 'translation_length': 28, 'reference_length': 33} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.027777777777786} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['Und wenn Sie dann noch auf Ökostrom umsteigen, freut sich das Klima richtig.'] Prediction: ['Die Schweizerin ist auf Ökostrom auf Ökostrom geschlossen.\nDie Schweizerin ist auf Ökostrom nicht mehr geworden.\nDie Schweizerin ist auf Ökostrom zu sehen.'] Label: [['Wechseln Sie zu einem Stromanbieter mit Ökostrom.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.25, 'translation_length': 26, 'reference_length': 8} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 56.051587301587304} Flesh Reading Ease: 67.0 ---------------------------------------- Source: ['Klima-Tipp 6: Klimafreundliche Küchengeräte nutzenKühl- und Gefriergeräte, Geschirrspüler und Elektroherde und -backöfen tragen das EU-Label – hier ist die niedrigste Energieverbrauchsklasse einfach zu erkennen.'] Prediction: ['Klima-Tipp 6: Klimafreundliche Küchengeräte nutzenKühl und Gefriergeräte, Geschirrspüler und Elektroherde und -backöfen tragen das EU-Label.\nhier ist die niedrigste Energieverbrauchsklasse einfach zu erkennen.'] Label: [['Bald haben die richtig guten nur noch ein A.\nDie niedrigste Verbrauchsklasse hat im Moment noch einen grünen Pfeil mit dem Buchstaben A+++.\nGeräte mit wenig Verbrauch erkennen Sie an einem Aufkleber:']] Sacrebleu: {'score': 1.4452265773942534, 'counts': [6, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [22.22222222222222, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 0.6653730571622696, 'sys_len': 27, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6653730571622696, 'length_ratio': 0.7105263157894737, 'translation_length': 27, 'reference_length': 38} Rouge: {'rouge1': 0.12307692307692307, 'rouge2': 0.03174603174603175, 'rougeL': 0.09230769230769231, 'rougeLsum': 0.12307692307692307} Sari: {'sari': 37.03416149068323} Flesh Reading Ease: 16.4 ---------------------------------------- Source: ['Kaufen Sie Mehrwegprodukte und überlegen Sie bei Großpackungen zunächst, ob Sie so viel auch sinnvoll verbrauchen können oder teilen Sie rechtzeitig mit Nachbarn oder Freunden.'] Prediction: ['Mehrwegprodukte und überlegen Sie bei Großpackungen zunächst, ob Sie so viel auch sinnvoll verbrauchen können oder teilen Sie rechtzeitig mit Nachbarn oder Freunden.\nDas ist ein neues Problem: Wir haben sich mit dem Problem bekommen, ob sie so viel auch sinnvoll verbrauchen können oder teilen Sie rechtzeitig mit Nachbarn oder Freunden.'] Label: [['Wenn Sie bestimmte Lebensmittel viel essen, ist es besser eine große Verpackung zu kaufen statt viele kleine.\nWählen Sie Mehrweg-Verpackungen.\nWenn sie Lebensmittel übrig haben, können Sie sie einfrieren oder verschenken.']] Sacrebleu: {'score': 1.2320710642791575, 'counts': [13, 0, 0, 0], 'totals': [56, 55, 54, 53], 'precisions': [23.214285714285715, 0.9090909090909091, 0.46296296296296297, 0.2358490566037736], 'bp': 1.0, 'sys_len': 56, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.23214285714285715, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5555555555555556, 'translation_length': 56, 'reference_length': 36} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.022727272727272724, 'rougeL': 0.2, 'rougeLsum': 0.17777777777777778} Sari: {'sari': 29.33613838242169} Flesh Reading Ease: 55.05 ---------------------------------------- Source: ['Das geht bei vielen Produkten, bei manchen ist die Verpackung aber aus hygienischen Gründen nötig.'] Prediction: ['Die Verpackung von hygienischen Gründen ist nötig.\nDas geht bei vielen Produkten, bei manchen ist die Verpackung aber aus hygienischen Gründen nötig.'] Label: [['Sie sind wegen der Hygiene in Plastik oder Folie verpackt.\nBei manchen Lebensmitteln, wie Fleisch oder Aufschnitt, ist das sinnvoll:']] Sacrebleu: {'score': 2.1300733682208985, 'counts': [4, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [16.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.16, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0416666666666667, 'translation_length': 25, 'reference_length': 24} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.04545454545454545, 'rougeL': 0.13043478260869565, 'rougeLsum': 0.13043478260869565} Sari: {'sari': 38.57729138166895} Flesh Reading Ease: 63.7 ---------------------------------------- Source: ['Lassen Sie Produkte mit zu viel Verpackung links liegen, denn auch dieser Müll verschlechtert die CO2-Bilanz.'] Prediction: ['Lassen Sie Produkte mit zu viel Verpackung links liegen, denn auch dieser Müll verschlechtert die CO2-Bilanz.\nDie Bücher wollen mit zu viel Verpackung links liegen, denn auch dieser Müll verschlechtert die CO2-Bilanz.'] Label: [['Verpackungsmüll verursacht Treibhausgase und ist schlecht für unser Klima.\nDoch viele Produkte haben unnötige Verpackungen, zum Beispiel manches Gemüse und Obst.']] Sacrebleu: {'score': 1.2992493989257516, 'counts': [4, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [10.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 40, 'reference_length': 24} Rouge: {'rouge1': 0.06451612903225806, 'rouge2': 0.0, 'rougeL': 0.03225806451612903, 'rougeLsum': 0.06451612903225806} Sari: {'sari': 35.507246376811594} Flesh Reading Ease: 64.55 ---------------------------------------- Source: ['Lassen Sie das Auto so oft wie möglich stehen. Radfahrer'] Prediction: ['Ein Radfahrer hat im Alter von 99 Jahren das Auto mit dem Fahrer aufgefordert.\nDie beiden waren so oft wie möglich, wie sie sich mit dem Fahrer stehen.\nDie beiden waren so oft wie möglich, wie sie sie sich mit dem Fahrer stehen.'] Label: [['Der vierte Klima-Tipp ist einfach: Lassen Sie das Auto stehen!']] Sacrebleu: {'score': 1.6833733860275373, 'counts': [3, 1, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [6.25, 2.127659574468085, 1.0869565217391304, 0.5555555555555556], 'bp': 1.0, 'sys_len': 48, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.02127659574468085, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 48, 'reference_length': 12} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.037037037037037035, 'rougeL': 0.10714285714285715, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 24.62301587301587} Flesh Reading Ease: 83.8 ---------------------------------------- Source: ['Einkaufen zu Fuß, mit dem Fahrrad oder dem öffentlichen Nahverkehr ist klimafreundlicher und schont die natürlichen Lebensgrundlagen.'] Prediction: ['Einkaufen zu Fuß, mit dem Fahrrad oder dem öffentlichen Nahverkehr ist klimafreundlicher.\nEinkaufen zu Fuß, mit dem Fahrrad oder dem öffentlichen Nahverkehr ist klimafreundlicher und schont die natürlichen Lebensgrundlagen.'] Label: [['Öffentliche Verkehrsmittel kosten viel weniger Energie als Autos.\nNehmen Sie Bus und Bahn für die größeren Einkäufe.\nDas schont die Umwelt und ist prima für die Gesundheit.\nGehen Sie zu Fuß oder fahren Sie mit dem Rad.\nWer immer mit dem Auto einkaufen geht, verbraucht eine Menge Benzin.']] Sacrebleu: {'score': 2.7344411281618934, 'counts': [14, 4, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [42.42424242424242, 12.5, 1.6129032258064515, 0.8333333333333334], 'bp': 0.5292133415000503, 'sys_len': 33, 'ref_len': 54} Bleu: {'bleu': 0.0, 'precisions': [0.42424242424242425, 0.125, 0.0, 0.0], 'brevity_penalty': 0.5292133415000504, 'length_ratio': 0.6111111111111112, 'translation_length': 33, 'reference_length': 54} Rouge: {'rouge1': 0.29268292682926833, 'rouge2': 0.1, 'rougeL': 0.14634146341463417, 'rougeLsum': 0.2439024390243902} Sari: {'sari': 42.38095238095238} Flesh Reading Ease: 42.65 ---------------------------------------- Source: ['Die meisten Produkte tragen aber ein Mindesthaltbarkeitsdatum und sind oft noch lange nach dessen Ablauf ohne Gefahr essbar. Besonders leicht verderbliche tierische Produkte tragen ein Verbrauchsdatum und müssen dann auch wirklich gegessen sein.'] Prediction: ['Die meisten tierische Produkte tragen ein Mindesthaltbarkeitsdatum.\nBesonders leicht verderbliche tierische Produkte tragen ein Verbrauchsdatum.'] Label: [['Was schnell verdirbt, sollten Sie zuerst essen.\nAchten Sie auf die Haltbarkeit von Lebensmitteln.\nIst das Essen noch frisch?']] Sacrebleu: {'score': 1.9108871956733893, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.7026185226629954, 'sys_len': 17, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7026185226629954, 'length_ratio': 0.7391304347826086, 'translation_length': 17, 'reference_length': 23} Rouge: {'rouge1': 0.058823529411764705, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.058823529411764705} Sari: {'sari': 35.14309764309764} Flesh Reading Ease: 14.55 ---------------------------------------- Source: ['Machen Sie sich einen Einkaufszettel und planen Sie, was Sie sinnvoll verarbeiten bzw. zubereiten können!'] Prediction: ['Die Weltfahrt hat einen Einkaufszettel für die Schweizer Schweizerin geäussert.\nDie Schweizerin hat sich einen Einkaufszettel und planen sich, was Sie sinnvoll verarbeiten können zubereiten können.'] Label: [['Dabei hilft ein guter Einkaufszettel.\nPlanen Sie, wie viel Essen Sie einkaufen.']] Sacrebleu: {'score': 1.9240848598265397, 'counts': [5, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [17.24137931034483, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9333333333333333, 'translation_length': 29, 'reference_length': 15} Rouge: {'rouge1': 0.14285714285714288, 'rouge2': 0.0, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.14285714285714288} Sari: {'sari': 32.719298245614034} Flesh Reading Ease: 50.0 ---------------------------------------- Source: ['Auch bei Wurst, Eiern und Käse darf es etwas weniger sein. Steaks und Gulasch gibt es nicht mehr häufiger als zwei- bis dreimal die Woche.'] Prediction: ['Steaks und Gulasch sind nicht mehr häufiger als zwei bis dreimal die Woche.\nDas ist nur ein halbes Jahr.\nDas ist nicht mehr häufiger als zwei bis dreimal die Woche.'] Label: [['Das gilt auch für Wurst, Eier, Milch und Käse.\nDarum ist der erste Klima-Tipp: Bringen Sie nicht mehr als zwei- oder dreimal pro Woche Fleisch auf den Tisch.']] Sacrebleu: {'score': 3.358851369497101, 'counts': [10, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [30.303030303030305, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.30303030303030304, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 33, 'reference_length': 33} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.06557377049180328, 'rougeL': 0.25396825396825395, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 35.88072240033024} Flesh Reading Ease: 88.1 ---------------------------------------- Source: ['Mehr Gemüse, Getreide und Hülsenfrüchte schmecken nicht nur dem Klima, sondern nutzen auch der Gesundheit.'] Prediction: ['Der Klima ist ein gemeinsames Klima.\nGemüse, Getreide und Hülsenfrüchte schmecken nicht nur dem Klima, sondern nutzen auch der Gesundheit.'] Label: [['Außerdem sind sie gut für die Gesundheit.\nGetreide und Hülsenfrüchte (wie Erbsen und Linsen) sind ein prima Ersatz für tierische Lebensmittel.\nDer Anbau von Gemüse und Obst braucht viel weniger Energie als Viehzucht.']] Sacrebleu: {'score': 4.759920848678297, 'counts': [9, 3, 1, 0], 'totals': [24, 23, 22, 21], 'precisions': [37.5, 13.043478260869565, 4.545454545454546, 2.380952380952381], 'bp': 0.5580351457700471, 'sys_len': 24, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.375, 0.13043478260869565, 0.045454545454545456, 0.0], 'brevity_penalty': 0.558035145770047, 'length_ratio': 0.631578947368421, 'translation_length': 24, 'reference_length': 38} Rouge: {'rouge1': 0.3225806451612903, 'rouge2': 0.16666666666666666, 'rougeL': 0.1935483870967742, 'rougeLsum': 0.3225806451612903} Sari: {'sari': 42.67428081072246} Flesh Reading Ease: 58.85 ---------------------------------------- Source: ['Das Schöne daran: Ganz nebenbei tun Sie auch Ihrer Gesundheit und Ihrem Geldbeutel etwas Gutes.'] Prediction: ['Die Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizerinnen und Schweizer Schweizerinnen und Schweizer Schweizerinnen und Schweizer Schweizer Schweizerinnen und Schweizer Schweizerinnen und Schweizer Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schwe'] Label: [['Einfach, praktisch und gut für die Gesundheit!']] Sacrebleu: {'score': 0.1603437349434578, 'counts': [1, 0, 0, 0], 'totals': [222, 221, 220, 219], 'precisions': [0.45045045045045046, 0.22624434389140272, 0.11363636363636363, 0.05707762557077625], 'bp': 1.0, 'sys_len': 222, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.0045045045045045045, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 24.666666666666668, 'translation_length': 222, 'reference_length': 9} Rouge: {'rouge1': 0.017391304347826087, 'rouge2': 0.0, 'rougeL': 0.008695652173913044, 'rougeLsum': 0.008695652173913044} Sari: {'sari': 64.88320707070706} Flesh Reading Ease: -159.01 ---------------------------------------- Source: ['Wir geben Ihnen acht konkrete Tipps, wie Sie durch kleine Veränderungen einfach und wirksam helfen können, das Klima zu schonen. Mit vielen kleinen Schritten – vom Einkauf über die Zubereitung und Lagerung bis zur Verwertung der Lebensmittel – können wir gemeinsam viel für den Klimaschutz tun.'] Prediction: ['Die Ihnen geben acht konkrete Tipps, wie Sie durch kleine Veränderungen helfen können, das Klima zu schonen.\nMit vielen kleinen Schritten können wir gemeinsam viel für den Klimaschutz tun.'] Label: [['In diesem Artikel finden Sie Tipps für klimafreundliches Einkaufen, Kochen und Essen.']] Sacrebleu: {'score': 1.6794256847485503, 'counts': [5, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [15.151515151515152, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.15151515151515152, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.357142857142857, 'translation_length': 33, 'reference_length': 14} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.045454545454545456, 'rougeL': 0.13043478260869568, 'rougeLsum': 0.13043478260869568} Sari: {'sari': 34.9712643678161} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['Wir Verbraucher können durch unser Konsumverhalten an vielen Stellen dazu beitragen, das Klima zu schützen.'] Prediction: ['Die Verbraucher können durch unser Konsumverhalten an vielen Stellen das Klima schützen.\nDas Klima kann das Verhalten dazu beitragen, das Klima zu schützen.'] Label: [['Das ist gut möglich.\nMöchten Sie klimabewusster leben?\nWeltweit verändert sich das Klima, das merken wir auch in Deutschland.']] Sacrebleu: {'score': 4.699443186217678, 'counts': [7, 2, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [26.923076923076923, 8.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.2692307692307692, 0.08, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1304347826086956, 'translation_length': 26, 'reference_length': 23} Rouge: {'rouge1': 0.16666666666666669, 'rouge2': 0.043478260869565216, 'rougeL': 0.16666666666666669, 'rougeLsum': 0.16666666666666669} Sari: {'sari': 30.257936507936506} Flesh Reading Ease: 57.35 ---------------------------------------- Source: ['Allergien vorbeugen?'] Prediction: ['Die Schweizer Welt hat sich mit einem Allergieinsatz vorbeugen.\nAllergien vorbeugen?\nAllergien vorbeugen?'] Label: [['Wie kann man Allergien vorbeugen?']] Sacrebleu: {'score': 9.103526405546068, 'counts': [3, 2, 1, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 13.333333333333334, 7.142857142857143, 3.8461538461538463], 'bp': 1.0, 'sys_len': 16, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.13333333333333333, 0.07142857142857142, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 16, 'reference_length': 6} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.125, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 26.6 ---------------------------------------- Source: ['Hier geht’s zum Risiko-Check für werdende Eltern.'] Prediction: ['Ein Risiko-Check für werdende Eltern geht für die Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schwe'] Label: [['Hier geht’s zum Check für werdende Eltern']] Sacrebleu: {'score': 0.5915014060223197, 'counts': [3, 2, 1, 0], 'totals': [224, 223, 222, 221], 'precisions': [1.3392857142857142, 0.8968609865470852, 0.45045045045045046, 0.22624434389140272], 'bp': 1.0, 'sys_len': 224, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.013392857142857142, 0.008968609865470852, 0.0045045045045045045, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 32.0, 'translation_length': 224, 'reference_length': 7} Rouge: {'rouge1': 0.05084745762711864, 'rouge2': 0.034188034188034185, 'rougeL': 0.042372881355932215, 'rougeLsum': 0.042372881355932215} Sari: {'sari': 34.761904761904766} Flesh Reading Ease: -161.01 ---------------------------------------- Source: ['Die LMIDV regelt außerdem, welche Sanktionen die amtliche Überwachung verhängen darf, wenn gegen diese Informationspflichten verstoßen wird. Das hat Deutschland mit der Lebensmittelinformations-Durchführungs-Verordnung (LMIDV) getan.'] Prediction: ['Deutschland hat mit der Lebensmittelinformations-Durchführungs-Verordnung (LMIDV) eine amtliche Überwachung verhängt.\nDie LMIDV regelt außerdem, welche Sanktionen die amtliche Überwachung verhängen darf, wenn gegen diese Informationspflichten verstoßen wird.'] Label: [['Hier steht auch, welche Strafe ein Hersteller bekommt, der nicht über Allergene informiert.\nIn Deutschland stehen die Regeln dafür in einer Verordnung.']] Sacrebleu: {'score': 3.176605498590708, 'counts': [8, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [24.242424242424242, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.24242424242424243, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2692307692307692, 'translation_length': 33, 'reference_length': 26} Rouge: {'rouge1': 0.1754385964912281, 'rouge2': 0.0, 'rougeL': 0.07017543859649121, 'rougeLsum': 0.1754385964912281} Sari: {'sari': 37.005464480874316} Flesh Reading Ease: 8.55 ---------------------------------------- Source: ['Die Art und Weise der Allergeninformationen bei loser Ware dürfen die Nationalstaaten individuell regeln.'] Prediction: ['Die Art und Weise der Allergeninformationen bei loser Ware dürfen die Nationalstaaten individuell regeln.\nDie Art und Weise der Allergeninformationen bei loser Ware dürfen die Nationalstaaten individuell regeln.'] Label: [['Bei unverpackten Lebensmitteln darf jedes Land selbst entscheiden, wie Allergen-Informationen gezeigt werden.']] Sacrebleu: {'score': 1.2414943415352928, 'counts': [1, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [3.3333333333333335, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.03333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.142857142857143, 'translation_length': 30, 'reference_length': 14} Rouge: {'rouge1': 0.046511627906976744, 'rouge2': 0.0, 'rougeL': 0.046511627906976744, 'rougeLsum': 0.046511627906976744} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 13.9 ---------------------------------------- Source: ['Wie Allergene auf dem Etikett verpackter Lebensmittel angegeben werden müssen, regelt die LMIV EU-weit einheitlich.'] Prediction: ['Die LMIV-Weit regelt die EU-weit einheitlich.\nAllergene auf dem Etikett verpackter Lebensmittel werden müssen auf dem Etikett verpackt werden.\nAllergene auf dem Etikett verpackter Lebensmittel werden müssen, regelt die LMIV EU-weit einheitlich.'] Label: [['Das gilt für die ganze EU.\nBei verpackten Lebensmitteln müssen die Allergen-Informationen auf dem Etikett stehen.']] Sacrebleu: {'score': 4.87732444430659, 'counts': [8, 2, 1, 0], 'totals': [36, 35, 34, 33], 'precisions': [22.22222222222222, 5.714285714285714, 2.9411764705882355, 1.5151515151515151], 'bp': 1.0, 'sys_len': 36, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.05714285714285714, 0.029411764705882353, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 36, 'reference_length': 18} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.1111111111111111, 'rougeL': 0.25, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 41.70634920634921} Flesh Reading Ease: 46.45 ---------------------------------------- Source: ['Eine Allergenkennzeichnung von verpackten und unverpackten Lebensmitteln ist in allen EU-Mitgliedsländern verpflichtend, das schreibt die EU-Lebensmittel-Informationsverordnung (LMIV) vor.'] Prediction: ['Die EU-Lebensmittel-Informationsverordnung (LMIV) hat eine Allergenkennzeichnung von verpackten und unverpackten Lebensmitteln verpflichtend.\nIn allen EU-Mitgliedsländern ist eine Allergenkennzeichnung von verpackten und unverpackten Lebensmitteln verpflichtend.'] Label: [['Das ist in einer Verordnung festgelegt, der sogenannten europäischen Lebensmittel-Informations-Verordnung (LMIV).\nIn der ganzen Europäischen Union (EU) müssen die Hersteller von Lebensmitteln melden, ob ihre Produkte Allergene enthalten.']] Sacrebleu: {'score': 5.440521318416151, 'counts': [9, 3, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [32.142857142857146, 11.11111111111111, 3.8461538461538463, 2.0], 'bp': 0.7514772930752859, 'sys_len': 28, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.32142857142857145, 0.1111111111111111, 0.038461538461538464, 0.0], 'brevity_penalty': 0.751477293075286, 'length_ratio': 0.7777777777777778, 'translation_length': 28, 'reference_length': 36} Rouge: {'rouge1': 0.26229508196721313, 'rouge2': 0.0, 'rougeL': 0.19672131147540986, 'rougeLsum': 0.22950819672131145} Sari: {'sari': 37.7293938500835} Flesh Reading Ease: -13.36 ---------------------------------------- Source: ['Eine mündliche Information ist ebenfalls möglich, allerdings nur unter folgenden Voraussetzungen:'] Prediction: ['Eine mündliche Information ist ebenfalls möglich, allerdings nur unter folgenden Voraussetzungen.\nEs ist eine mündliche Information, das sich ebenfalls möglich ist.'] Label: [['die Mitarbeiter gut über Allergene informiert sind.\nDas ist aber nur erlaubt, wenn Manchmal werden Kunden auch mündlich über Allergene informiert.']] Sacrebleu: {'score': 2.252278368576829, 'counts': [5, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0416666666666667, 'translation_length': 25, 'reference_length': 24} Rouge: {'rouge1': 0.1702127659574468, 'rouge2': 0.0, 'rougeL': 0.1276595744680851, 'rougeLsum': 0.1276595744680851} Sari: {'sari': 38.25396825396826} Flesh Reading Ease: 34.95 ---------------------------------------- Source: ['Die Allergeninformation kann an verschiedenen Stellen gegeben werden:'] Prediction: ['Die Allergeninformation kann an verschiedenen Stellen gegeben werden: Die Allergeninformation kann an verschiedenen Stellen gegeben werden:'] Label: [['Informationen über Allergene findet man zum Beispiel:']] Sacrebleu: {'score': 2.1476912089159055, 'counts': [1, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [5.555555555555555, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.05555555555555555, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 18, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 35.0} Flesh Reading Ease: -5.66 ---------------------------------------- Source: ['Bei unverpackten Lebensmitteln in Restaurants, Bäckereien, Metzgereien, in der Gemeinschaftsverpflegung oder auf dem Wochenmarkt müssen schriftliche Informationen über Allergene vor Kaufabschluss in deutscher Sprache zugänglich sein.'] Prediction: ['Unverpackte Lebensmitteln in Restaurants, Bäckereien, Metzgereien, in der Gemeinschaftsverpflegung oder auf dem Wochenmarkt müssen schriftliche Informationen über Allergene vor Kaufabschluss in deutscher Sprache zugänglich sein.\nDer Kaufabschluss wird in deutscher Sprache zugänglich sein.'] Label: [['Auch bei unverpackten Lebensmitteln muss sofort klar sein, ob sie Allergene enthalten.\nZum Beispiel im Restaurant, beim Bäcker oder Metzger, in der Betriebskantine oder im Krankenhaus.\nUnverpackte Lebensmittel findet man an vielen Stellen.']] Sacrebleu: {'score': 4.969097782246911, 'counts': [12, 2, 1, 0], 'totals': [38, 37, 36, 35], 'precisions': [31.57894736842105, 5.405405405405405, 2.7777777777777777, 1.4285714285714286], 'bp': 0.9740274534203012, 'sys_len': 38, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.3157894736842105, 0.05405405405405406, 0.027777777777777776, 0.0], 'brevity_penalty': 0.9740274534203012, 'length_ratio': 0.9743589743589743, 'translation_length': 38, 'reference_length': 39} Rouge: {'rouge1': 0.22535211267605634, 'rouge2': 0.028985507246376812, 'rougeL': 0.14084507042253522, 'rougeLsum': 0.19718309859154928} Sari: {'sari': 18.56346084198169} Flesh Reading Ease: 23.1 ---------------------------------------- Source: ['Sie sind von der Kennzeichnungspflicht befreit. Einige Zutaten werden durch industrielle Verarbeitungsprozesse jedoch so stark verändert oder aufgereinigt, dass sie ihr allergenes Potential verlieren.'] Prediction: ['Die Verarbeitungsprozesse sind von der Kennzeichnungspflicht befreit.\nEinige Zutaten werden durch industrielle Verarbeitungsprozesse jedoch so stark verändert oder aufgereinigt, dass sie ihr allergenes Potential verlieren.'] Label: [['Wenn ein Lebensmittel keine Allergie auslösen kann, müssen die Allergene in den Zutaten auch nicht auf der Verpackung stehen.\nZum Beispiel, wenn sie stark gereinigt wurden.\nManche Zutaten enthalten zwar Allergene, doch die sind durch die Verarbeitung ungefährlich geworden.']] Sacrebleu: {'score': 1.2603119473360969, 'counts': [9, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [32.142857142857146, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 0.5449055200013082, 'sys_len': 28, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.32142857142857145, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5449055200013082, 'length_ratio': 0.6222222222222222, 'translation_length': 28, 'reference_length': 45} Rouge: {'rouge1': 0.20588235294117643, 'rouge2': 0.0, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.17647058823529413} Sari: {'sari': 29.615116684082203} Flesh Reading Ease: 15.4 ---------------------------------------- Source: ['Bei Lebensmitteln ohne Zutatenliste, wie zum Beispiel Wein muss ein zusätzlicher Hinweis gegeben werden, etwa "enthält Schwefel".'] Prediction: ['Zum Beispiel Wein muss ein zusätzlicher Hinweis gegeben werden, etwa "enthält Schwefel".\nDer Hinweis sei "enthält Schwefel".'] Label: [[': Auf dem Etikett steht ‚enthält Schwefel’.\nZum Beispiel bei einer Flasche Wein Dann werden die Allergene einzeln auf dem Etikett genannt.\nManche verpackten Lebensmittel haben keine Zutatenliste.']] Sacrebleu: {'score': 3.093505045130974, 'counts': [6, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [25.0, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 0.7470175003104325, 'sys_len': 24, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 0.7470175003104325, 'length_ratio': 0.7741935483870968, 'translation_length': 24, 'reference_length': 31} Rouge: {'rouge1': 0.2916666666666667, 'rouge2': 0.13043478260869565, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.2916666666666667} Sari: {'sari': 35.38510101010101} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['Im Zutatenverzeichnis müssen die "Allergenen Vierzehn" unter konkreter Benennung des jeweiligen Lebensmittels optisch hervorgehoben werden, beispielsweise durch Fettdruck oder Unterstreichung.'] Prediction: ['Im Zutatenverzeichnis müssen die "Allergenen Vierzehn" unter konkreter Benennung des jeweiligen Lebensmittels optisch hervorgehoben werden.\nDie "Allergenen Vierzehn" müssen unter konkreter Benennung des jeweiligen Lebensmittels optisch hervorgehoben werden, beispielsweise durch Fettdruck oder Unterstreichung.'] Label: [['Die Allergene müssen deutlich sichtbar sein, darum werden sie oft groß geschrieben, fett gedruckt oder unterstrichen.\nMeistens stehen die Allergene in der Liste mit Zutaten.']] Sacrebleu: {'score': 1.5450766293655125, 'counts': [8, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [20.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3793103448275863, 'translation_length': 40, 'reference_length': 29} Rouge: {'rouge1': 0.19672131147540986, 'rouge2': 0.03389830508474576, 'rougeL': 0.16393442622950818, 'rougeLsum': 0.19672131147540986} Sari: {'sari': 36.7816091954023} Flesh Reading Ease: 5.55 ---------------------------------------- Source: ['Die vierzehn Lebensmittel – die sogenannten „Allergenen Vierzehn“ –, die in Europa etwa 90 Prozent aller Lebensmittelallergien und -unverträglichkeiten auslösen, müssen für Verbraucher*innen immer erkennbar sein.'] Prediction: ['In Europa müssen für Verbraucher*innen immer erkennbar sein.\nDie vierzehn Lebensmittel, die sogenannten "Allergenen Vierzehn“, die in Europa etwa 90 Prozent aller Lebensmittelallergien und -unverträglichkeiten auslösen, müssen für Verbraucher*innen immer erkennbar sein.'] Label: [['Wenn ein Lebensmittel eins dieser Allergene enthält, muss der Hersteller das deutlich auf der Verpackung zeigen.\nDie meisten Lebensmittel-Allergien werden durch 14 Allergene ausgelöst.']] Sacrebleu: {'score': 2.1962438984958195, 'counts': [5, 1, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [11.904761904761905, 2.4390243902439024, 1.25, 0.6410256410256411], 'bp': 1.0, 'sys_len': 42, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.11904761904761904, 0.024390243902439025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5555555555555556, 'translation_length': 42, 'reference_length': 27} Rouge: {'rouge1': 0.05970149253731344, 'rouge2': 0.0, 'rougeL': 0.05970149253731344, 'rougeLsum': 0.05970149253731344} Sari: {'sari': 35.53499062481098} Flesh Reading Ease: 11.9 ---------------------------------------- Source: ['Vom Koffeingehalt abgesehen bewerten Ernährungsexperten Energy-Drinks generell skeptisch - wegen ihres hohen Zuckergehaltes, teilweise aber auch\xa0wegen ihres Gehaltes an\xa0anderen typischen Zutaten wie Taurin, Glucuronolacton und Inosit, deren Wechselwirkungen untereinander und in Verbindung mit Alkohol noch nicht ganz klar sind.'] Prediction: ['Einige Ernährungsexperten Energy-Drinks werden skeptisch aufgefordert, wegen ihres hohen Zuckergehaltes, teilweise aber auch wegen ihres Gehaltes an\xa0anderen typischen Zutaten wie Taurin, Glucuronolacton und Inosit, deren Wechselwirkungen untereinander und in Verbindung mit Alkohol noch nicht ganz klar sind.'] Label: [['Zu viel Koffein ist nicht gut für den Körper.\nIn den meisten Energy-Drinks steckt viel Zucker, das ist schlecht für die Zähne und kann dick machen.']] Sacrebleu: {'score': 1.2744039505750158, 'counts': [5, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [11.627906976744185, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.11627906976744186, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4827586206896552, 'translation_length': 43, 'reference_length': 29} Rouge: {'rouge1': 0.14084507042253522, 'rouge2': 0.028985507246376812, 'rougeL': 0.08450704225352113, 'rougeLsum': 0.11267605633802817} Sari: {'sari': 35.407725321888414} Flesh Reading Ease: 1.6 ---------------------------------------- Source: ['Denn für Kinder bewerten die Risikobewerter eine Einzeldosis von höchstens 3 mg Koffein pro kg Körpergewicht als sicher, was also einem Höchstwert von circa 90 mg Koffein entspräche. Für einen 10jährigen aber, der rund 30 Kilo wiegt, wäre selbst eine 250-ml-Dose pro Tag nach dem EFSA-Gutachten schon kritisch.'] Prediction: ['Eine 250-ml-Dose pro Tag nach dem Gutachten wäre kritisch.\nFür einen 10-jährigen Risikobewerter wäre eine 250-ml-Dose pro Tag schon kritisch.'] Label: [['So kann viel Koffein für Kinder noch schlimmere Folgen haben als für Erwachsene.\nSie sind kleiner und wiegen weniger als Erwachsene – dadurch wirkt das Koffein schneller und stärker.\nKinder reagieren noch empfindlicher auf Koffein.']] Sacrebleu: {'score': 1.1110882254803276, 'counts': [2, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [7.142857142857143, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 0.6996725373751302, 'sys_len': 28, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6996725373751302, 'length_ratio': 0.7368421052631579, 'translation_length': 28, 'reference_length': 38} Rouge: {'rouge1': 0.06060606060606061, 'rouge2': 0.03125, 'rougeL': 0.06060606060606061, 'rougeLsum': 0.06060606060606061} Sari: {'sari': 33.73259823054905} Flesh Reading Ease: 53.0 ---------------------------------------- Source: ['Koffein steigert die Herzfrequenz und stimuliert das zentrale Nervensystem, was die Konzentrationsfähigkeit und Wachsamkeit erhöht.'] Prediction: ['Die zentrale Nervensystem steigert die Herzfrequenz und stimuliert das zentrale Nervensystem, was die Konzentrationsfähigkeit und Wachsamkeit erhöht.\nKoffein steigert die Herzfrequenz und stimuliert die Herzfrequenz und stimuliert das zentrale Nervensystem, was die Konzentrationsfähigkeit und Wachsamkeit erhöht.'] Label: [['Koffein ist ein Stoff, der das Herz schneller schlagen lässt und die Nerven anregt.']] Sacrebleu: {'score': 1.4378558189726398, 'counts': [6, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [15.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 40, 'reference_length': 16} Rouge: {'rouge1': 0.14545454545454545, 'rouge2': 0.0, 'rougeL': 0.10909090909090907, 'rougeLsum': 0.10909090909090907} Sari: {'sari': 37.5} Flesh Reading Ease: 21.6 ---------------------------------------- Source: ['Galt die 250-ml-Dose noch vor wenigen Jahren praktisch als Standard, kommen die koffeinreichen Getränke heute auch in 500-ml-Dosen oder in Flaschengrößen von einem oder eineinhalb Litern in den Handel.'] Prediction: ['Die Getränke in der Schweiz sind noch vor wenigen Jahren praktisch als Standard.\nDiese kommen auch in 500-ml-Dosen oder in Flaschengrößen von einem oder eineinhalb Litern in den Handel.'] Label: [['Denn viele Drinks werden in großen Dosen verkauft, manche sogar in Literflaschen.']] Sacrebleu: {'score': 1.4780822562194806, 'counts': [3, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [9.090909090909092, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.357142857142857, 'translation_length': 33, 'reference_length': 14} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.0, 'rougeL': 0.13043478260869568, 'rougeLsum': 0.13043478260869568} Sari: {'sari': 33.35098870056497} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['Außerdem enthalten die vermeintlichen Muntermacher in der Regel noch die Stoffe Taurin, Inosit und Glucuronolacton.'] Prediction: ['Die vermeintlichen Muntermacher in der Regel enthalten noch die Stoffe Taurin, Inosit und Glucuronolacton.\nDie Stoffe enthalten noch die Stoffe Taurin, Inosit und Glucuronolacton.'] Label: [['Energy-Drinks enthalten meistens noch andere Stoffe, die den Körper munter machen – so behaupten die Hersteller.']] Sacrebleu: {'score': 2.172054551709621, 'counts': [7, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [25.0, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5555555555555556, 'translation_length': 28, 'reference_length': 18} Rouge: {'rouge1': 0.24390243902439027, 'rouge2': 0.0, 'rougeL': 0.24390243902439027, 'rougeLsum': 0.14634146341463414} Sari: {'sari': 38.095238095238095} Flesh Reading Ease: 39.3 ---------------------------------------- Source: ['Das EU-Parlament hat aus diesem Grund verhindert, dass Energydrinks mit positiven gesundheitlichen Wirkungen werben dürfen.'] Prediction: ['Das EU-Parlament hat aus diesem Grund verhindert, dass Energydrinks mit positiven gesundheitlichen Wirkungen werben dürfen.\nDie EU-Parlament hat aus diesem Grund verhindert, dass Energydrinks mit positiven gesundheitlichen Wirkungen werben dürfen.'] Label: [['Hersteller dürfen mit dem Koffein in ihren Energy-Drinks keine Werbung machen.\nDarum hat das EU-Parlament entschieden:']] Sacrebleu: {'score': 1.6276888006478718, 'counts': [5, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [14.705882352941176, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.14705882352941177, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8888888888888888, 'translation_length': 34, 'reference_length': 18} Rouge: {'rouge1': 0.2641509433962264, 'rouge2': 0.11764705882352942, 'rougeL': 0.1509433962264151, 'rougeLsum': 0.18867924528301885} Sari: {'sari': 38.6615515771526} Flesh Reading Ease: 30.45 ---------------------------------------- Source: ['Denn Wachheit ist nicht unbedingt eine positive gesundheitliche Wirkung. In höheren Dosen können allerdings Symptome wie Schlafstörungen oder allgemeine Verhaltensänderungen auftreten.'] Prediction: ['Wachheit ist nicht unbedingt eine positive gesundheitliche Wirkung.\nIn höheren Dosen können allerdings Symptome wie Schlafstörungen oder allgemeine Verhaltensänderungen auftreten.'] Label: [['Der Stoff kann auch dazu führen, dass Menschen sich anders verhalten.\nViele Menschen schlafen schlecht durch Koffein.\nAber wer viel Koffein trinkt, bekommt oft Beschwerden.']] Sacrebleu: {'score': 1.4278442804983642, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 0.6951439283988788, 'sys_len': 22, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6951439283988786, 'length_ratio': 0.7333333333333333, 'translation_length': 22, 'reference_length': 30} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.090909090909086} Flesh Reading Ease: 12.05 ---------------------------------------- Source: ['Und tatsächlich fördert Koffein - je nach Konzentration – die Wachheit und die Aufmerksamkeit.'] Prediction: ['Die Wachheit und die Aufmerksamkeit fördert Koffein.\nDie Wachheit und die Aufmerksamkeit fördert aber tatsächlich.'] Label: [['Es kann auch die Konzentration fördern.\nKoffein kann dafür sorgen, dass man länger wach bleibt.']] Sacrebleu: {'score': 3.049483026556587, 'counts': [4, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [23.529411764705884, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.9428731438548749, 'sys_len': 17, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9428731438548749, 'length_ratio': 0.9444444444444444, 'translation_length': 17, 'reference_length': 18} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.0, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 35.34313725490196} Flesh Reading Ease: 61.35 ---------------------------------------- Source: ['Der Koffeingehalt dieser koffeinhaltigen Erfrischungsgetränke liegt mit 32 Milligramm pro 100 Milliliter mehr als doppelt so hoch wie bei handelsüblichen Cola-Getränken.'] Prediction: ['Der Koffeingehalt dieser koffeinhaltigen Erfrischungsgetränke liegt mit 32 Milligramm pro 100 Milliliter mehr als doppelt so hoch wie bei Cola-Getränken.\nDie Erfrischungsgetränke liegt mit 32 Milligramm pro 100 Milliliter mehr als doppelt so hoch wie bei handelsüblichen Cola-Getränken.'] Label: [['In kleinen Dosen ist so viel Koffein wie in einer Tasse Kaffee, oder doppelt so viel wie in einer Cola.']] Sacrebleu: {'score': 2.4181756076515732, 'counts': [6, 1, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [15.0, 2.5641025641025643, 1.3157894736842106, 0.6756756756756757], 'bp': 1.0, 'sys_len': 40, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.02564102564102564, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8181818181818181, 'translation_length': 40, 'reference_length': 22} Rouge: {'rouge1': 0.18461538461538463, 'rouge2': 0.031746031746031744, 'rougeL': 0.18461538461538463, 'rougeLsum': 0.12307692307692307} Sari: {'sari': 36.655011655011656} Flesh Reading Ease: 32.3 ---------------------------------------- Source: ['Kein Wunder, denn sie versprechen ihren Kund*innen den besonderen „Kick“:'] Prediction: ['Die Zürcher Kunden sind mit dem besonderen "Kick" auf Social Media gestiegen.\nDie Zürcher Kunden wollen ihren Kund*innen den besonderen Song "Kick" verkaufen.\nDie Zürcher Kunden wollen sich mit dem besonderen Song auf Social Media verkaufen.'] Label: [['Weil die Hersteller in ihrer Werbung große Versprechen machen.\nWarum?']] Sacrebleu: {'score': 0.8130350574508933, 'counts': [1, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [2.2222222222222223, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.022222222222222223, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.75, 'translation_length': 45, 'reference_length': 12} Rouge: {'rouge1': 0.03921568627450981, 'rouge2': 0.0, 'rougeL': 0.03921568627450981, 'rougeLsum': 0.03921568627450981} Sari: {'sari': 33.48214285714286} Flesh Reading Ease: 56.85 ---------------------------------------- Source: ['Kaum eine Trendsportart, die nicht Werbung macht für "Energy".'] Prediction: ['Eine Trendsportart zeigt, wie nicht Werbung macht für "Energy".\nDas ist eine Trendsportart, die nicht Werbung macht für "Energy".'] Label: [['Und manche Energy-Drinks machen Werbung mit bekannten Sportlern.']] Sacrebleu: {'score': 1.6504045595709425, 'counts': [2, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [7.407407407407407, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.07407407407407407, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 27, 'reference_length': 9} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.06666666666666667} Sari: {'sari': 35.8974358974359} Flesh Reading Ease: 82.75 ---------------------------------------- Source: ['Zwar mögen auch manche Kinder die „süße Koffeinbrause“. Energydrinks sind vor allem unter Jugendlichen und jungen Erwachsenen beliebt.'] Prediction: ['Ein Energydrink mögen auch Kinder die "süße Koffeinbrause" zumindest beliebt.\nDas ist ein Drinks für Jugendlichen und jungen Erwachsenen beliebt.'] Label: [['Die Getränke werden viel verkauft – auch an Kinder.']] Sacrebleu: {'score': 2.0705706652424007, 'counts': [3, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [12.5, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4, 'translation_length': 24, 'reference_length': 10} Rouge: {'rouge1': 0.18750000000000003, 'rouge2': 0.0, 'rougeL': 0.125, 'rougeLsum': 0.125} Sari: {'sari': 37.654320987654316} Flesh Reading Ease: 53.0 ---------------------------------------- Source: ['Man ist angeblich länger wach, soll sich besser konzentrieren können und leistungsfähiger sein.'] Prediction: ['Die Corona-Pandemie hat einen grossen Gespräch mit dem Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus-Virus'] Label: [['Mehr Leistung!\nBessere Konzentration!\nLänger wach bleiben!']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [9, 8, 7, 6], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 0.8948393168143697, 'sys_len': 9, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8948393168143697, 'length_ratio': 0.9, 'translation_length': 9, 'reference_length': 10} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 48.29365079365079} Flesh Reading Ease: -1812.16 ---------------------------------------- Source: ['Kate Darling vom MIT Media Lab in Boston forscht dazu.'] Prediction: ['Die MIT-Media Lab in Boston hat eine Frau mit ihrem Leben geschlossen.\nDie Frau war mit ihrem Leben geschlossen.\nSie war mit ihrem Leben geschlossen.'] Label: [['Kate Darling vom MIT Media Lab in Boston forscht über Roboter und Ethik.']] Sacrebleu: {'score': 5.341413623819777, 'counts': [4, 2, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [14.285714285714286, 7.407407407407407, 3.8461538461538463, 2.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.07407407407407407, 0.038461538461538464, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 28, 'reference_length': 14} Rouge: {'rouge1': 0.2564102564102564, 'rouge2': 0.21621621621621623, 'rougeL': 0.2564102564102564, 'rougeLsum': 0.2564102564102564} Sari: {'sari': 18.61111111111111} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['Darling sieht dies als Beweis, dass Menschen zu Robotern emotionale Beziehungen aufbauen können.'] Prediction: ['Die Zürcher Roboter-Community hat einen grossen Beweis, dass Menschen zu Robotern emotionale Beziehungen aufbauen können.\nDie Community hat einen grossen Beweis, dass Menschen zu Robotern emotionale Beziehungen aufbauen können.'] Label: [['Sie hat mit Testpersonen herausgefunden, dass Menschen zu Robotern emotionale Beziehungen aufbauen können.']] Sacrebleu: {'score': 27.410634501902916, 'counts': [11, 9, 8, 7], 'totals': [33, 32, 31, 30], 'precisions': [33.333333333333336, 28.125, 25.806451612903224, 23.333333333333332], 'bp': 1.0, 'sys_len': 33, 'ref_len': 15} Bleu: {'bleu': 0.2741063450190292, 'precisions': [0.3333333333333333, 0.28125, 0.25806451612903225, 0.23333333333333334], 'brevity_penalty': 1.0, 'length_ratio': 2.2, 'translation_length': 33, 'reference_length': 15} Rouge: {'rouge1': 0.42553191489361697, 'rouge2': 0.35555555555555557, 'rougeL': 0.42553191489361697, 'rougeLsum': 0.42553191489361697} Sari: {'sari': 66.17438203351517} Flesh Reading Ease: 25.1 ---------------------------------------- Source: ['Digitalisierung bedeutet unter anderem, dass Computer und Gegenstände miteinander kommunizieren.'] Prediction: ['Die Digitalisierung von Computer und Gegenstände bedeutet unter anderem, dass Computer und Gegenstände miteinander kommunizieren.\nDie Digitalisierung bedeutet unter anderem, dass Computer und Gegenstände miteinander kommunizieren.'] Label: [['Ein wichtiges Thema der Digitalisierung ist, dass Computer und Gegenstände miteinander kommunizieren.']] Sacrebleu: {'score': 23.152888964854846, 'counts': [9, 7, 6, 5], 'totals': [30, 29, 28, 27], 'precisions': [30.0, 24.137931034482758, 21.428571428571427, 18.51851851851852], 'bp': 1.0, 'sys_len': 30, 'ref_len': 14} Bleu: {'bleu': 0.23152888964854848, 'precisions': [0.3, 0.2413793103448276, 0.21428571428571427, 0.18518518518518517], 'brevity_penalty': 1.0, 'length_ratio': 2.142857142857143, 'translation_length': 30, 'reference_length': 14} Rouge: {'rouge1': 0.380952380952381, 'rouge2': 0.3, 'rougeL': 0.380952380952381, 'rougeLsum': 0.380952380952381} Sari: {'sari': 59.16005291005292} Flesh Reading Ease: -2.66 ---------------------------------------- Source: ['Computer untereinander sind vernetzt, aber auch Geräte wie Heizung, Kühlschrank oder Kaffeemaschine sind mit dem Smartphone über das Internet vernetzt.'] Prediction: ['Auf dem Smartphone sind Geräte wie Heizung, Kühlschrank oder Kaffeemaschine mit dem Smartphone vernetzt.\nDas Internet ist auch mit dem Smartphone untereinander vernetzt worden.'] Label: [['Geräte wie Kühlschrank oder Kaffeemaschine sind mit dem Smartphone über das Internet vernetzt.']] Sacrebleu: {'score': 11.434338200880834, 'counts': [12, 6, 2, 0], 'totals': [27, 26, 25, 24], 'precisions': [44.44444444444444, 23.076923076923077, 8.0, 2.0833333333333335], 'bp': 1.0, 'sys_len': 27, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.4444444444444444, 0.23076923076923078, 0.08, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9285714285714286, 'translation_length': 27, 'reference_length': 14} Rouge: {'rouge1': 0.6829268292682926, 'rouge2': 0.41025641025641024, 'rougeL': 0.6341463414634146, 'rougeLsum': 0.5365853658536585} Sari: {'sari': 31.621422558922557} Flesh Reading Ease: 51.0 ---------------------------------------- Source: ['Das aber nur, wenn diese ähnlich wie Menschen handeln und reagieren.'] Prediction: ['Die Schweiz ist nicht nur ähnlich wie Menschen handeln und reagieren.\nDas ist nur, wenn diese ähnlich wie Menschen handeln und reagieren.'] Label: [['Das tun sie aber nur, wenn Roboter ähnlich wie Menschen handeln und reagieren.']] Sacrebleu: {'score': 28.880056375088657, 'counts': [11, 8, 6, 4], 'totals': [25, 24, 23, 22], 'precisions': [44.0, 33.333333333333336, 26.08695652173913, 18.181818181818183], 'bp': 1.0, 'sys_len': 25, 'ref_len': 15} Bleu: {'bleu': 0.2888005637508866, 'precisions': [0.44, 0.3333333333333333, 0.2608695652173913, 0.18181818181818182], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 25, 'reference_length': 15} Rouge: {'rouge1': 0.5142857142857142, 'rouge2': 0.36363636363636365, 'rougeL': 0.5142857142857142, 'rougeLsum': 0.5142857142857142} Sari: {'sari': 38.53463787674314} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['In der Industrie wie im Privatbereich werden Roboter als Assistenten arbeiten.'] Prediction: ['Robot-Robo-Software werden in der Schweiz als Assistenten arbeiten.\nIn der Schweiz werden Roboter als Assistenten arbeiten.'] Label: [['In der Industrie und im Privatbereich werden Roboter als Assistenten arbeiten.']] Sacrebleu: {'score': 29.759282342490966, 'counts': [8, 6, 4, 3], 'totals': [18, 17, 16, 15], 'precisions': [44.44444444444444, 35.294117647058826, 25.0, 20.0], 'bp': 1.0, 'sys_len': 18, 'ref_len': 12} Bleu: {'bleu': 0.29759282342490984, 'precisions': [0.4444444444444444, 0.35294117647058826, 0.25, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 18, 'reference_length': 12} Rouge: {'rouge1': 0.4827586206896552, 'rouge2': 0.37037037037037035, 'rougeL': 0.4827586206896552, 'rougeLsum': 0.4827586206896552} Sari: {'sari': 41.133705475810736} Flesh Reading Ease: 37.45 ---------------------------------------- Source: ['Zahlreiche Studien über die Arbeitsplätze kommen zu dem Ergebnis, dass die Hälfte der Jobs wegfällt.'] Prediction: ['Zahlreiche Studien über die Arbeitsplätze kommen zu dem Ergebnis, dass die Hälfte der Jobs wegfällt.\nZahlreiche Studien über die Arbeitsplätze kommen zu dem Ergebnis, dass die Hälfte der Jobs wegfällt.'] Label: [['Zahlreiche Studien kommen zu dem Ergebnis, dass die Hälfte der Arbeitsplätze wegfällt.']] Sacrebleu: {'score': 26.959895175013187, 'counts': [14, 10, 7, 6], 'totals': [34, 33, 32, 31], 'precisions': [41.1764705882353, 30.303030303030305, 21.875, 19.35483870967742], 'bp': 1.0, 'sys_len': 34, 'ref_len': 14} Bleu: {'bleu': 0.2695989517501319, 'precisions': [0.4117647058823529, 0.30303030303030304, 0.21875, 0.1935483870967742], 'brevity_penalty': 1.0, 'length_ratio': 2.4285714285714284, 'translation_length': 34, 'reference_length': 14} Rouge: {'rouge1': 0.5882352941176471, 'rouge2': 0.44897959183673464, 'rougeL': 0.5882352941176471, 'rougeLsum': 0.5098039215686274} Sari: {'sari': 66.00707202402117} Flesh Reading Ease: 59.7 ---------------------------------------- Source: ['Aber es werden auch neue Tätigkeiten geschaffen.'] Prediction: ['Die Schweizer Welt hat neue Tätigkeiten geschaffen.\nDie Schweizer Welt hatte sich mit neuen Tätigkeiten aufgefordert.\nDie Schweizer Welt hatte sich mit einem neuen Anlass aufgefordert.'] Label: [['Aber es werden auch neue Jobs geschaffen.']] Sacrebleu: {'score': 2.847964238283142, 'counts': [3, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [10.344827586206897, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.10344827586206896, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.625, 'translation_length': 29, 'reference_length': 8} Rouge: {'rouge1': 0.1142857142857143, 'rouge2': 0.0, 'rougeL': 0.1142857142857143, 'rougeLsum': 0.1142857142857143} Sari: {'sari': 12.878787878787879} Flesh Reading Ease: 60.15 ---------------------------------------- Source: ['Angriffe auf das Internet könnten ganze Bereiche lahmlegen und kaum bezifferbare Schäden verursachen.'] Prediction: ['Angriffe auf das Internet könnten ganze Bereiche lahmlegen und kaum bezifferbare Schäden verursachen.\nDie Schäden könnten ganze Bereiche lahmlegen und kaum bezifferbare Schäden verursachen.'] Label: [['Angriffe auf das Internet schädigen die Industrie massiv.']] Sacrebleu: {'score': 9.562406574442013, 'counts': [5, 3, 2, 1], 'totals': [26, 25, 24, 23], 'precisions': [19.23076923076923, 12.0, 8.333333333333334, 4.3478260869565215], 'bp': 1.0, 'sys_len': 26, 'ref_len': 9} Bleu: {'bleu': 0.09562406574442013, 'precisions': [0.19230769230769232, 0.12, 0.08333333333333333, 0.043478260869565216], 'brevity_penalty': 1.0, 'length_ratio': 2.888888888888889, 'translation_length': 26, 'reference_length': 9} Rouge: {'rouge1': 0.31578947368421056, 'rouge2': 0.16666666666666666, 'rougeL': 0.31578947368421056, 'rougeLsum': 0.26315789473684215} Sari: {'sari': 47.94747284878864} Flesh Reading Ease: 27.6 ---------------------------------------- Source: ['Nach der Roboter-Weltstatistik 2016, die von der International Federation of Robotics (IFR) veröffentlicht wurde, werden bis 2019 weltweit mehr als 1,4 Millionen neue Industrieroboter in den Fabriken installiert.'] Prediction: ['Derzeit werden bis 2019 mehr als 1,4 Millionen neue Industrieroboter in den Fabriken installiert.\nDerzeit wird nach der Weltstatistik 2016, die von der International Federation of Robotics (IFR) veröffentlicht wurde, die von der International Federation of Robotics (IFR) veröffentlicht.'] Label: [['Die Roboter-Weltstatistik 2016 von der International Federation of Robotics (IFR) hat ausgerechnet: Bis 2019 werden weltweit mehr als 1,4 Millionen neue Industrieroboter in den Fabriken installiert.']] Sacrebleu: {'score': 38.36470559988296, 'counts': [23, 18, 16, 14], 'totals': [47, 46, 45, 44], 'precisions': [48.93617021276596, 39.130434782608695, 35.55555555555556, 31.818181818181817], 'bp': 1.0, 'sys_len': 47, 'ref_len': 30} Bleu: {'bleu': 0.3836470559988296, 'precisions': [0.48936170212765956, 0.391304347826087, 0.35555555555555557, 0.3181818181818182], 'brevity_penalty': 1.0, 'length_ratio': 1.5666666666666667, 'translation_length': 47, 'reference_length': 30} Rouge: {'rouge1': 0.6857142857142857, 'rouge2': 0.5294117647058824, 'rougeL': 0.3714285714285715, 'rougeLsum': 0.6285714285714286} Sari: {'sari': 47.084886003926755} Flesh Reading Ease: 31.8 ---------------------------------------- Source: ['Das betrifft vor allem Roboter, die dank KI intelligent handeln und lernen.'] Prediction: ['Das betrifft vor allem Roboter, die dank KI intelligent handeln und lernenen.\nDie KI betrifft vor allem dank KI-Roboter, die dank KI intelligent handeln und lernen.'] Label: [['Es bedeutet, dass die Maschinen intelligent handeln und lernen.']] Sacrebleu: {'score': 12.64203703898735, 'counts': [7, 4, 3, 2], 'totals': [30, 29, 28, 27], 'precisions': [23.333333333333332, 13.793103448275861, 10.714285714285714, 7.407407407407407], 'bp': 1.0, 'sys_len': 30, 'ref_len': 11} Bleu: {'bleu': 0.1264203703898735, 'precisions': [0.23333333333333334, 0.13793103448275862, 0.10714285714285714, 0.07407407407407407], 'brevity_penalty': 1.0, 'length_ratio': 2.727272727272727, 'translation_length': 30, 'reference_length': 11} Rouge: {'rouge1': 0.2777777777777778, 'rouge2': 0.1764705882352941, 'rougeL': 0.2777777777777778, 'rougeLsum': 0.2777777777777778} Sari: {'sari': 48.707893413775764} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Dabei gibt es insgesamt 77 Inseln an der deutschen Küste.'] Prediction: ['Dabei gibt es insgesamt 77 Inseln in der deutschen Küste.\nDie Inseln sind insgesamt 77 von 77 an der deutschen Küste.'] Label: [['77 Inseln liegen an der deutschen Küste.']] Sacrebleu: {'score': 17.729842264695016, 'counts': [7, 5, 3, 2], 'totals': [23, 22, 21, 20], 'precisions': [30.434782608695652, 22.727272727272727, 14.285714285714286, 10.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 8} Bleu: {'bleu': 0.17729842264695017, 'precisions': [0.30434782608695654, 0.22727272727272727, 0.14285714285714285, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 2.875, 'translation_length': 23, 'reference_length': 8} Rouge: {'rouge1': 0.4516129032258065, 'rouge2': 0.3448275862068965, 'rougeL': 0.4516129032258065, 'rougeLsum': 0.4516129032258065} Sari: {'sari': 55.529100529100525} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['Die meisten davon liegen in der Nordsee: die Nordfriesischen Inseln und die Ostfriesischen Inseln.'] Prediction: ['Die meisten davon liegen in der Nordsee: die Nordfriesischen Inseln und die Ostfriesischen Inseln.\nDie meisten davon liegen in der Nordsee: die Nordfriesischen Inseln und die Ostfriesischen Inseln.'] Label: [['Die meisten davon befinden sich in der Nordsee: die Nordfriesischen Inseln und die Ostfriesischen Inseln.']] Sacrebleu: {'score': 38.67316537771211, 'counts': [15, 13, 11, 9], 'totals': [32, 31, 30, 29], 'precisions': [46.875, 41.935483870967744, 36.666666666666664, 31.03448275862069], 'bp': 1.0, 'sys_len': 32, 'ref_len': 17} Bleu: {'bleu': 0.3867316537771211, 'precisions': [0.46875, 0.41935483870967744, 0.36666666666666664, 0.3103448275862069], 'brevity_penalty': 1.0, 'length_ratio': 1.8823529411764706, 'translation_length': 32, 'reference_length': 17} Rouge: {'rouge1': 0.6046511627906976, 'rouge2': 0.5365853658536585, 'rougeL': 0.6046511627906976, 'rougeLsum': 0.6046511627906976} Sari: {'sari': 63.222943722943725} Flesh Reading Ease: 54.85 ---------------------------------------- Source: ['Außerdem gibt es noch die Ostseeinseln.'] Prediction: ['Die Ostseeinseln gibt es noch keine Ostseeinseln.\nDie Ostseeinseln gibt es noch keine Ostseeinseln.'] Label: [['Außerdem gibt es noch Inseln in der Ostsee.']] Sacrebleu: {'score': 9.782375748961453, 'counts': [4, 2, 1, 0], 'totals': [16, 15, 14, 13], 'precisions': [25.0, 13.333333333333334, 7.142857142857143, 3.8461538461538463], 'bp': 1.0, 'sys_len': 16, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.13333333333333333, 0.07142857142857142, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 16, 'reference_length': 9} Rouge: {'rouge1': 0.2608695652173913, 'rouge2': 0.1904761904761905, 'rougeL': 0.2608695652173913, 'rougeLsum': 0.2608695652173913} Sari: {'sari': 33.04473304473304} Flesh Reading Ease: 56.0 ---------------------------------------- Source: ['Seit vielen Jahren sind aber Touristen die größte Einnahmequelle.'] Prediction: ['Seit vielen Jahren sind aber Touristen die größte Einnahmequelle.\nSeit vielen Jahren sind aber Touristen die größte Einnahmequelle.'] Label: [['Seit vielen Jahren verdienen sie ihr Geld mit Touristen.']] Sacrebleu: {'score': 8.097785064266205, 'counts': [5, 2, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 10.526315789473685, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.10526315789473684, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 20, 'reference_length': 10} Rouge: {'rouge1': 0.2758620689655173, 'rouge2': 0.14814814814814814, 'rougeL': 0.2758620689655173, 'rougeLsum': 0.2758620689655173} Sari: {'sari': 43.77104377104377} Flesh Reading Ease: 54.0 ---------------------------------------- Source: ['Sylt ist die größte Nordseeinsel und hat eine interessante, schmale Form.'] Prediction: ['Die größte Nordseeinsel ist eine schmale Form.\nSylt ist die größte Nordseeinsel und hat eine interessante, schmale Form.'] Label: [['Sylt ist die größte Nordseeinsel und hat eine interessante Form.']] Sacrebleu: {'score': 41.24794077825947, 'counts': [11, 9, 7, 6], 'totals': [21, 20, 19, 18], 'precisions': [52.38095238095238, 45.0, 36.8421052631579, 33.333333333333336], 'bp': 1.0, 'sys_len': 21, 'ref_len': 11} Bleu: {'bleu': 0.41247940778259484, 'precisions': [0.5238095238095238, 0.45, 0.3684210526315789, 0.3333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.9090909090909092, 'translation_length': 21, 'reference_length': 11} Rouge: {'rouge1': 0.7096774193548387, 'rouge2': 0.6206896551724138, 'rougeL': 0.7096774193548387, 'rougeLsum': 0.7096774193548387} Sari: {'sari': 69.17989417989418} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Sie ist 38,5 Kilometer lang und an der schmalsten Stelle nur knapp 600 Meter breit.'] Prediction: ['Sie ist in der schmalsten Stelle nur knapp 600 Meter breit.\nDas ist eine schmalste Stelle in der Schweiz.\nDie Schweizerin ist 38,5 Kilometer lang und an der schmalsten Stelle nur knapp 600 Meter breit.'] Label: [['Sie ist 38,5 Kilometer lang und sehr schmal.']] Sacrebleu: {'score': 10.43436098078534, 'counts': [7, 5, 3, 2], 'totals': [38, 37, 36, 35], 'precisions': [18.42105263157895, 13.513513513513514, 8.333333333333334, 5.714285714285714], 'bp': 1.0, 'sys_len': 38, 'ref_len': 9} Bleu: {'bleu': 0.10434360980785336, 'precisions': [0.18421052631578946, 0.13513513513513514, 0.08333333333333333, 0.05714285714285714], 'brevity_penalty': 1.0, 'length_ratio': 4.222222222222222, 'translation_length': 38, 'reference_length': 9} Rouge: {'rouge1': 0.3111111111111111, 'rouge2': 0.2790697674418604, 'rougeL': 0.3111111111111111, 'rougeLsum': 0.3111111111111111} Sari: {'sari': 31.069195794259734} Flesh Reading Ease: 86.4 ---------------------------------------- Source: ['Mit einer Fläche von 926 km² ist die Ostseeinsel Rügen fast zehnmal so groß wie Sylt und über einen Damm mit dem deutschen Festland verbunden.'] Prediction: ['Die Ostseeinsel Rügen ist fast zehnmal so groß wie Sylt und über einen Damm mit dem deutschen Festland verbunden.\nDie Ostseeinsel Rügen ist fast zehnmal so groß wie Sylt und über einen Damm mit dem deutschen Festland verbunden.'] Label: [['Mit einer Fläche von 926 km² ist die Ostseeinsel Rügen fast zehnmal so groß wie Sylt.']] Sacrebleu: {'score': 13.460328046009241, 'counts': [10, 6, 4, 3], 'totals': [40, 39, 38, 37], 'precisions': [25.0, 15.384615384615385, 10.526315789473685, 8.108108108108109], 'bp': 1.0, 'sys_len': 40, 'ref_len': 17} Bleu: {'bleu': 0.13460328046009243, 'precisions': [0.25, 0.15384615384615385, 0.10526315789473684, 0.08108108108108109], 'brevity_penalty': 1.0, 'length_ratio': 2.3529411764705883, 'translation_length': 40, 'reference_length': 17} Rouge: {'rouge1': 0.41379310344827586, 'rouge2': 0.28571428571428564, 'rougeL': 0.3793103448275862, 'rougeLsum': 0.3448275862068966} Sari: {'sari': 22.057092686435197} Flesh Reading Ease: 73.25 ---------------------------------------- Source: ['Bekannt ist die Insel Rügen für ihre Natur mit weißen Felsen, langen Stränden, sanften Hügeln und unberührten Wäldern.'] Prediction: ['Die Insel Rügen ist eine neue Natur mit weißen Felsen, langen Stränden, sanften Hügeln und unberührten Wäldern.\nDie Insel Rügen ist für ihre Natur mit weißen Felsen, langen Stränden, sanften Hügeln und unberührten Wäldern gekannt.'] Label: [['Bekannt ist die Insel Rügen für die schöne Natur.']] Sacrebleu: {'score': 2.3569062221449553, 'counts': [6, 1, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [14.634146341463415, 2.5, 1.2820512820512822, 0.6578947368421053], 'bp': 1.0, 'sys_len': 41, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.14634146341463414, 0.025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.1, 'translation_length': 41, 'reference_length': 10} Rouge: {'rouge1': 0.3, 'rouge2': 0.13793103448275862, 'rougeL': 0.26666666666666666, 'rougeLsum': 0.23333333333333336} Sari: {'sari': 12.12999881859531} Flesh Reading Ease: 57.2 ---------------------------------------- Source: ['Zusätzlich zu den 77 deutschen Inseln gibt es noch zehn Halligen im nordfriesischen Wattenmeer.'] Prediction: ['Die NFL-Wettbewerbungen von Wattenmeer sind noch nicht mehr.\nDas ist nur ein Halligen im nordfriesischen Wattenmeer.\nDas ist nur ein Halligen im nordfriesischen Wattenmeer.'] Label: [['Zusätzlich zu den 77 deutschen Inseln gibt es noch zehn Halligen.']] Sacrebleu: {'score': 1.826472886268134, 'counts': [3, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [11.11111111111111, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 27, 'reference_length': 12} Rouge: {'rouge1': 0.10810810810810811, 'rouge2': 0.0, 'rougeL': 0.10810810810810811, 'rougeLsum': 0.10810810810810811} Sari: {'sari': 5.277777777777778} Flesh Reading Ease: 60.85 ---------------------------------------- Source: ['Das sind winzige Inselchen, die kaum durch Deiche geschützt sind.'] Prediction: ['Die Schweizer Inselchen sind die letzten Wochen nach Deutschland geschützt.\nDie Inselchen sind die kaum durch Deiche geschützt.\nDie Schweizer Inselchen sind die letzten Wochen nach Deutschland geschützt.'] Label: [['Das sind winzige Inseln, die kaum durch Deiche geschützt sind.']] Sacrebleu: {'score': 12.627447243144086, 'counts': [8, 4, 3, 2], 'totals': [31, 30, 29, 28], 'precisions': [25.806451612903224, 13.333333333333334, 10.344827586206897, 7.142857142857143], 'bp': 1.0, 'sys_len': 31, 'ref_len': 12} Bleu: {'bleu': 0.1262744724314408, 'precisions': [0.25806451612903225, 0.13333333333333333, 0.10344827586206896, 0.07142857142857142], 'brevity_penalty': 1.0, 'length_ratio': 2.5833333333333335, 'translation_length': 31, 'reference_length': 12} Rouge: {'rouge1': 0.38095238095238093, 'rouge2': 0.25, 'rougeL': 0.38095238095238093, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 32.223780947185205} Flesh Reading Ease: 71.25 ---------------------------------------- Source: ['Während früher wenige Künstler in deutscher Sprache gesungen haben, gewinnt deutschsprachige Musik seit der Jahrhundertwende immer mehr an Bedeutung.'] Prediction: ['Die deutsche Künstler haben während früher wenige Künstler in deutscher Sprache gesungen.\nDie deutsche Künstler gewinnt seit der Jahrhundertwende immer mehr an Bedeutung.'] Label: [['Früher sangen nur wenige Künstler in deutscher Sprache.']] Sacrebleu: {'score': 14.757581190431866, 'counts': [6, 4, 3, 2], 'totals': [25, 24, 23, 22], 'precisions': [24.0, 16.666666666666668, 13.043478260869565, 9.090909090909092], 'bp': 1.0, 'sys_len': 25, 'ref_len': 9} Bleu: {'bleu': 0.1475758119043186, 'precisions': [0.24, 0.16666666666666666, 0.13043478260869565, 0.09090909090909091], 'brevity_penalty': 1.0, 'length_ratio': 2.7777777777777777, 'translation_length': 25, 'reference_length': 9} Rouge: {'rouge1': 0.4210526315789473, 'rouge2': 0.3333333333333333, 'rougeL': 0.4210526315789473, 'rougeLsum': 0.4210526315789473} Sari: {'sari': 47.81481481481482} Flesh Reading Ease: 51.5 ---------------------------------------- Source: ['Den Anfang machten junge Bands wie Wir sind Helden, Juli, Silbermond oder die Münchner Sportfreunde Stiller.'] Prediction: ['Die Münchener Sportfreunde Stiller sind seit Anfang Jahr wieder aufgefordert.\nDie Bands sind Helden, Juli, Silbermond oder die Münchner Sportfreunde Stiller.\nDie Bands sind wie Helden, Juli, Silbermond oder die Münchner Sportfreunde Stiller.'] Label: [['Aber nun kamen neue, junge Bands wie Wir sind Helden, Juli, Silbermond oder die Sportfreunde Stiller dazu.']] Sacrebleu: {'score': 19.783691883509515, 'counts': [14, 8, 6, 5], 'totals': [40, 39, 38, 37], 'precisions': [35.0, 20.512820512820515, 15.789473684210526, 13.513513513513514], 'bp': 1.0, 'sys_len': 40, 'ref_len': 21} Bleu: {'bleu': 0.19783691883509516, 'precisions': [0.35, 0.20512820512820512, 0.15789473684210525, 0.13513513513513514], 'brevity_penalty': 1.0, 'length_ratio': 1.9047619047619047, 'translation_length': 40, 'reference_length': 21} Rouge: {'rouge1': 0.3773584905660377, 'rouge2': 0.23529411764705876, 'rougeL': 0.33962264150943394, 'rougeLsum': 0.3773584905660377} Sari: {'sari': 37.49000390184632} Flesh Reading Ease: 63.7 ---------------------------------------- Source: ['Erfolgreiche deutschsprachige Bands gab es schon längere Zeit, zum Beispiel Die Ärzte oder Die Toten Hosen, die ihren Ursprung in der deutsche Punkbewegung der 1980er hatten oder die Stuttgarter Hip-Hop-Band Die Fantastischen Vier, die Anfang der Neunziger große Erfolge feierten.'] Prediction: ['Die deutsche Punkbewegung der 1980er und 1980er hatten die erfolgreiche deutsche Bands die Toten Hosen.\nDie Stuttgarter Hip-Hop-Band Die Fantastischen Vier feierten Anfang der Neunziger große Erfolge.\nDie deutsche Bands gab es schon längere Zeit, zum Beispiel Die Ärzte oder die Toten Hosen, die ihren Ursprung in der 1980er hatten oder die Stuttgarter Hip-Hop-Band Die Fantastischen Vier, die Anfang der Neunziger große Erfolge feierten.'] Label: [['Deutsche Bands wie Die Ärzte, Die Toten Hosen oder Die Fantastischen Vier waren schon lange Zeit erfolgreich.']] Sacrebleu: {'score': 3.3585884976533356, 'counts': [14, 4, 1, 0], 'totals': [70, 69, 68, 67], 'precisions': [20.0, 5.797101449275362, 1.4705882352941178, 0.746268656716418], 'bp': 1.0, 'sys_len': 70, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.057971014492753624, 0.014705882352941176, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6842105263157894, 'translation_length': 70, 'reference_length': 19} Rouge: {'rouge1': 0.29545454545454547, 'rouge2': 0.16279069767441862, 'rougeL': 0.24999999999999997, 'rougeLsum': 0.24999999999999997} Sari: {'sari': 41.394490012911064} Flesh Reading Ease: 53.4 ---------------------------------------- Source: ['Auch Reggae und Dancehall wurde zu dieser Zeit deutsch mit Bands wie Seeed, Culcha Candela und Gentleman.2004 diskutierten Politiker und Musiker über die Einführung einer Quote für deutschsprachige Musik im Radio.'] Prediction: ['Die deutsche Musik-Kette "Seeed" wurde zu dieser Zeit mit Reggae und Dancehall mit dem Bands wie Seeed, Culcha Candela und Gentleman.\nDie neuen Songs wie Seeed, Culcha Candela und Gentleman wurden in der Radio-Section der 20-Minuten-App veröffentlicht.\nDie neuen Songs werden in der Radio-Section der 20-Minuten-App veröffentlicht.'] Label: [['Sie fragten sich, warum deutsche Bands in englischer Sprache singen sollten.2004 dachten Musiker und Politiker darüber nach, ob im Radio ein bestimmter Anteil der Lieder deutsch sein muss.']] Sacrebleu: {'score': 1.0840573102942703, 'counts': [9, 0, 0, 0], 'totals': [58, 57, 56, 55], 'precisions': [15.517241379310345, 0.8771929824561403, 0.44642857142857145, 0.22727272727272727], 'bp': 1.0, 'sys_len': 58, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.15517241379310345, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7575757575757576, 'translation_length': 58, 'reference_length': 33} Rouge: {'rouge1': 0.13953488372093023, 'rouge2': 0.0, 'rougeL': 0.11627906976744186, 'rougeLsum': 0.13953488372093023} Sari: {'sari': 32.87834311806914} Flesh Reading Ease: 47.3 ---------------------------------------- Source: ['In Frankreich müssen 40 Prozent der gespielten Titel französischsprachig sein.'] Prediction: ['Die Schweizer Weltmeisterschaft hat einen Titel gegen die Schweizer Weltmeisterschaft.\n40 Prozent der gespielten Titel sind in Frankreich.'] Label: [['In Frankreich müssen 40 Prozent der gespielten Titel französisch sein.']] Sacrebleu: {'score': 19.49624907951977, 'counts': [7, 4, 3, 2], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 21.05263157894737, 16.666666666666668, 11.764705882352942], 'bp': 1.0, 'sys_len': 20, 'ref_len': 11} Bleu: {'bleu': 0.19496249079519765, 'precisions': [0.35, 0.21052631578947367, 0.16666666666666666, 0.11764705882352941], 'brevity_penalty': 1.0, 'length_ratio': 1.8181818181818181, 'translation_length': 20, 'reference_length': 11} Rouge: {'rouge1': 0.4666666666666666, 'rouge2': 0.35714285714285715, 'rougeL': 0.33333333333333337, 'rougeLsum': 0.33333333333333337} Sari: {'sari': 38.57956857956859} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Doch in Deutschland erfüllte sich der Wunsch nach mehr deutschsprachiger Musik ganz ohne Quote.'] Prediction: ['Die Wunsch hat in Deutschland seine neue Single "Doch in Deutschland erfüllte sich der Wunsch nach mehr deutschsprachiger Musik ganz ohne Quote" heisst es in der Bildstrecke zu sehen'] Label: [['Aber in Deutschland war das nicht nötig, weil deutschsprachige Musik immer beliebter wurde.']] Sacrebleu: {'score': 2.6545937801413144, 'counts': [3, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [9.67741935483871, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 1.0, 'sys_len': 31, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.0967741935483871, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.066666666666667, 'translation_length': 31, 'reference_length': 15} Rouge: {'rouge1': 0.13636363636363638, 'rouge2': 0.04761904761904762, 'rougeL': 0.13636363636363638, 'rougeLsum': 0.13636363636363638} Sari: {'sari': 28.968253968253972} Flesh Reading Ease: 57.4 ---------------------------------------- Source: ['Selbst Künstler, die früher in englischer Sprache gesungen haben, singen mittlerweile deutschsprachige Texte. Wie zum Beispiel die Sängerin Sarah Connor, die im Jahr 2015 ihr erstes deutschsprachiges Album „Muttersprache“ nannte.'] Prediction: ['Die deutsche Sängerin Sarah Connor hat im Jahr 2015 ihr erstes deutschsprachiges Album "Muttersprache" veröffentlicht.\nSelbst Künstler, die früher in englischer Sprache gesungen haben, singen mittlerweile deutschsprachige Texte.'] Label: [['Die Sängerin Sarah Connor, zum Beispiel, singt seit 2015 nicht mehr auf Englisch, sondern auf Deutsch.']] Sacrebleu: {'score': 5.177813034788801, 'counts': [8, 2, 1, 0], 'totals': [34, 33, 32, 31], 'precisions': [23.529411764705884, 6.0606060606060606, 3.125, 1.6129032258064515], 'bp': 1.0, 'sys_len': 34, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.06060606060606061, 0.03125, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7, 'translation_length': 34, 'reference_length': 20} Rouge: {'rouge1': 0.24489795918367344, 'rouge2': 0.12765957446808507, 'rougeL': 0.24489795918367344, 'rougeLsum': 0.24489795918367344} Sari: {'sari': 28.828171574167} Flesh Reading Ease: 43.15 ---------------------------------------- Source: ['Weitere bekannte deutschsprachige Bands und Künstler sind Glasperlenspiel, Frida Gold, Revolverheld, Joris, Max Giesinger, Wincent Weiss, Adel Tawil, die Hamburger Hip-Hop-Formation Deichkind, sowie die Rapper Materia, Bushido und Cro.'] Prediction: ['Das Jahr 2020 wurde in Deutschland die erste Schweizer Music Awards gewonnen.\nDie beiden bekannten deutschsprachige Bands und Künstler sind Glasperlenspiel, Frida Gold, Revolverheld, Joris, Max Giesinger, Wincent Weiss, Adel Tawil, die Hamburger Hip-Hop-Formation Deichkind, sowie die Rapper Materia, Bushido und Cro.'] Label: [['Weitere bekannte deutschsprachige Bands, Sängerinnen und Sänger sind Glasperlenspiel, Frida Gold, Revolverheld, Joris, Max Giesinger, Wincent Weiss, Adel Tawil, Andreas Bourani, die Hamburger Hip-Hop-Formation Deichkind, sowie die Rapper Materia, Bushido und Cro.']] Sacrebleu: {'score': 61.38596441035444, 'counts': [36, 33, 30, 28], 'totals': [53, 52, 51, 50], 'precisions': [67.9245283018868, 63.46153846153846, 58.8235294117647, 56.0], 'bp': 1.0, 'sys_len': 53, 'ref_len': 44} Bleu: {'bleu': 0.6138596441035441, 'precisions': [0.6792452830188679, 0.6346153846153846, 0.5882352941176471, 0.56], 'brevity_penalty': 1.0, 'length_ratio': 1.2045454545454546, 'translation_length': 53, 'reference_length': 44} Rouge: {'rouge1': 0.6913580246913581, 'rouge2': 0.6075949367088607, 'rougeL': 0.6913580246913581, 'rougeLsum': 0.6913580246913581} Sari: {'sari': 34.742423187947075} Flesh Reading Ease: 42.0 ---------------------------------------- Source: ['2017 gehörte der Sänger und Songwriter Mark Forster mit „Chöre“ zu den erfolgreichsten deutschsprachigen Musikern.'] Prediction: ['Mark Forster (43) ist der erfolgreichste deutschsprachige Musiker.\nEr hatte 2017 seine erfolgreichsten deutschsprachige Songs mit "Chöre" gegeben.\nDer Sänger und Songwriter Mark Forster (27) ist derzeit der erfolgreichste deutschsprachige Musiker.'] Label: [['Im Jahr 2017 gehörte der Sänger und Songwriter Mark Forster mit „Chöre“ zu den erfolgreichsten deutschsprachigen Musikern.']] Sacrebleu: {'score': 10.22763758993479, 'counts': [10, 4, 3, 2], 'totals': [40, 39, 38, 37], 'precisions': [25.0, 10.256410256410257, 7.894736842105263, 5.405405405405405], 'bp': 1.0, 'sys_len': 40, 'ref_len': 18} Bleu: {'bleu': 0.10227637589934795, 'precisions': [0.25, 0.10256410256410256, 0.07894736842105263, 0.05405405405405406], 'brevity_penalty': 1.0, 'length_ratio': 2.2222222222222223, 'translation_length': 40, 'reference_length': 18} Rouge: {'rouge1': 0.4528301886792453, 'rouge2': 0.3137254901960784, 'rougeL': 0.30188679245283023, 'rougeLsum': 0.4150943396226416} Sari: {'sari': 17.405626780626783} Flesh Reading Ease: 46.85 ---------------------------------------- Source: ['Soll ich mich ganz der Erziehung meiner Kinder widmen oder mich lieber auf die Arbeit konzentrieren?'] Prediction: ['Eine Mutter hat sich in der Schweiz zu einer Erziehung meiner Kinder widmen oder mich lieber auf die Arbeit konzentrieren.\nDie Kinder wollen sich ganz der Erziehung meiner widmen oder mich lieber auf die Arbeit konzentrieren.\nDie Kinder wollen sich ganz der Erziehung widmen oder mich lieber auf die Arbeit konzentrieren.'] Label: [['Soll ich mich ganz um die Erziehung der Kinder kümmern oder lieber um die Arbeit?']] Sacrebleu: {'score': 2.014497422069854, 'counts': [10, 1, 0, 0], 'totals': [54, 53, 52, 51], 'precisions': [18.51851851851852, 1.8867924528301887, 0.9615384615384616, 0.49019607843137253], 'bp': 1.0, 'sys_len': 54, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.18518518518518517, 0.018867924528301886, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.375, 'translation_length': 54, 'reference_length': 16} Rouge: {'rouge1': 0.29850746268656714, 'rouge2': 0.030769230769230767, 'rougeL': 0.23880597014925373, 'rougeLsum': 0.20895522388059706} Sari: {'sari': 19.780251141552515} Flesh Reading Ease: 63.55 ---------------------------------------- Source: ['Sie möchten genügend Zeit mit den Kindern verbringen und einen verantwortungsvollen Job, der sie herausfordert und Spaß macht.'] Prediction: ['Eine Frau hat einen verantwortungsvollen Job, der sie herausfordert und Spaß macht.\nSie möchte sich mit den Kindern verbringen und einen verantwortungsvollen Job, der sie herausfordert und Spaß macht.'] Label: [['Sie möchten genügend Zeit mit den Kindern verbringen und einen guten Beruf haben, der Spaß macht.']] Sacrebleu: {'score': 19.568336427344597, 'counts': [12, 8, 5, 3], 'totals': [33, 32, 31, 30], 'precisions': [36.36363636363637, 25.0, 16.129032258064516, 10.0], 'bp': 1.0, 'sys_len': 33, 'ref_len': 18} Bleu: {'bleu': 0.19568336427344607, 'precisions': [0.36363636363636365, 0.25, 0.16129032258064516, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 33, 'reference_length': 18} Rouge: {'rouge1': 0.45833333333333326, 'rouge2': 0.3043478260869565, 'rougeL': 0.45833333333333326, 'rougeLsum': 0.45833333333333326} Sari: {'sari': 17.438271604938272} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['In Deutschland versucht ein Großteil der Mütter, dieses Dilemma durch Teilzeitarbeit zu lösen.'] Prediction: ['In Deutschland versucht ein Großteil der Mütter, dieses Dilemma durch Teilzeitarbeit zu lösen.\nDas ist ein Teil der Mütter, der in Deutschland durch Teilzeitarbeit zu lösen.'] Label: [['In Deutschland versucht ein Großteil der Mütter, dieses Problem durch Teilzeitarbeit zu lösen.']] Sacrebleu: {'score': 37.80850935680652, 'counts': [14, 12, 10, 8], 'totals': [30, 29, 28, 27], 'precisions': [46.666666666666664, 41.37931034482759, 35.714285714285715, 29.62962962962963], 'bp': 1.0, 'sys_len': 30, 'ref_len': 15} Bleu: {'bleu': 0.3780850935680653, 'precisions': [0.4666666666666667, 0.41379310344827586, 0.35714285714285715, 0.2962962962962963], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 30, 'reference_length': 15} Rouge: {'rouge1': 0.6382978723404255, 'rouge2': 0.5777777777777778, 'rougeL': 0.6382978723404255, 'rougeLsum': 0.6382978723404255} Sari: {'sari': 62.98466151539615} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Zwei Drittel der arbeitenden Mütter sind teilzeitbeschäftigt, bei den Vätern sind es nur sechs Prozent.'] Prediction: ['Zwei Drittel der arbeitenden Mütter sind teilzeitbeschäftigt.\nZwei Drittel der arbeitenden Mütter sind teilzeitbeschäftigt.'] Label: [['Zwei Drittel der arbeitenden Mütter sind teilzeitbeschäftigt, von den Vätern nur sechs Prozent.']] Sacrebleu: {'score': 38.50322886878711, 'counts': [8, 6, 5, 4], 'totals': [16, 15, 14, 13], 'precisions': [50.0, 40.0, 35.714285714285715, 30.76923076923077], 'bp': 1.0, 'sys_len': 16, 'ref_len': 15} Bleu: {'bleu': 0.3850322886878713, 'precisions': [0.5, 0.4, 0.35714285714285715, 0.3076923076923077], 'brevity_penalty': 1.0, 'length_ratio': 1.0666666666666667, 'translation_length': 16, 'reference_length': 15} Rouge: {'rouge1': 0.5294117647058824, 'rouge2': 0.5, 'rougeL': 0.5294117647058824, 'rougeLsum': 0.5294117647058824} Sari: {'sari': 43.62643578141316} Flesh Reading Ease: 38.45 ---------------------------------------- Source: ['Mütter, die Vollzeit arbeiten, werden oft als Rabenmütter bezeichnet, weil sie wenig Zeit für die Kinder haben.'] Prediction: ['Mütter, die Vollzeit arbeiten, werden oft als Rabenmütter bezeichnet, weil sie wenig Zeit für die Kinder haben haben.\nDie Rabenmütter werden oft als Rabenmütter bezeichnet, weil sie wenig Zeit für die Kinder haben.'] Label: [['Mütter, die Vollzeit arbeiten, werden oft als Rabenmütter beschimpft, weil sie wenig Zeit für ihre Kinder haben.']] Sacrebleu: {'score': 37.61543831894952, 'counts': [19, 16, 13, 10], 'totals': [39, 38, 37, 36], 'precisions': [48.717948717948715, 42.10526315789474, 35.13513513513514, 27.77777777777778], 'bp': 1.0, 'sys_len': 39, 'ref_len': 21} Bleu: {'bleu': 0.37615438318949523, 'precisions': [0.48717948717948717, 0.42105263157894735, 0.35135135135135137, 0.2777777777777778], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 39, 'reference_length': 21} Rouge: {'rouge1': 0.6101694915254238, 'rouge2': 0.5263157894736843, 'rougeL': 0.6101694915254238, 'rougeLsum': 0.6101694915254238} Sari: {'sari': 61.43496951920865} Flesh Reading Ease: 58.2 ---------------------------------------- Source: ['Hausfrauen werden von anderen arbeitenden Müttern belächelt.'] Prediction: ['In der Schweiz werden immer mehr Menschen von arbeitenden Müttern belächelt.\nDie Frauen werden von anderen arbeitenden Müttern belächelt.'] Label: [['Hausfrauen werden oft von anderen arbeitenden Müttern belächelt.']] Sacrebleu: {'score': 23.253775401768095, 'counts': [7, 5, 4, 3], 'totals': [21, 20, 19, 18], 'precisions': [33.333333333333336, 25.0, 21.05263157894737, 16.666666666666668], 'bp': 1.0, 'sys_len': 21, 'ref_len': 9} Bleu: {'bleu': 0.23253775401768095, 'precisions': [0.3333333333333333, 0.25, 0.21052631578947367, 0.16666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 21, 'reference_length': 9} Rouge: {'rouge1': 0.48484848484848486, 'rouge2': 0.3870967741935484, 'rougeL': 0.48484848484848486, 'rougeLsum': 0.48484848484848486} Sari: {'sari': 45.93915343915344} Flesh Reading Ease: 53.5 ---------------------------------------- Source: ['Dabei sollte jeder frei und ohne Druck entscheiden können, wie er oder sie sein Familien- und Berufsleben gestalten möchte.'] Prediction: ['Ein Mann sollte frei und ohne Druck entscheiden können, wie er oder sie sein Familien und Berufsleben gestalten möchte.\nDie Polizei hatte den Mann frei und ohne Druck entscheiden.'] Label: [['Dabei sollte jeder frei entscheiden können, wie er oder sie sein Familienleben und Berufsleben gestalten möchte.']] Sacrebleu: {'score': 33.12824216936373, 'counts': [15, 11, 9, 7], 'totals': [32, 31, 30, 29], 'precisions': [46.875, 35.483870967741936, 30.0, 24.137931034482758], 'bp': 1.0, 'sys_len': 32, 'ref_len': 18} Bleu: {'bleu': 0.3312824216936373, 'precisions': [0.46875, 0.3548387096774194, 0.3, 0.2413793103448276], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 32, 'reference_length': 18} Rouge: {'rouge1': 0.6122448979591837, 'rouge2': 0.46808510638297873, 'rougeL': 0.6122448979591837, 'rougeLsum': 0.6122448979591837} Sari: {'sari': 44.75002882201206} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['Seit der Einführung des Elterngeldes im Jahr 2007 nehmen mehr Väter Elternzeit, aber es sind meistens maximal zwei Monate.'] Prediction: ['Seit der Einführung des Elterngeldes im Jahr 2007 nehmen mehr Väter Elternzeit.\nSeit der Einführung des Elterngeldes im Jahr 2007 nehmen mehr Väter Elternzeit.\nSeit der Einführung des Elterngeldes im Jahr 2007 nehmen mehr Väter Elternzeit, aber es sind meistens maximal zwei Monate.'] Label: [['Obwohl seit der Einführung des Elterngeldes im Jahr 2007 mehr Väter Elternzeit nehmen, sind es meistens nur zwei Monate.']] Sacrebleu: {'score': 18.52368615356477, 'counts': [18, 10, 7, 4], 'totals': [47, 46, 45, 44], 'precisions': [38.297872340425535, 21.73913043478261, 15.555555555555555, 9.090909090909092], 'bp': 1.0, 'sys_len': 47, 'ref_len': 21} Bleu: {'bleu': 0.18523686153564775, 'precisions': [0.3829787234042553, 0.21739130434782608, 0.15555555555555556, 0.09090909090909091], 'brevity_penalty': 1.0, 'length_ratio': 2.238095238095238, 'translation_length': 47, 'reference_length': 21} Rouge: {'rouge1': 0.5428571428571428, 'rouge2': 0.35294117647058826, 'rougeL': 0.5142857142857143, 'rougeLsum': 0.4857142857142857} Sari: {'sari': 55.72543850535902} Flesh Reading Ease: 66.25 ---------------------------------------- Source: ['Im Väterreport 2016, einer Umfrage der Bundesregierung, gaben nur 14 Prozent der Paare an, dass sie sich Haushalt, Erziehung und Beruf gleich aufteilen.'] Prediction: ['Nur 14 Prozent der Bundesregierung gaben nur 14 Prozent der Paare an, dass sie sich Haushalt, Erziehung und Beruf gleich aufteilen.\nDie Bundesregierung hatte im Väterreport 2016 14 Prozent der Paare an, dass sie sich Haushalt, Erziehung und Beruf gleich aufteilen.'] Label: [['Im Väterreport 2016, einer Umfrage der Bundesregierung, sagten nur 14 Prozent der Paare, dass sie sich Haushalt, Erziehung und Beruf gleich aufteilen.']] Sacrebleu: {'score': 33.806326281856634, 'counts': [23, 17, 13, 11], 'totals': [47, 46, 45, 44], 'precisions': [48.93617021276596, 36.95652173913044, 28.88888888888889, 25.0], 'bp': 1.0, 'sys_len': 47, 'ref_len': 27} Bleu: {'bleu': 0.3380632628185662, 'precisions': [0.48936170212765956, 0.3695652173913043, 0.28888888888888886, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.7407407407407407, 'translation_length': 47, 'reference_length': 27} Rouge: {'rouge1': 0.6153846153846153, 'rouge2': 0.5079365079365079, 'rougeL': 0.523076923076923, 'rougeLsum': 0.6153846153846153} Sari: {'sari': 32.397676037189896} Flesh Reading Ease: 60.05 ---------------------------------------- Source: ['Feiertage sind jedes Jahr wiederkehrende Tage, an denen bestimmte religiöse oder politische Ereignisse gefeiert werden.'] Prediction: ['Jedes Jahr wurde wiederkehrende Tage eine Wiederkehrende religiöse oder politische Ereignisse gefeiert.\nDie bestimmten religiöse oder politische Ereignisse sind jedes Jahr wiederkehrende Tage.'] Label: [['Feiertage erinnern an bestimmte religiöse oder politische Ereignisse.']] Sacrebleu: {'score': 9.970222994544457, 'counts': [5, 3, 2, 1], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 12.5, 8.695652173913043, 4.545454545454546], 'bp': 1.0, 'sys_len': 25, 'ref_len': 9} Bleu: {'bleu': 0.09970222994544457, 'precisions': [0.2, 0.125, 0.08695652173913043, 0.045454545454545456], 'brevity_penalty': 1.0, 'length_ratio': 2.7777777777777777, 'translation_length': 25, 'reference_length': 9} Rouge: {'rouge1': 0.29411764705882354, 'rouge2': 0.25, 'rougeL': 0.29411764705882354, 'rougeLsum': 0.29411764705882354} Sari: {'sari': 41.39985380116959} Flesh Reading Ease: 10.55 ---------------------------------------- Source: ['Es gibt Gedenktage und freudige Feste, zu denen je nach Anlass unterschiedliche Zeremonien und Bräuche gehören.'] Prediction: ['Die Schweizer Feste sind unterschiedliche Zeremonien und Bräuche gehören.\nDie Gedenktage und freudige Feste sind gedenkt und freudig.\nDie Schweizer Gemeinde hatte sich mit dem Anlass zu unterschiedlichen Zeremonien und Bräuche gehören.'] Label: [['Je nach Anlass gehören dazu auch Bräuche.']] Sacrebleu: {'score': 1.493369524819332, 'counts': [4, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [11.428571428571429, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.11428571428571428, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.375, 'translation_length': 35, 'reference_length': 8} Rouge: {'rouge1': 0.22222222222222227, 'rouge2': 0.09302325581395347, 'rougeL': 0.17777777777777776, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 31.79193899782135} Flesh Reading Ease: 40.6 ---------------------------------------- Source: ['Wenn die Feiertage nicht auf das Wochenende fallen, freuen sich insbesondere die Arbeitnehmer und Schüler über einen zusätzlichen freien Tag.'] Prediction: ['Die Feiertage nicht auf das Wochenende fallen nur auf das Wochenende.\nDie Arbeitnehmer und Schüler freuen sich über einen zusätzlichen freien Tag.'] Label: [['Wenn das Datum der Feiertage auf einen Samstag oder Sonntag fällt, gibt es weniger freie Tage.']] Sacrebleu: {'score': 2.352622489487909, 'counts': [5, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [20.833333333333332, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.20833333333333334, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 24, 'reference_length': 18} Rouge: {'rouge1': 0.19512195121951217, 'rouge2': 0.0, 'rougeL': 0.14634146341463414, 'rougeLsum': 0.14634146341463414} Sari: {'sari': 31.111111111111107} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Einige Feiertage haben ein festgelegtes Datum, andere sind beweglich. Sie orientieren sich oftmals am Kirchenjahr und finden immer an einem anderen Datum statt.'] Prediction: ['Einige Feiertage haben ein festgelegtes Datum, andere sind beweglich.\nSie orientieren sich am Kirchenjahr und finden immer an einem anderen Datum statt.\nEinige Feiertage haben ein festgelegtes Datum, andere sind beweglich.'] Label: [['Einige Feiertage haben ein festgelegtes Datum.\nAndere finden immer an einem anderen Datum statt, das durch das Kirchenjahr bestimmt wird.']] Sacrebleu: {'score': 30.213753973567677, 'counts': [17, 11, 9, 7], 'totals': [36, 35, 34, 33], 'precisions': [47.22222222222222, 31.428571428571427, 26.470588235294116, 21.21212121212121], 'bp': 1.0, 'sys_len': 36, 'ref_len': 23} Bleu: {'bleu': 0.3021375397356768, 'precisions': [0.4722222222222222, 0.3142857142857143, 0.2647058823529412, 0.21212121212121213], 'brevity_penalty': 1.0, 'length_ratio': 1.565217391304348, 'translation_length': 36, 'reference_length': 23} Rouge: {'rouge1': 0.5882352941176471, 'rouge2': 0.4897959183673469, 'rougeL': 0.5490196078431372, 'rougeLsum': 0.5490196078431372} Sari: {'sari': 55.05027652086475} Flesh Reading Ease: 35.15 ---------------------------------------- Source: ['In überwiegend katholischen Bundesländern gibt es zusätzliche kirchliche Feiertage wie beispielsweise das Fest der Heiligen drei Könige am 6. Januar, Fronleichnam, Allerheiligen (1. November) und in einigen Regionen auch Mariä Himmelfahrt.'] Prediction: ['Drei Könige feierten am 6.\nJanuar, Fronleichnam, Allerheiligen (1.\nNovember) und in einigen Regionen auch Mariä Himmelfahrt.\nIn überwiegend katholischen Bundesländern gibt es zusätzliche kirchliche Feiertage wie beispielsweise das Fest der Heiligen drei Könige am 6.\nJanuar, Fronleichnam, Allerheiligen (1.\nNovember) und in einigen Regionen auch Mariä Himmelfahrt.'] Label: [['In einigen Bundesländern gibt es zusätzliche kirchliche Feiertage wie das Fest der Heiligen drei Könige am 6.\nJanuar, Fronleichnam oder Allerheiligen (1.\nNovember).']] Sacrebleu: {'score': 34.39001595497927, 'counts': [28, 22, 19, 16], 'totals': [62, 61, 60, 59], 'precisions': [45.16129032258065, 36.0655737704918, 31.666666666666668, 27.11864406779661], 'bp': 1.0, 'sys_len': 62, 'ref_len': 29} Bleu: {'bleu': 0.3439001595497927, 'precisions': [0.45161290322580644, 0.36065573770491804, 0.31666666666666665, 0.2711864406779661], 'brevity_penalty': 1.0, 'length_ratio': 2.1379310344827585, 'translation_length': 62, 'reference_length': 29} Rouge: {'rouge1': 0.6410256410256411, 'rouge2': 0.5526315789473684, 'rougeL': 0.6410256410256411, 'rougeLsum': 0.6410256410256411} Sari: {'sari': 57.77070304238799} Flesh Reading Ease: 37.45 ---------------------------------------- Source: ['Noch mehr Feiertage hat die Stadt Augsburg in Bayern.'] Prediction: ['Die Stadt Augsburg hat sich am Sonntagabend eine neue Woche in Bayern geschlossen.\nDie Stadt Augsburg hat noch mehr Feiertage in Bayern.\nDie Stadt Augsburg hat noch mehr Feiertage in Bayern.'] Label: [['Noch besser haben es die Menschen in der Stadt Augsburg.']] Sacrebleu: {'score': 2.5889065173943995, 'counts': [4, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [11.764705882352942, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.090909090909091, 'translation_length': 34, 'reference_length': 11} Rouge: {'rouge1': 0.24390243902439024, 'rouge2': 0.05128205128205128, 'rougeL': 0.1951219512195122, 'rougeLsum': 0.14634146341463414} Sari: {'sari': 50.297619047619044} Flesh Reading Ease: 76.1 ---------------------------------------- Source: ['Dort gibt es mit dem Augsburger Friedensfest am 8. August, den einzigen gesetzlichen Feiertag in Deutschland, der nur in einer Stadt gilt.'] Prediction: ['Am 8.\nAugust wurde in Deutschland ein Friedensfest gefeiert.\nDas feierten am 8.\nAugust in einer Stadt.\nDie Festtage wurde nur in einer Stadt gefeiert.'] Label: [['Sie haben mit dem Augsburger Friedensfest als einzige Stadt in Deutschland einen zusätzlichen Feiertag.']] Sacrebleu: {'score': 3.1221929756173616, 'counts': [5, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 30, 'reference_length': 15} Rouge: {'rouge1': 0.2, 'rouge2': 0.052631578947368425, 'rougeL': 0.15, 'rougeLsum': 0.15} Sari: {'sari': 33.54130365758272} Flesh Reading Ease: 74.25 ---------------------------------------- Source: ['1918 wurde Max Planck für seine Erkenntnisse schließlich der Nobelpreis für Physik verliehen.'] Prediction: ['Max Planck wurde von der Nobelpreis für Physik verliehen.\nEr wurde von der Erkenntnisse schließlich der Nobelpreis für Physik verliehen.'] Label: [['1918 wurde Max Planck dafür der Nobelpreis für Physik verliehen.']] Sacrebleu: {'score': 24.648321974767605, 'counts': [9, 6, 4, 3], 'totals': [22, 21, 20, 19], 'precisions': [40.90909090909091, 28.571428571428573, 20.0, 15.789473684210526], 'bp': 1.0, 'sys_len': 22, 'ref_len': 11} Bleu: {'bleu': 0.24648321974767612, 'precisions': [0.4090909090909091, 0.2857142857142857, 0.2, 0.15789473684210525], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 22, 'reference_length': 11} Rouge: {'rouge1': 0.5714285714285714, 'rouge2': 0.3636363636363636, 'rougeL': 0.5142857142857143, 'rougeLsum': 0.5142857142857143} Sari: {'sari': 45.95712560386473} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Erst mit weiteren Deutungen von Albert Einstein und dem Atommodell von Niels Bohr gelang ihr zehn Jahre später der Durchbruch.'] Prediction: ['Ein zehn Jahre später der Durchbruch.\nErst mit weiteren Deutungen von Albert Einstein und dem Atommodell von Niels Bohr gelang ihr zehn Jahre später der Durchbruch.'] Label: [['Erst nach weiteren Forschungen von Albert Einstein und Niels Bohr gewann die Quantentheorie zehn Jahre später an Bedeutung.']] Sacrebleu: {'score': 14.479536157777419, 'counts': [12, 6, 3, 1], 'totals': [28, 27, 26, 25], 'precisions': [42.857142857142854, 22.22222222222222, 11.538461538461538, 4.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 19} Bleu: {'bleu': 0.1447953615777742, 'precisions': [0.42857142857142855, 0.2222222222222222, 0.11538461538461539, 0.04], 'brevity_penalty': 1.0, 'length_ratio': 1.4736842105263157, 'translation_length': 28, 'reference_length': 19} Rouge: {'rouge1': 0.5106382978723404, 'rouge2': 0.3111111111111111, 'rougeL': 0.5106382978723404, 'rougeLsum': 0.5106382978723404} Sari: {'sari': 46.41406351932667} Flesh Reading Ease: 73.4 ---------------------------------------- Source: ['Er hatte erkannt, dass elektromagnetische Strahlung nicht kontinuierlich ausgesendet wird, sondern in kleinen Energiepaketen, den sogenannten Quanten.'] Prediction: ['Ein Forscher hatte erkannt, dass elektromagnetische Strahlung nicht kontinuierlich ausgesendet wird, sondern in kleinen Energiepaketen, den sogenannten Quanten.\nDie Strahlung wird nicht kontinuierlich ausgesendet, sondern in kleinen Energiepaketen, den sogenannten Quanten.'] Label: [['Sie besteht aus kleinen Energiepaketen, den Quanten.\nMax Planck fand während seiner Forschung heraus, dass elektromagnetische Strahlung nicht konstant ist.']] Sacrebleu: {'score': 16.88502300099971, 'counts': [12, 8, 5, 3], 'totals': [38, 37, 36, 35], 'precisions': [31.57894736842105, 21.62162162162162, 13.88888888888889, 8.571428571428571], 'bp': 1.0, 'sys_len': 38, 'ref_len': 24} Bleu: {'bleu': 0.16885023000999705, 'precisions': [0.3157894736842105, 0.21621621621621623, 0.1388888888888889, 0.08571428571428572], 'brevity_penalty': 1.0, 'length_ratio': 1.5833333333333333, 'translation_length': 38, 'reference_length': 24} Rouge: {'rouge1': 0.30769230769230765, 'rouge2': 0.2, 'rougeL': 0.23076923076923075, 'rougeLsum': 0.30769230769230765} Sari: {'sari': 50.21808651675946} Flesh Reading Ease: 24.1 ---------------------------------------- Source: ['Für ein Jahr studierte er an der Friedrich-Wilhelms-Universität in Berlin, wo er später promovierte. Im Jahr 1875 begann er sein Studium an der Münchner Ludwig-Maximilians-Universität.'] Prediction: ['Für ein Jahr studierte er an der Friedrich-Wilhelms-Universität in Berlin, wo er später promovierte.\nIm Jahr 1875 begann er sein Studium an der Münchner Ludwig-Maximilians-Universität.'] Label: [['Er studierte an der Ludwig-Maximilians-Universität in München und der Friedrich-Wilhelms-Universität in Berlin.']] Sacrebleu: {'score': 11.002068284361833, 'counts': [9, 4, 2, 1], 'totals': [28, 27, 26, 25], 'precisions': [32.142857142857146, 14.814814814814815, 7.6923076923076925, 4.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 13} Bleu: {'bleu': 0.11002068284361832, 'precisions': [0.32142857142857145, 0.14814814814814814, 0.07692307692307693, 0.04], 'brevity_penalty': 1.0, 'length_ratio': 2.1538461538461537, 'translation_length': 28, 'reference_length': 13} Rouge: {'rouge1': 0.6037735849056604, 'rouge2': 0.3921568627450981, 'rougeL': 0.339622641509434, 'rougeLsum': 0.45283018867924524} Sari: {'sari': 41.30890296144534} Flesh Reading Ease: 38.8 ---------------------------------------- Source: ['1867 zog die Familie nach München, wo Max das angesehene Maximiliansgymnasium besuchte.'] Prediction: ['Die Familie von Maximiliansgymnasium in München wurde von der Familie von 1867 nach München gesucht.\nDie Familie wurde von der Familie nach München nach München gesucht.\nDie Familie wurde von der Familie nach München nach München gesucht.'] Label: [['1867 zog die Familie Planck nach München, wo Max das Gymnasium besuchte.']] Sacrebleu: {'score': 2.310428454615111, 'counts': [5, 1, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [12.5, 2.5641025641025643, 1.3157894736842106, 0.6756756756756757], 'bp': 1.0, 'sys_len': 40, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.02564102564102564, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.857142857142857, 'translation_length': 40, 'reference_length': 14} Rouge: {'rouge1': 0.21428571428571427, 'rouge2': 0.11111111111111112, 'rougeL': 0.21428571428571427, 'rougeLsum': 0.17857142857142855} Sari: {'sari': 20.8223209538999} Flesh Reading Ease: 56.55 ---------------------------------------- Source: ['Er spielte Cello und Klavier. Außerdem war er ein begeisterter Sänger.'] Prediction: ['Ein begeisterter Sänger hat sich im Alter von 99 Jahren mit einem grossen Sänger verloren.\nEr war ein begeisterter Sänger.\nEr spielte Cello und Klavier.'] Label: [['Er sang gern, spielte Cello und Klavier.']] Sacrebleu: {'score': 13.083737883508872, 'counts': [6, 4, 3, 2], 'totals': [28, 27, 26, 25], 'precisions': [21.428571428571427, 14.814814814814815, 11.538461538461538, 8.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 9} Bleu: {'bleu': 0.13083737883508872, 'precisions': [0.21428571428571427, 0.14814814814814814, 0.11538461538461539, 0.08], 'brevity_penalty': 1.0, 'length_ratio': 3.111111111111111, 'translation_length': 28, 'reference_length': 9} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.1818181818181818, 'rougeL': 0.2857142857142857, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 55.55555555555555} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['Deshalb dachte er darüber nach, Musik zu studieren, entschied sich aber für das Fach Physik.'] Prediction: ['Deshalb dachte nach, Musik zu studieren, entschied sich aber für das Fach Physik.\nDas Fach Physik entschied sich aber für das Fach Physik.'] Label: [['Zuerst dachte er darüber nach, Musik zu studieren, entschied sich aber für das Fach Physik.']] Sacrebleu: {'score': 49.719876934333, 'counts': [15, 13, 12, 11], 'totals': [27, 26, 25, 24], 'precisions': [55.55555555555556, 50.0, 48.0, 45.833333333333336], 'bp': 1.0, 'sys_len': 27, 'ref_len': 18} Bleu: {'bleu': 0.49719876934333024, 'precisions': [0.5555555555555556, 0.5, 0.48, 0.4583333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 27, 'reference_length': 18} Rouge: {'rouge1': 0.6190476190476191, 'rouge2': 0.5499999999999999, 'rougeL': 0.6190476190476191, 'rougeLsum': 0.6190476190476191} Sari: {'sari': 33.68902487800976} Flesh Reading Ease: 86.6 ---------------------------------------- Source: ['Max Planck war zunächst Professor in seiner Geburtsstadt Kiel und wechselte dann nach Berlin.'] Prediction: ['Der frühere US-Bundesstaat Berlin hat einen neuen Professor entdeckt.\nMax Planck war zunächst Professor in seiner Geburtsstadt Kiel und wechselte dann nach Berlin.'] Label: [['Später war er als Professor in Kiel und Berlin tätig.']] Sacrebleu: {'score': 4.899864500847875, 'counts': [7, 2, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [28.0, 8.333333333333334, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.28, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.272727272727273, 'translation_length': 25, 'reference_length': 11} Rouge: {'rouge1': 0.3157894736842105, 'rouge2': 0.1111111111111111, 'rougeL': 0.3157894736842105, 'rougeLsum': 0.3157894736842105} Sari: {'sari': 40.71969696969697} Flesh Reading Ease: 57.35 ---------------------------------------- Source: ['Am 14. Dezember 1900 stellte er auf der Sitzung der Deutschen Physikalischen Gesellschaft seine Quantentheorie vor.'] Prediction: ['Der Deutschen Physikalische Gesellschaft hatte am 14.\nDezember 1900 seine Quantentheorie vorgefunden.\nAm 14.\nDezember 1900 stellte er auf der Sitzung der Deutschen Physikalischen Gesellschaft seine Quantentheorie vor.'] Label: [['Am 14.\nDezember 1900 stellte er seine Theorie vor.']] Sacrebleu: {'score': 20.06893275288755, 'counts': [10, 7, 5, 4], 'totals': [32, 31, 30, 29], 'precisions': [31.25, 22.580645161290324, 16.666666666666668, 13.793103448275861], 'bp': 1.0, 'sys_len': 32, 'ref_len': 11} Bleu: {'bleu': 0.20068932752887542, 'precisions': [0.3125, 0.22580645161290322, 0.16666666666666666, 0.13793103448275862], 'brevity_penalty': 1.0, 'length_ratio': 2.909090909090909, 'translation_length': 32, 'reference_length': 11} Rouge: {'rouge1': 0.43243243243243246, 'rouge2': 0.2857142857142857, 'rougeL': 0.43243243243243246, 'rougeLsum': 0.43243243243243246} Sari: {'sari': 51.67147034252297} Flesh Reading Ease: 42.0 ---------------------------------------- Source: ['Dieser Tag gilt als Geburtsstunde der Quantenphysik und der Beginn der modernen Physik.'] Prediction: ['Dieser Tag gilt als Geburtsstunde der Quantenphysik und der Beginn der modernen Physik.\nDas gilt als Geburtsstunde der Quantenphysik und der Beginn der modernen Physik.'] Label: [['Dieser Tag gilt als Geburtsstunde der Quantenphysik.']] Sacrebleu: {'score': 21.84971203531727, 'counts': [8, 6, 5, 4], 'totals': [27, 26, 25, 24], 'precisions': [29.62962962962963, 23.076923076923077, 20.0, 16.666666666666668], 'bp': 1.0, 'sys_len': 27, 'ref_len': 8} Bleu: {'bleu': 0.21849712035317273, 'precisions': [0.2962962962962963, 0.23076923076923078, 0.2, 0.16666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 3.375, 'translation_length': 27, 'reference_length': 8} Rouge: {'rouge1': 0.43750000000000006, 'rouge2': 0.4, 'rougeL': 0.43750000000000006, 'rougeLsum': 0.43750000000000006} Sari: {'sari': 54.26473553728811} Flesh Reading Ease: 62.2 ---------------------------------------- Source: ['Nach ihrer Vorstellung wurde die Quantentheorie heftig diskutiert.'] Prediction: ['Die US-Forscherininin Christina Long (34) wurde am Sonntagabend von der FBI heftig diskutiert.\nNun wurde die Veranstaltung des Opfers heftig diskutiert.\nNun wurde die Veranstaltung heftig diskutiert.'] Label: [['Die Quantentheorie wurde viel diskutiert.']] Sacrebleu: {'score': 2.7588924449082466, 'counts': [4, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [12.5, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.333333333333333, 'translation_length': 32, 'reference_length': 6} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.0, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 47.91666666666667} Flesh Reading Ease: 54.0 ---------------------------------------- Source: ['Ein Jahr nach seinem Tod wurde die Kaiser-Wilhelm-Gesellschaft zur Förderung der Wissenschaften, deren Präsident er von 1930 bis 1937 war, ihm zu Ehren in Max-Planck-Gesellschaft umbenannt.'] Prediction: ['Ein Jahr nach seinem Tod wurde die Kaiser-Wilhelm-Gesellschaft zur Förderung der Wissenschaften, deren Präsident er von 1930 bis 1937 war, ihm zu Ehren in Max-Planck-Gesellschaft umbenannt.\nDer Präsident wurde nach seinem Tod nach seinem Tod zur Förderung der Wissenschaften, deren Präsident er von 1930 bis 1937 war, ihm zu Ehren in Max-Planck-Gesellschaft umbenannt.'] Label: [['Ein Jahr nach seinem Tod wurde die Kaiser-Wilhelm-Gesellschaft zur Förderung der Wissenschaften ihm zu Ehren in Max-Planck-Gesellschaft umbenannt.']] Sacrebleu: {'score': 27.556468606117306, 'counts': [19, 17, 15, 13], 'totals': [59, 58, 57, 56], 'precisions': [32.20338983050848, 29.310344827586206, 26.31578947368421, 23.214285714285715], 'bp': 1.0, 'sys_len': 59, 'ref_len': 19} Bleu: {'bleu': 0.27556468606117307, 'precisions': [0.3220338983050847, 0.29310344827586204, 0.2631578947368421, 0.23214285714285715], 'brevity_penalty': 1.0, 'length_ratio': 3.1052631578947367, 'translation_length': 59, 'reference_length': 19} Rouge: {'rouge1': 0.5287356321839081, 'rouge2': 0.49411764705882355, 'rougeL': 0.5287356321839081, 'rougeLsum': 0.5287356321839081} Sari: {'sari': 66.20848812338174} Flesh Reading Ease: 48.2 ---------------------------------------- Source: ['Die Max-Planck-Gesellschaft hat sich zur bedeutendsten Forschungseinrichtung außerhalb einer Universität entwickelt.'] Prediction: ['Die Max-Planck-Gesellschaft hat sich zur bedeutendsten Forschungseinrichtung entwickelt.\nDie Max-Planck-Gesellschaft hat sich zur bedeutendsten Forschungseinrichtung außerhalb einer Universität entwickelt.'] Label: [['Sie ist die bedeutendste deutsche Forschungseinrichtung außerhalb einer Universität.']] Sacrebleu: {'score': 12.021577610863728, 'counts': [5, 3, 2, 1], 'totals': [21, 20, 19, 18], 'precisions': [23.80952380952381, 15.0, 10.526315789473685, 5.555555555555555], 'bp': 1.0, 'sys_len': 21, 'ref_len': 10} Bleu: {'bleu': 0.12021577610863723, 'precisions': [0.23809523809523808, 0.15, 0.10526315789473684, 0.05555555555555555], 'brevity_penalty': 1.0, 'length_ratio': 2.1, 'translation_length': 21, 'reference_length': 10} Rouge: {'rouge1': 0.3888888888888889, 'rouge2': 0.29411764705882354, 'rougeL': 0.3888888888888889, 'rougeLsum': 0.3888888888888889} Sari: {'sari': 46.9047619047619} Flesh Reading Ease: 6.7 ---------------------------------------- Source: ['Sie verläuft etwa 85 Kilometer von Schweigen-Rechtenbach im Süden an der Grenze zum französischen Elsass bis nach Bockenheim im Norden des Bundeslandes Rheinland-Pfalz.'] Prediction: ['Eine Grenze-Flotte ist in der Schweiz zum französischen Elsass gekommen.\nEs ist ein französischer Elsass, der in der Schweiz an der Grenze zum französischen Elsass verläuft.\nDie Grenze-Flotte ist bis nach Bockenheim im Norden des Bundeslandes Rheinland-Pfalz.'] Label: [['Sie verläuft etwa 85 Kilometer von Schweigen-Rechtenbach im Süden bis nach Bockenheim im Norden des Bundeslandes Rheinland-Pfalz.']] Sacrebleu: {'score': 19.28243190846078, 'counts': [10, 8, 7, 6], 'totals': [41, 40, 39, 38], 'precisions': [24.390243902439025, 20.0, 17.94871794871795, 15.789473684210526], 'bp': 1.0, 'sys_len': 41, 'ref_len': 18} Bleu: {'bleu': 0.1928243190846078, 'precisions': [0.24390243902439024, 0.2, 0.1794871794871795, 0.15789473684210525], 'brevity_penalty': 1.0, 'length_ratio': 2.2777777777777777, 'translation_length': 41, 'reference_length': 18} Rouge: {'rouge1': 0.3384615384615385, 'rouge2': 0.28571428571428575, 'rougeL': 0.3384615384615385, 'rougeLsum': 0.3384615384615385} Sari: {'sari': 27.791869725946803} Flesh Reading Ease: 56.55 ---------------------------------------- Source: ['Neben den zahlreichen Weinbergen ist die Region auch bekannt für die Mandelbäume, die links und rechts der Straßen stehen.'] Prediction: ['Die zahlreichen Weinbergen stehen auch bekannt für die Mandelbäume.\nDie Mandelbäume stehen auch bekannt für die links und rechts der Straßen.'] Label: [['Neben den Weinbergen ist die Region auch bekannt für Mandelbäume.']] Sacrebleu: {'score': 8.383924775392588, 'counts': [7, 3, 1, 0], 'totals': [23, 22, 21, 20], 'precisions': [30.434782608695652, 13.636363636363637, 4.761904761904762, 2.5], 'bp': 1.0, 'sys_len': 23, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.30434782608695654, 0.13636363636363635, 0.047619047619047616, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.090909090909091, 'translation_length': 23, 'reference_length': 11} Rouge: {'rouge1': 0.42105263157894735, 'rouge2': 0.2222222222222222, 'rougeL': 0.3684210526315789, 'rougeLsum': 0.42105263157894735} Sari: {'sari': 34.9146848421787} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['Außerdem wachsen bedingt durch das warme Klima auch Feigen, Kiwis und andere für Deutschland nicht übliche Obstsorten.'] Prediction: ['Die Schweiz wird durch ein Klima eingestellt.\nDie Obstsorte werden auch Feigen, Kiwis und andere für Deutschland nicht übliche Obstsorten bedingt.'] Label: [['Außerdem wachsen in der Region Südfrüchte wie Feigen oder Kiwis.']] Sacrebleu: {'score': 2.0705706652424007, 'counts': [3, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [12.5, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1818181818181817, 'translation_length': 24, 'reference_length': 11} Rouge: {'rouge1': 0.1142857142857143, 'rouge2': 0.0, 'rougeL': 0.1142857142857143, 'rougeLsum': 0.1142857142857143} Sari: {'sari': 30.624999999999996} Flesh Reading Ease: 64.2 ---------------------------------------- Source: ['Zwischen März und Oktober feiern Einheimische und Touristen die für die Region typischen Weinfeste.'] Prediction: ['Die Schweiz hat einen starken Sommerbeginn beschlossen, dass Touristen in der Schweiz einheimische und Touristen feiern.\nDie Schweiz hat einen starken Sommerbeginn beschlossen, dass sie sich mit dem Sommerbeginn feiern.\nDie Schweiz hat einen starken Sommerbeginn beschlossen, das Sommerbeginn zu erreichen.'] Label: [['Zwischen März und Oktober feiern Einheimische und Touristen die typischen Weinfeste.']] Sacrebleu: {'score': 1.8486822913873464, 'counts': [4, 1, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [8.51063829787234, 2.1739130434782608, 1.1111111111111112, 0.5681818181818182], 'bp': 1.0, 'sys_len': 47, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.0851063829787234, 0.021739130434782608, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.9166666666666665, 'translation_length': 47, 'reference_length': 12} Rouge: {'rouge1': 0.18867924528301888, 'rouge2': 0.07843137254901962, 'rougeL': 0.15094339622641506, 'rougeLsum': 0.18867924528301888} Sari: {'sari': 22.52178649237473} Flesh Reading Ease: 55.15 ---------------------------------------- Source: ['Er ist das größte zusammenhängende Waldgebiet Deutschlands und bietet schöne Wandermöglichkeiten mit zahlreichen Hütten, um Rast zu machen und lokale Köstlichkeiten zu genießen.'] Prediction: ['Ein größtes zusammenhängende Waldgebiet in Deutschland ist ein Wandermöglichkeiter.\nEr bietet schöne Wandermöglichkeiten mit zahlreichen Hütten, um Rast zu machen und lokale Köstlichkeiten zu genießen.'] Label: [['Er ist das größte Waldgebiet Deutschlands und bietet schöne Wanderwege.']] Sacrebleu: {'score': 3.652945772536268, 'counts': [7, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [25.0, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5454545454545454, 'translation_length': 28, 'reference_length': 11} Rouge: {'rouge1': 0.3555555555555555, 'rouge2': 0.09302325581395349, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.26666666666666666} Sari: {'sari': 14.107142857142858} Flesh Reading Ease: 27.1 ---------------------------------------- Source: ['Im Pfälzerwald liegen viele Burgen und Schlösser, darunter das Hambacher Schloss, ein Nationaldenkmal.'] Prediction: ['Im Pfälzerwald in Burgen wurden viele Burgen und Schlösser ein Nationaldenkmal gefunden.\nSie wurden dabei von einem Nationaldenkmal gefunden.\nDie Polizei hatte den Mannschaftswahlen einen Nationaldenkmal ausgegeben.'] Label: [['Im Pfälzerwald liegen viele Burgen und Schlösser.']] Sacrebleu: {'score': 9.605870881551784, 'counts': [7, 4, 2, 1], 'totals': [30, 29, 28, 27], 'precisions': [23.333333333333332, 13.793103448275861, 7.142857142857143, 3.7037037037037037], 'bp': 1.0, 'sys_len': 30, 'ref_len': 8} Bleu: {'bleu': 0.0960587088155178, 'precisions': [0.23333333333333334, 0.13793103448275862, 0.07142857142857142, 0.037037037037037035], 'brevity_penalty': 1.0, 'length_ratio': 3.75, 'translation_length': 30, 'reference_length': 8} Rouge: {'rouge1': 0.42105263157894735, 'rouge2': 0.3333333333333333, 'rougeL': 0.42105263157894735, 'rougeLsum': 0.42105263157894735} Sari: {'sari': 47.129700364994484} Flesh Reading Ease: 30.6 ---------------------------------------- Source: ['Kein Wunder, denn Sport im Freien hat einige Vorteile, die es in Sporthallen und Fitnessstudios nicht gibt.'] Prediction: ['Die Fitness-Vorteile im Freien sind einiges.\nEs ist kein Wunder, denn Sport im Freien hat einige Vorteile, die es nicht gibt.'] Label: [['Sport im Freien hat einige Vorteile, die es in Sporthallen und Fitnessstudios nicht gibt.']] Sacrebleu: {'score': 37.113351860218216, 'counts': [12, 10, 8, 6], 'totals': [25, 24, 23, 22], 'precisions': [48.0, 41.666666666666664, 34.78260869565217, 27.272727272727273], 'bp': 1.0, 'sys_len': 25, 'ref_len': 16} Bleu: {'bleu': 0.3711335186021823, 'precisions': [0.48, 0.4166666666666667, 0.34782608695652173, 0.2727272727272727], 'brevity_penalty': 1.0, 'length_ratio': 1.5625, 'translation_length': 25, 'reference_length': 16} Rouge: {'rouge1': 0.5555555555555556, 'rouge2': 0.47058823529411764, 'rougeL': 0.5555555555555556, 'rougeLsum': 0.5555555555555556} Sari: {'sari': 21.54183897062458} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['Die Probanden berichteten im Vergleich zu Sport in geschlossenen Räumen von mehr Erholung, mehr Energie, mehr Spaß, mehr Befriedigung und einer positiveren Einstellung zum Training.'] Prediction: ['Die Probanden berichteten im Vergleich zu Sport in geschlossenen Räumen von mehr Erholung, mehr Energie, mehr Spaß, mehr Befriedigung und einer positiveren Einstellung zum Training.\nDie Probanden berichten von mehr Erholung, mehr Energie, mehr Spaß, mehr Befriedigung und einer positiveren Einstellung zum Training.'] Label: [['Die Teilnehmer hatten mehr Spaß am Sport.\nDanach hatten sie mehr Energie und fühlten sich erholter als beim Sport in einer Halle.']] Sacrebleu: {'score': 2.8797952680604375, 'counts': [11, 3, 0, 0], 'totals': [51, 50, 49, 48], 'precisions': [21.568627450980394, 6.0, 1.0204081632653061, 0.5208333333333334], 'bp': 1.0, 'sys_len': 51, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.21568627450980393, 0.06, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.125, 'translation_length': 51, 'reference_length': 24} Rouge: {'rouge1': 0.2686567164179105, 'rouge2': 0.09230769230769229, 'rougeL': 0.20895522388059704, 'rougeLsum': 0.20895522388059704} Sari: {'sari': 39.41644562334217} Flesh Reading Ease: 41.5 ---------------------------------------- Source: ['Sportgruppen werden seit einigen Jahren immer beliebter.'] Prediction: ['Sportgruppen werden seit einigen Jahren immer beliebter.\nDie Schweizer Weltmeisterschaft hat einen grossen Auswirkungsbedingt auf den Sportgruppen.\nDie Schweizer Weltmeisterschaft hat einen grossen Auswirkungsbedingt auf den Sportgruppen.'] Label: [['Deshalb werden Sportgruppen seit einigen Jahren immer beliebter.']] Sacrebleu: {'score': 16.436148154531296, 'counts': [8, 5, 4, 3], 'totals': [30, 29, 28, 27], 'precisions': [26.666666666666668, 17.24137931034483, 14.285714285714286, 11.11111111111111], 'bp': 1.0, 'sys_len': 30, 'ref_len': 9} Bleu: {'bleu': 0.16436148154531297, 'precisions': [0.26666666666666666, 0.1724137931034483, 0.14285714285714285, 0.1111111111111111], 'brevity_penalty': 1.0, 'length_ratio': 3.3333333333333335, 'translation_length': 30, 'reference_length': 9} Rouge: {'rouge1': 0.39999999999999997, 'rouge2': 0.24242424242424246, 'rougeL': 0.34285714285714286, 'rougeLsum': 0.39999999999999997} Sari: {'sari': 61.52777777777777} Flesh Reading Ease: 48.15 ---------------------------------------- Source: ['In fast allen großen deutschen Städten sieht man regelmäßig Fitnessgruppen in Parks, die unter Anleitung eines Trainers, oft mit Musik aus Lautsprechern, ihre Übungen absolvieren, zum Beispiel beim Zirkeltraining mit kleinen Geräten oder beim Yoga.'] Prediction: ['In deutschen Parks sind regelmäßig Fitnessgruppen in Parks, die unter Anleitung eines Trainers, oft mit Musik aus Lautsprechern, ihre Übungen absolvieren, zum Beispiel beim Zirkeltraining mit kleinen Geräten oder beim Yoga.\nIn Parks sieht man regelmäßig Fitnessgruppen in Parks, die unter Anleitung eines Trainers, oft mit Musik aus Lautsprechern, ihre Übungen absolvieren, zum Beispiel beim Zirkeltraining mit kleinen Geräten oder beim Yoga.'] Label: [['In fast allen großen deutschen Städten sieht man regelmäßig Fitnessgruppen in Parks, die angeleitet von einem Trainer ihre Übungen machen, zum Beispiel beim Zirkeltraining mit kleinen Geräten oder beim Yoga.']] Sacrebleu: {'score': 25.361137068617047, 'counts': [24, 19, 16, 14], 'totals': [72, 71, 70, 69], 'precisions': [33.333333333333336, 26.760563380281692, 22.857142857142858, 20.28985507246377], 'bp': 1.0, 'sys_len': 72, 'ref_len': 33} Bleu: {'bleu': 0.2536113706861705, 'precisions': [0.3333333333333333, 0.2676056338028169, 0.22857142857142856, 0.2028985507246377], 'brevity_penalty': 1.0, 'length_ratio': 2.1818181818181817, 'translation_length': 72, 'reference_length': 33} Rouge: {'rouge1': 0.4600000000000001, 'rouge2': 0.3673469387755102, 'rougeL': 0.4600000000000001, 'rougeLsum': 0.4600000000000001} Sari: {'sari': 21.22320511857361} Flesh Reading Ease: 37.85 ---------------------------------------- Source: ['Man kann sich gegenseitig anspornen und unterstützen.'] Prediction: ['Die Polizei hat sich am Sonntagabend in der Nacht auf Sonntagabend auf Sonntagabend aufgefunden.\nDie Polizei hatte sich mit einem überraschenden Attentat aufgefunden.\nDie Polizei hatte den Mann aufgefunden, dass sie sich unterstützen.'] Label: [['Die Teilnehmer motivieren und unterstützen sich gegenseitig.']] Sacrebleu: {'score': 1.4091499441909465, 'counts': [4, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [10.81081081081081, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.10810810810810811, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.625, 'translation_length': 37, 'reference_length': 8} Rouge: {'rouge1': 0.19047619047619047, 'rouge2': 0.05, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.19047619047619047} Sari: {'sari': 50.863526570048315} Flesh Reading Ease: 52.0 ---------------------------------------- Source: ['Freunde und Bekannte treffen sich auch häufig in lockeren Gruppen für Aktivitäten im Freien wie Mountainbiken, Slacklinen – das Balancieren auf einem Spanngurt, der zwischen zwei Bäumen gespannt ist – oder in Hochseilgärten.'] Prediction: ['Freunde und Bekannte treffen sich häufig in lockeren Gruppen für Aktivitäten im Freien wie Mountainbiken, Slacklinen oder in Hochseilgärten.\nAuch in der Hochseilgärten, der zwischen zwei Bäumen gespannt ist, treffen sich Freunde und Bekannte häufig in lockeren Gruppen für Aktivitäten im Freien wie Mountainbiken, Slacklinen oder in Hochseilgärten.'] Label: [['Freunde und Bekannte treffen sich auch häufig in kleinen Gruppen für Aktivitäten im Freien wie Mountainbiken, Slacklinen – das Balancieren auf einem breiten Band, das zwischen zwei Bäumen gespannt ist – oder in Hochseilgärten.']] Sacrebleu: {'score': 32.60701435531343, 'counts': [26, 20, 15, 11], 'totals': [54, 53, 52, 51], 'precisions': [48.148148148148145, 37.735849056603776, 28.846153846153847, 21.568627450980394], 'bp': 1.0, 'sys_len': 54, 'ref_len': 37} Bleu: {'bleu': 0.3260701435531342, 'precisions': [0.48148148148148145, 0.37735849056603776, 0.28846153846153844, 0.21568627450980393], 'brevity_penalty': 1.0, 'length_ratio': 1.4594594594594594, 'translation_length': 54, 'reference_length': 37} Rouge: {'rouge1': 0.6105263157894737, 'rouge2': 0.49462365591397844, 'rougeL': 0.5894736842105263, 'rougeLsum': 0.4631578947368421} Sari: {'sari': 30.80506280694478} Flesh Reading Ease: 39.0 ---------------------------------------- Source: ['Gemeinsam macht Sport einfach mehr Spaß.'] Prediction: ['Gemeinsam macht Sport einfach mehr Spaß.\nDer Schweizer Ehemann hat einen ehemaligen Sportspieler ausgelöst.\nEr wurde dabei von einem Sportspieler aufgefunden.'] Label: [['In einer Gruppe macht der Sport meistens noch mehr Spaß.']] Sacrebleu: {'score': 6.654221263555511, 'counts': [5, 2, 1, 0], 'totals': [24, 23, 22, 21], 'precisions': [20.833333333333332, 8.695652173913043, 4.545454545454546, 2.380952380952381], 'bp': 1.0, 'sys_len': 24, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.20833333333333334, 0.08695652173913043, 0.045454545454545456, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1818181818181817, 'translation_length': 24, 'reference_length': 11} Rouge: {'rouge1': 0.3125, 'rouge2': 0.06666666666666667, 'rougeL': 0.25000000000000006, 'rougeLsum': 0.3125} Sari: {'sari': 48.05555555555554} Flesh Reading Ease: 56.0 ---------------------------------------- Source: ['Bei 22,1 Millionen Personen war die Wirbelsäule betroffen. Laut einer im Jahr 2016 veröffentlichten Statistik der Kassenärztlichen Bundesvereinigung gingen im Jahr 2015 fast die Hälfte der Deutschen wegen einer Erkrankung von Muskeln, Skelett oder Bindegewebe zum Arzt.'] Prediction: ['Die Wirbelsäule der Deutschen wurde im Jahr 2016 von 22,1 Millionen Personen betroffen.\nDie Hälfte der Deutschen sind wegen einer Erkrankung von Muskeln, Skelett oder Bindegewebe zum Arzt.'] Label: [['Laut einer im Jahr 2016 veröffentlichten Statistik der Kassenärztlichen Bundesvereinigung gingen im Jahr davor 22,1 Millionen Deutsche wegen einer Erkrankung der Wirbelsäule zum Arzt.']] Sacrebleu: {'score': 11.811895313352078, 'counts': [14, 7, 3, 0], 'totals': [31, 30, 29, 28], 'precisions': [45.16129032258065, 23.333333333333332, 10.344827586206897, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.45161290322580644, 0.23333333333333334, 0.10344827586206896, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.24, 'translation_length': 31, 'reference_length': 25} Rouge: {'rouge1': 0.5084745762711865, 'rouge2': 0.28070175438596495, 'rougeL': 0.3728813559322034, 'rougeLsum': 0.4067796610169491} Sari: {'sari': 26.3023942928521} Flesh Reading Ease: 54.85 ---------------------------------------- Source: ['Diese Volkskrankheiten haben oft starke wirtschaftliche Auswirkungen für die gesamte Bevölkerung eines Landes.'] Prediction: ['Die gesamte Bevölkerung eines Landes hat während der Corona-Pandemie wirtschaftliche Auswirkungen für die gesamte Bevölkerung eines Landes.\nDie gesamte Bevölkerung eines Landes hat oft wirtschaftliche Auswirkungen für die gesamte Bevölkerung eines Landes.'] Label: [['Sie haben oft starke wirtschaftliche Auswirkungen für die gesamte Bevölkerung eines Landes.']] Sacrebleu: {'score': 23.440058276054607, 'counts': [10, 8, 7, 6], 'totals': [34, 33, 32, 31], 'precisions': [29.41176470588235, 24.242424242424242, 21.875, 19.35483870967742], 'bp': 1.0, 'sys_len': 34, 'ref_len': 13} Bleu: {'bleu': 0.23440058276054598, 'precisions': [0.29411764705882354, 0.24242424242424243, 0.21875, 0.1935483870967742], 'brevity_penalty': 1.0, 'length_ratio': 2.6153846153846154, 'translation_length': 34, 'reference_length': 13} Rouge: {'rouge1': 0.40740740740740744, 'rouge2': 0.34615384615384615, 'rougeL': 0.40740740740740744, 'rougeLsum': 0.40740740740740744} Sari: {'sari': 42.28937986677925} Flesh Reading Ease: 23.6 ---------------------------------------- Source: ['Während es bei den sogenannten seltenen Erkrankungen weltweit oft nur einige Tausend Fälle gibt, sind andere Krankheiten sehr stark verbreitet.'] Prediction: ['Die Corona-Pandemie hat sich in der Schweiz zu einer grossen Krankheit stark verbreitet.\nDie Krankheiten sind sehr stark verbreitet.\nDie Corona-Pandemie hatte sich aufgrund der sogenannten seltenen Erkrankungen weltweit oft nur einige Tausend Fälle verkündet.'] Label: [['Krankheiten, die sehr weit verbreitet sind, werden auch Volkskrankheiten genannt.']] Sacrebleu: {'score': 1.4491339833989647, 'counts': [5, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [13.157894736842104, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.13157894736842105, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.923076923076923, 'translation_length': 38, 'reference_length': 13} Rouge: {'rouge1': 0.2040816326530612, 'rouge2': 0.0, 'rougeL': 0.12244897959183675, 'rougeLsum': 0.163265306122449} Sari: {'sari': 36.94444444444444} Flesh Reading Ease: 51.3 ---------------------------------------- Source: ['Sie führen in der Summe zu hohen Behandlungskosten und zu vielen Fehltagen, wenn die Patienten nicht arbeitsfähig sind.'] Prediction: ['Die Patienten führen in der Summe zu hohen Behandlungskosten und zu vielen Fehltagen.\nSie führen zu hohen Behandlungskosten und zu vielen Fehltagen, wenn die Patienten nicht arbeitsfähig sind.'] Label: [['Sie führen zu hohen Behandlungskosten und zu vielen Fehltagen, wenn die Patienten nicht arbeiten können.']] Sacrebleu: {'score': 42.96772810344757, 'counts': [15, 13, 12, 11], 'totals': [31, 30, 29, 28], 'precisions': [48.38709677419355, 43.333333333333336, 41.37931034482759, 39.285714285714285], 'bp': 1.0, 'sys_len': 31, 'ref_len': 17} Bleu: {'bleu': 0.42967728103447583, 'precisions': [0.4838709677419355, 0.43333333333333335, 0.41379310344827586, 0.39285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 1.8235294117647058, 'translation_length': 31, 'reference_length': 17} Rouge: {'rouge1': 0.5833333333333333, 'rouge2': 0.5652173913043479, 'rougeL': 0.5833333333333333, 'rougeLsum': 0.5833333333333333} Sari: {'sari': 66.45370648865273} Flesh Reading Ease: 49.0 ---------------------------------------- Source: ['Einige Volkskrankheiten wie zum Beispiel Herz-Kreislauf-Erkrankungen durch hohen Blutdruck oder Diabetes Typ 2 hängen mit der typischen Lebensweise in den Industrienationen zusammen und werden auch als Zivilisationskrankheiten bezeichnet.'] Prediction: ['Einige Volkskrankheiten wie Herz-Kreislauf-Erkrankungen durch hohen Blutdruck oder Diabetes Typ 2 hängen mit der typischen Lebensweise in den Industrienationen zusammen und werden auch als Zivilisationskrankheiten bezeichnet.\nEinige Volkskrankheiten wie zum Beispiel Herz-Kreislauf-Erkrankungen durch hohen Blutdruck oder Diabetes Typ 2 hängen mit der typischen Lebensweise in den Industrienationen zusammen und werden auch als Zivilisationskrankheiten bezeichnet.'] Label: [['Einige Volkskrankheiten wie zum Beispiel Herz-Kreislauf-Erkrankungen durch hohen Blutdruck oder Diabetes Typ 2 kommen besonders häufig in Industrieländern vor.']] Sacrebleu: {'score': 21.77013945670001, 'counts': [15, 12, 11, 10], 'totals': [56, 55, 54, 53], 'precisions': [26.785714285714285, 21.818181818181817, 20.37037037037037, 18.867924528301888], 'bp': 1.0, 'sys_len': 56, 'ref_len': 20} Bleu: {'bleu': 0.21770139456700013, 'precisions': [0.26785714285714285, 0.21818181818181817, 0.2037037037037037, 0.18867924528301888], 'brevity_penalty': 1.0, 'length_ratio': 2.8, 'translation_length': 56, 'reference_length': 20} Rouge: {'rouge1': 0.4096385542168674, 'rouge2': 0.345679012345679, 'rougeL': 0.4096385542168674, 'rougeLsum': 0.4096385542168674} Sari: {'sari': 53.46934254828991} Flesh Reading Ease: 0.9 ---------------------------------------- Source: ['Die Menschen ernähren sich schlecht, essen zu viel oder zu fettreich und bewegen sich zu wenig.'] Prediction: ['Die Menschen sind sich schlecht, essen zu viel oder zu fettreich und bewegen sich zu wenig.\nDie Menschen ernähren sich schlecht, essen zu viel oder zu fettreich und bewegen sich zu wenig.'] Label: [['Die Menschen ernähren sich ungesund und bewegen sich zu wenig.']] Sacrebleu: {'score': 19.19704825961155, 'counts': [10, 8, 6, 4], 'totals': [36, 35, 34, 33], 'precisions': [27.77777777777778, 22.857142857142858, 17.647058823529413, 12.121212121212121], 'bp': 1.0, 'sys_len': 36, 'ref_len': 11} Bleu: {'bleu': 0.1919704825961155, 'precisions': [0.2777777777777778, 0.22857142857142856, 0.17647058823529413, 0.12121212121212122], 'brevity_penalty': 1.0, 'length_ratio': 3.272727272727273, 'translation_length': 36, 'reference_length': 11} Rouge: {'rouge1': 0.45454545454545453, 'rouge2': 0.38095238095238093, 'rougeL': 0.45454545454545453, 'rougeLsum': 0.45454545454545453} Sari: {'sari': 52.67327409432673} Flesh Reading Ease: 82.1 ---------------------------------------- Source: ['Dieselbe Studie verzeichnet einen Anstieg von fast 20 Prozent seit dem Jahr 2010 bei psychischen Verhaltensstörungen.'] Prediction: ['Eine Studie von fast 20 Prozent seit dem Jahr 2010 verzeichnet einen Anstieg von fast 20 Prozent seit dem Jahr 2010 bei psychischen Verhaltensstörungen.\nDie Studie verzeichnet einen Anstieg von fast 20 Prozent seit dem Jahr 2010 bei psychischen Verhaltensstörungen.'] Label: [['Dieselbe Studie zeigt einen Anstieg von fast 20 Prozent seit dem Jahr 2010 bei psychischen Erkrankungen.']] Sacrebleu: {'score': 26.8010229848887, 'counts': [14, 11, 10, 9], 'totals': [42, 41, 40, 39], 'precisions': [33.333333333333336, 26.829268292682926, 25.0, 23.076923076923077], 'bp': 1.0, 'sys_len': 42, 'ref_len': 17} Bleu: {'bleu': 0.2680102298488869, 'precisions': [0.3333333333333333, 0.2682926829268293, 0.25, 0.23076923076923078], 'brevity_penalty': 1.0, 'length_ratio': 2.4705882352941178, 'translation_length': 42, 'reference_length': 17} Rouge: {'rouge1': 0.4482758620689655, 'rouge2': 0.3928571428571429, 'rougeL': 0.4482758620689655, 'rougeLsum': 0.4482758620689655} Sari: {'sari': 44.74629810651316} Flesh Reading Ease: 60.55 ---------------------------------------- Source: ['Zu den häufigsten psychischen Erkrankungen gehören Depressionen, Burnout und Angstzustände.'] Prediction: ['Burnout und Angstzustände gehören häufigsten psychische Erkrankungen.\nZu den häufigsten psychischen Erkrankungen gehören Depressionen, Burnout und Angstzustände.'] Label: [['Am häufigsten kommen Depressionen, Burnout und Angstzustände vor.']] Sacrebleu: {'score': 19.49624907951977, 'counts': [7, 4, 3, 2], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 21.05263157894737, 16.666666666666668, 11.764705882352942], 'bp': 1.0, 'sys_len': 20, 'ref_len': 10} Bleu: {'bleu': 0.19496249079519765, 'precisions': [0.35, 0.21052631578947367, 0.16666666666666666, 0.11764705882352941], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 20, 'reference_length': 10} Rouge: {'rouge1': 0.42424242424242425, 'rouge2': 0.3225806451612903, 'rougeL': 0.42424242424242425, 'rougeLsum': 0.42424242424242425} Sari: {'sari': 50.79458553142763} Flesh Reading Ease: 7.7 ---------------------------------------- Source: ['84 Prozent nehmen täglich eine oder mehrere Tassen zu sich. Kaffee und Tee werden ebenfalls gern getrunken:'] Prediction: ['84 Prozent nehmen täglich eine oder mehrere Tassen zu sich.\nKaffee und Tee werden ebenfalls gern getrunken.'] Label: [['Kaffee und Tee werden ebenfalls viel getrunken.']] Sacrebleu: {'score': 21.797469124036954, 'counts': [7, 5, 3, 2], 'totals': [19, 18, 17, 16], 'precisions': [36.8421052631579, 27.77777777777778, 17.647058823529413, 12.5], 'bp': 1.0, 'sys_len': 19, 'ref_len': 8} Bleu: {'bleu': 0.21797469124036953, 'precisions': [0.3684210526315789, 0.2777777777777778, 0.17647058823529413, 0.125], 'brevity_penalty': 1.0, 'length_ratio': 2.375, 'translation_length': 19, 'reference_length': 8} Rouge: {'rouge1': 0.48, 'rouge2': 0.3478260869565218, 'rougeL': 0.48, 'rougeLsum': 0.48} Sari: {'sari': 49.93363310236376} Flesh Reading Ease: 72.05 ---------------------------------------- Source: ['Das deutsche Bundesministerium für Ernährung und Landwirtschaft (BMEL) hat im Oktober 2017 eine Umfrage zum Thema „Ernährung“ in Auftrag gegeben: den Ernährungsreport 2018. Rund 1000 Deutsche ab 14 Jahren gaben einem Meinungsforschungsinstitut Antworten zu ihren Essgewohnheiten.'] Prediction: ['Das deutsche Bundesministerium für Ernährung und Landwirtschaft hat eine Umfrage zum Thema "Ernährung" in Auftrag gegeben: den Ernährungsreport 2018.\nRund 1000 Deutsche ab 14 Jahren gaben einem Meinungsforschungsinstitut Antworten zu ihren Essgewohnheiten.'] Label: [['Das deutsche Bundesministerium für Ernährung und Landwirtschaft (BMEL) hat eine Umfrage zum Thema „Ernährung“ in Auftrag gegeben: den Ernährungsreport 2018.\nRund 1000 Deutsche ab 14 Jahren gaben Antworten zu ihren Essgewohnheiten.']] Sacrebleu: {'score': 72.1729596673442, 'counts': [32, 28, 24, 20], 'totals': [37, 36, 35, 34], 'precisions': [86.48648648648648, 77.77777777777777, 68.57142857142857, 58.8235294117647], 'bp': 1.0, 'sys_len': 37, 'ref_len': 36} Bleu: {'bleu': 0.7217295966734423, 'precisions': [0.8648648648648649, 0.7777777777777778, 0.6857142857142857, 0.5882352941176471], 'brevity_penalty': 1.0, 'length_ratio': 1.0277777777777777, 'translation_length': 37, 'reference_length': 36} Rouge: {'rouge1': 0.9577464788732395, 'rouge2': 0.8985507246376812, 'rougeL': 0.9577464788732395, 'rougeLsum': 0.9577464788732395} Sari: {'sari': 46.14401799342911} Flesh Reading Ease: 29.45 ---------------------------------------- Source: ['Auch wenn die Gewohnheiten sehr verschieden sind, am wichtigsten ist den Befragten, dass das Essen schmeckt.'] Prediction: ['Die Gewohnheiten in der Schweiz sind sehr verschieden.\nDie Gewohnheiten sind wichtigsten, wenn das Essen schmeckt.\nDie Gewohnheiten sind wichtigsten, dass das Essen schmeckt.'] Label: [['Am wichtigsten ist den Befragten, dass das Essen schmeckt.']] Sacrebleu: {'score': 16.475516456048457, 'counts': [7, 5, 4, 3], 'totals': [29, 28, 27, 26], 'precisions': [24.137931034482758, 17.857142857142858, 14.814814814814815, 11.538461538461538], 'bp': 1.0, 'sys_len': 29, 'ref_len': 11} Bleu: {'bleu': 0.16475516456048456, 'precisions': [0.2413793103448276, 0.17857142857142858, 0.14814814814814814, 0.11538461538461539], 'brevity_penalty': 1.0, 'length_ratio': 2.6363636363636362, 'translation_length': 29, 'reference_length': 11} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.19354838709677416, 'rougeL': 0.30303030303030304, 'rougeLsum': 0.30303030303030304} Sari: {'sari': 35.71081859317153} Flesh Reading Ease: 72.55 ---------------------------------------- Source: ['Junge Menschen ernähren sich dabei nicht ganz so gesundheitsbewusst wie Ältere.'] Prediction: ['Die Polizei hat einen grossen Aufruf auf den Kampf gegen die Schweizer Grenze geschlossen.\nDie Polizei hatte sich mit einem grossen Aufruf gegen die Schweizer Grenze nicht ganz so gesundheitsbewusst.'] Label: [['Junge Menschen ernähren sich dabei nicht ganz so gesund wie ältere.']] Sacrebleu: {'score': 4.906081629292277, 'counts': [5, 2, 1, 0], 'totals': [32, 31, 30, 29], 'precisions': [15.625, 6.451612903225806, 3.3333333333333335, 1.7241379310344827], 'bp': 1.0, 'sys_len': 32, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.15625, 0.06451612903225806, 0.03333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 32, 'reference_length': 12} Rouge: {'rouge1': 0.19047619047619044, 'rouge2': 0.1, 'rougeL': 0.19047619047619044, 'rougeLsum': 0.19047619047619044} Sari: {'sari': 15.781590413943356} Flesh Reading Ease: 65.55 ---------------------------------------- Source: ['Laut Angaben der Befragten scheint die Ernährung gesund zu sein:'] Prediction: ['Die Befragten der Befragten scheint die Ernährung gesund zu sein.\nDie Befragten scheint die Ernährung gesund zu sein:'] Label: [['Laut Angaben der Befragten ernähren sie sich gesund:']] Sacrebleu: {'score': 4.553719184146073, 'counts': [4, 1, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [20.0, 5.2631578947368425, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2222222222222223, 'translation_length': 20, 'reference_length': 9} Rouge: {'rouge1': 0.2758620689655173, 'rouge2': 0.07407407407407407, 'rougeL': 0.2758620689655173, 'rougeLsum': 0.2758620689655173} Sari: {'sari': 10.126262626262626} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Allerdings essen auch 43 Prozent der Menschen in Deutschland regelmäßig außer Haus.'] Prediction: ['Die Schweiz vermeldet einen starken Haus.\n43 Prozent der Menschen in Deutschland sind regelmäßig außer Haus.'] Label: [['43 Prozent der Menschen in Deutschland essen regelmäßig außer Haus.']] Sacrebleu: {'score': 40.21074690812006, 'counts': [10, 8, 6, 4], 'totals': [18, 17, 16, 15], 'precisions': [55.55555555555556, 47.05882352941177, 37.5, 26.666666666666668], 'bp': 1.0, 'sys_len': 18, 'ref_len': 11} Bleu: {'bleu': 0.4021074690812006, 'precisions': [0.5555555555555556, 0.47058823529411764, 0.375, 0.26666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 1.6363636363636365, 'translation_length': 18, 'reference_length': 11} Rouge: {'rouge1': 0.7333333333333334, 'rouge2': 0.6428571428571428, 'rougeL': 0.7333333333333334, 'rougeLsum': 0.7333333333333334} Sari: {'sari': 63.49206349206349} Flesh Reading Ease: 72.55 ---------------------------------------- Source: ['Stimmt es, dass Frauen mehr auf gesunde Ernährung achten als Männer? Ja.'] Prediction: ['Frauen achten als Männer auf gesunde Ernährung.\nDie Frauen wollen mehr auf gesunde Ernährung achten als Männer.\nDie Frauen wollen mehr auf gesunde Ernährung achten als Männer.'] Label: [['Laut Umfrage achten die Frauen mehr auf eine gesunde Ernährung als Männer.']] Sacrebleu: {'score': 7.232823449239036, 'counts': [9, 4, 1, 0], 'totals': [30, 29, 28, 27], 'precisions': [30.0, 13.793103448275861, 3.5714285714285716, 1.8518518518518519], 'bp': 1.0, 'sys_len': 30, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.3, 0.13793103448275862, 0.03571428571428571, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3076923076923075, 'translation_length': 30, 'reference_length': 13} Rouge: {'rouge1': 0.4680851063829786, 'rouge2': 0.26666666666666666, 'rougeL': 0.4680851063829786, 'rougeLsum': 0.4680851063829786} Sari: {'sari': 50.23809523809524} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Laut Umfrage ist 96 Prozent der Frauen ein gesundes Essen wichtig.'] Prediction: ['Ein gesundes Essen wichtig ist in der Schweiz nicht mehr gefragt.\n96 Prozent der Frauen sind ein gesundes Essen wichtig.'] Label: [['96 Prozent der Frauen ist ein gesundes Essen wichtig.']] Sacrebleu: {'score': 27.809355999594505, 'counts': [10, 7, 5, 3], 'totals': [22, 21, 20, 19], 'precisions': [45.45454545454545, 33.333333333333336, 25.0, 15.789473684210526], 'bp': 1.0, 'sys_len': 22, 'ref_len': 10} Bleu: {'bleu': 0.278093559995945, 'precisions': [0.45454545454545453, 0.3333333333333333, 0.25, 0.15789473684210525], 'brevity_penalty': 1.0, 'length_ratio': 2.2, 'translation_length': 22, 'reference_length': 10} Rouge: {'rouge1': 0.6206896551724138, 'rouge2': 0.44444444444444436, 'rougeL': 0.5517241379310346, 'rougeLsum': 0.5517241379310346} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Er gilt als Europas erster groß angelegter Park, der für jeden frei zugänglich war.'] Prediction: ['Die Europas gilt im frühenen Stadion in Stadion.\nDie Schweiz gilt als Europas erster groß angelegter Park.\nDie Schweiz gilt als einzige Spieler.'] Label: [['Jeder durfte sich dort aufhalten.\nEr wurde im Jahr 1789 als erster Park in Europa für alle Menschen geöffnet.']] Sacrebleu: {'score': 2.3497215931088395, 'counts': [7, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [26.923076923076923, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.2692307692307692, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2380952380952381, 'translation_length': 26, 'reference_length': 21} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.0, 'rougeL': 0.17777777777777778, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 37.527056277056275} Flesh Reading Ease: 67.0 ---------------------------------------- Source: ['Friedrich Ludwig von Sckell schuf ab dem Jahr 1789 in München eine der bekanntesten deutschen Parkanlagen, den Englischen Garten.'] Prediction: ['Friedrich Ludwig von Sckell schuf in München eine der bekanntesten deutschen Parkanlagen, den Englischen Garten.\nDer Englischen Garten wurde von Sckell entdeckt.\nDie bekanntesten deutschen Parkanlagen wurden von Sckell aus dem Englischen Garten geschlossen.'] Label: [['Der Englische Garten in München ist eine der bekanntesten deutschen Parkanlagen.']] Sacrebleu: {'score': 11.40752284643557, 'counts': [10, 5, 3, 2], 'totals': [38, 37, 36, 35], 'precisions': [26.31578947368421, 13.513513513513514, 8.333333333333334, 5.714285714285714], 'bp': 1.0, 'sys_len': 38, 'ref_len': 12} Bleu: {'bleu': 0.11407522846435565, 'precisions': [0.2631578947368421, 0.13513513513513514, 0.08333333333333333, 0.05714285714285714], 'brevity_penalty': 1.0, 'length_ratio': 3.1666666666666665, 'translation_length': 38, 'reference_length': 12} Rouge: {'rouge1': 0.42553191489361697, 'rouge2': 0.26666666666666666, 'rougeL': 0.3404255319148936, 'rougeLsum': 0.42553191489361697} Sari: {'sari': 48.74465811965812} Flesh Reading Ease: 57.55 ---------------------------------------- Source: ['Seit sie im Jahr 2010 als Park freigegeben wurde, nutzen zahlreiche Touristen und Berliner die über 300 Hektar große Freifläche.'] Prediction: ['Seit 2010 wurde die über 300 Hektar große Freifläche in der Berliner Stadt freigegeben.\nSeit derzeit wurde die über 300 Hektar große Freifläche geborgen.\nDie über 300 Hektar große Freifläche wurden seit 2010 als Park freigegeben.'] Label: [['Zahlreiche Touristen und Berliner nutzen die über 300 Hektar große Freifläche.\nSeit dem Jahr 2010 ist die Fläche des ehemaligen Flughafen Berlin Tempelhof für Besucher geöffnet.']] Sacrebleu: {'score': 14.464063790722657, 'counts': [12, 6, 4, 3], 'totals': [39, 38, 37, 36], 'precisions': [30.76923076923077, 15.789473684210526, 10.81081081081081, 8.333333333333334], 'bp': 1.0, 'sys_len': 39, 'ref_len': 28} Bleu: {'bleu': 0.14464063790722656, 'precisions': [0.3076923076923077, 0.15789473684210525, 0.10810810810810811, 0.08333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.3928571428571428, 'translation_length': 39, 'reference_length': 28} Rouge: {'rouge1': 0.3561643835616438, 'rouge2': 0.1971830985915493, 'rougeL': 0.3013698630136986, 'rougeLsum': 0.3287671232876712} Sari: {'sari': 43.57375922664969} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Insbesondere die Bewohner einer Großstadt schätzen die Grünflächen.'] Prediction: ['In einer Wohnung in der Nähe von Stadt Bern wurden in der Nähe des Kantons Bern Grünflächen geschickt.\nDie Bewohner schätzen die Grünflächen.'] Label: [['Vor allem Bewohner einer Großstadt schätzen die Grünflächen.']] Sacrebleu: {'score': 10.435185733665413, 'counts': [6, 3, 2, 1], 'totals': [25, 24, 23, 22], 'precisions': [24.0, 12.5, 8.695652173913043, 4.545454545454546], 'bp': 1.0, 'sys_len': 25, 'ref_len': 9} Bleu: {'bleu': 0.10435185733665414, 'precisions': [0.24, 0.125, 0.08695652173913043, 0.045454545454545456], 'brevity_penalty': 1.0, 'length_ratio': 2.7777777777777777, 'translation_length': 25, 'reference_length': 9} Rouge: {'rouge1': 0.4285714285714285, 'rouge2': 0.25000000000000006, 'rougeL': 0.3809523809523809, 'rougeLsum': 0.4285714285714285} Sari: {'sari': 33.39445509747523} Flesh Reading Ease: 74.9 ---------------------------------------- Source: ['Während der Zeit des Barocks (etwa 1575 bis 1770) entstanden formal sehr strenge Barockgärten, auch französische Gärten genannt.'] Prediction: ['Derzeit entstanden formal sehr strenge Barockgärten.\nAuch französische Gärten genannten sich.'] Label: [['Während der Zeit des Barocks (etwa 1575 bis 1770) entstanden französische Gärten.']] Sacrebleu: {'score': 6.299392144493405, 'counts': [4, 1, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [30.76923076923077, 8.333333333333334, 4.545454545454546, 2.5], 'bp': 0.8574039191604413, 'sys_len': 13, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.3076923076923077, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 0.8574039191604413, 'length_ratio': 0.8666666666666667, 'translation_length': 13, 'reference_length': 15} Rouge: {'rouge1': 0.3448275862068965, 'rouge2': 0.22222222222222224, 'rougeL': 0.3448275862068965, 'rougeLsum': 0.3448275862068965} Sari: {'sari': 14.254545835428187} Flesh Reading Ease: 39.95 ---------------------------------------- Source: ['Der englische Landschaftsgarten war näher an der Natur, mit vielen Grünflächen und in der Regel ohne Blumenbeete.'] Prediction: ['Im englischen Landschaftsgarten ist es näher an der Natur, mit vielen Grünflächen und ohne Blumenbeete.\nDer Landschaftsgarten war näher an der Natur, mit vielen Grünflächen und in der Regel ohne Blumenbeete.'] Label: [['Der englische Landschaftsgarten war näher an der Natur, mit großen Rasenflächen.']] Sacrebleu: {'score': 20.218647645300866, 'counts': [10, 7, 6, 5], 'totals': [35, 34, 33, 32], 'precisions': [28.571428571428573, 20.58823529411765, 18.181818181818183, 15.625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 13} Bleu: {'bleu': 0.20218647645300866, 'precisions': [0.2857142857142857, 0.20588235294117646, 0.18181818181818182, 0.15625], 'brevity_penalty': 1.0, 'length_ratio': 2.6923076923076925, 'translation_length': 35, 'reference_length': 13} Rouge: {'rouge1': 0.39215686274509803, 'rouge2': 0.28571428571428575, 'rougeL': 0.39215686274509803, 'rougeLsum': 0.39215686274509803} Sari: {'sari': 18.639839846333206} Flesh Reading Ease: 53.35 ---------------------------------------- Source: ['Jährlich halten sich rund 3,5 Millionen Besucher im Englischen Garten auf.'] Prediction: ['Im Englischen Garten sind rund 3,5 Millionen Besucher aufgefunden.\nDie Runde der Besucher sind aufgefunden.\nDie Runde der Besucher sind auf 3,5 Millionen Besucher.'] Label: [['Der Englische Garten ist mit rund 3,5 Millionen Besucher jährlich sehr beliebt.']] Sacrebleu: {'score': 9.615094003919301, 'counts': [6, 3, 2, 1], 'totals': [27, 26, 25, 24], 'precisions': [22.22222222222222, 11.538461538461538, 8.0, 4.166666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 13} Bleu: {'bleu': 0.09615094003919297, 'precisions': [0.2222222222222222, 0.11538461538461539, 0.08, 0.041666666666666664], 'brevity_penalty': 1.0, 'length_ratio': 2.076923076923077, 'translation_length': 27, 'reference_length': 13} Rouge: {'rouge1': 0.35000000000000003, 'rouge2': 0.2105263157894737, 'rougeL': 0.3, 'rougeLsum': 0.35000000000000003} Sari: {'sari': 59.57070707070707} Flesh Reading Ease: 55.0 ---------------------------------------- Source: ['Fast genauso groß, aber mit einer ganz anderen Geschichte: Das Tempelhofer Feld in Berlin.'] Prediction: ['Im Tempelhofer Feld in Berlin ist ein Feld der besten Rekordweltbewohnerinnen und Bewohner der besten Rekordwohnerinnen und Wohner der besten Rekordwohnerinnen und Rekordwohner der besten Rekordwohnerinnen und -wohner der besten Rekordwohnerinnen und -wohner der besten Rekordwohner der besten Rekordwohnerinnen und -wohner der besten Rekordwohner der besten Rekordwohnerinnen und -wohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekordwohner der besten Rekord'] Label: [['Das Tempelhofer Feld in Berlin ist fast genauso groß.\nEs hat allerdings eine ganz andere Geschichte.']] Sacrebleu: {'score': 2.213942126225141, 'counts': [5, 4, 3, 2], 'totals': [151, 150, 149, 148], 'precisions': [3.3112582781456954, 2.6666666666666665, 2.0134228187919465, 1.3513513513513513], 'bp': 1.0, 'sys_len': 151, 'ref_len': 18} Bleu: {'bleu': 0.022139421262251414, 'precisions': [0.033112582781456956, 0.02666666666666667, 0.020134228187919462, 0.013513513513513514], 'brevity_penalty': 1.0, 'length_ratio': 8.38888888888889, 'translation_length': 151, 'reference_length': 18} Rouge: {'rouge1': 0.05988023952095809, 'rouge2': 0.048484848484848485, 'rougeL': 0.05988023952095809, 'rougeLsum': 0.05988023952095809} Sari: {'sari': 48.36398585184465} Flesh Reading Ease: -105.56 ---------------------------------------- Source: ['Neben sehr viel Platz gibt es auf dem Tempelhofer Feld zum Beispiel kleine Gemüsegärten, künstlerische und soziale Projekte und verschiedene Sportprogramme.'] Prediction: ['Auf dem Tempelhofer Feld gibt es zum Beispiel kleine Gemüsegärten, künstlerische und soziale Projekte und verschiedene Sportprogramme.\nDie Gemüsegärten, künstlerische und soziale Projekte und verschiedene Sportprogramme sind nicht mehr viel Platz.'] Label: [['Auf dem Tempelhofer Feld gibt es kleine Gemüsegärten, künstlerische und soziale Projekte und verschiedene Sportprogramme.']] Sacrebleu: {'score': 41.27302823483053, 'counts': [17, 15, 13, 11], 'totals': [35, 34, 33, 32], 'precisions': [48.57142857142857, 44.11764705882353, 39.39393939393939, 34.375], 'bp': 1.0, 'sys_len': 35, 'ref_len': 17} Bleu: {'bleu': 0.41273028234830517, 'precisions': [0.4857142857142857, 0.4411764705882353, 0.3939393939393939, 0.34375], 'brevity_penalty': 1.0, 'length_ratio': 2.0588235294117645, 'translation_length': 35, 'reference_length': 17} Rouge: {'rouge1': 0.6545454545454547, 'rouge2': 0.6037735849056604, 'rougeL': 0.6545454545454547, 'rougeLsum': 0.6545454545454547} Sari: {'sari': 68.5491138456034} Flesh Reading Ease: 29.95 ---------------------------------------- Source: ['Mit Spannung verfolgen die Kinder, wie schnell ihre Pflanzen wachsen und freuen sich über die erste Ernte von Tomaten, Zucchini, Bohnen oder Salat.'] Prediction: ['Die Kinder in der Schweiz sind schnell mit Spannung gefallen.\nSie werden schnell ihre Pflanzen wachsen und freuen sich über die erste Ernte von Tomaten, Zucchini, Bohnen oder Salat.'] Label: [['Die Kinder sind gespannt, wie schnell die Pflanzen wachsen und freuen sich über die erste Ernte von Tomaten, Zucchini, Bohnen oder Salat.']] Sacrebleu: {'score': 55.77503997480662, 'counts': [22, 18, 16, 15], 'totals': [33, 32, 31, 30], 'precisions': [66.66666666666667, 56.25, 51.61290322580645, 50.0], 'bp': 1.0, 'sys_len': 33, 'ref_len': 26} Bleu: {'bleu': 0.5577503997480662, 'precisions': [0.6666666666666666, 0.5625, 0.5161290322580645, 0.5], 'brevity_penalty': 1.0, 'length_ratio': 1.2692307692307692, 'translation_length': 33, 'reference_length': 26} Rouge: {'rouge1': 0.7450980392156864, 'rouge2': 0.6122448979591837, 'rougeL': 0.7450980392156864, 'rougeLsum': 0.7450980392156864} Sari: {'sari': 55.2515487932635} Flesh Reading Ease: 71.9 ---------------------------------------- Source: ['Das Vorbereiten der Beete, das Sähen von Samen und Einpflanzen von kleinen Setzlingen, das Jäten von Unkraut – all das macht eine Menge Arbeit.'] Prediction: ['Das Vorbereiten der Beete, das Sähen von Samen und Einpflanzen von kleinen Setzlingen, das Jäten von Unkraut macht eine Menge Arbeit.\nAll das macht eine Menge Arbeit.'] Label: [['Ein Garten macht eine Menge Arbeit: Man muss Beete vorbereiten, Samen verteilen und das Unkraut entfernen.']] Sacrebleu: {'score': 9.668881540160378, 'counts': [11, 3, 2, 1], 'totals': [31, 30, 29, 28], 'precisions': [35.483870967741936, 10.0, 6.896551724137931, 3.5714285714285716], 'bp': 1.0, 'sys_len': 31, 'ref_len': 19} Bleu: {'bleu': 0.09668881540160378, 'precisions': [0.3548387096774194, 0.1, 0.06896551724137931, 0.03571428571428571], 'brevity_penalty': 1.0, 'length_ratio': 1.631578947368421, 'translation_length': 31, 'reference_length': 19} Rouge: {'rouge1': 0.4444444444444445, 'rouge2': 0.13953488372093023, 'rougeL': 0.22222222222222224, 'rougeLsum': 0.4} Sari: {'sari': 43.265508204532594} Flesh Reading Ease: 67.05 ---------------------------------------- Source: ['Der Sinn der Schulgärten besteht darin, den Kindern die Natur nahezubringen.'] Prediction: ['Der Sinn der Schulgärten besteht darin, den Kindern die Natur nahezubringen.\nDer Sinn der Schulgärten besteht darin, den Kindern die Natur nahezubringen.'] Label: [['Mithilfe eines Schulgartens sollen die Kinder ein Gefühl für die Natur entwickeln.']] Sacrebleu: {'score': 3.435812002459847, 'counts': [4, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 26, 'reference_length': 13} Rouge: {'rouge1': 0.15789473684210525, 'rouge2': 0.05555555555555555, 'rougeL': 0.15789473684210525, 'rougeLsum': 0.10526315789473685} Sari: {'sari': 37.94871794871795} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Außerdem können sich die Kinder im Garten bewegen und sich mit ihren Klassenkameraden unterhalten – ein willkommener Ausgleich zum Stillsitzen im Klassenzimmer.'] Prediction: ['Ein willkommener Ausgleich zum Stillsitzen im Klassenzimmer im Garten im Klassenzimmer.\nDie Kinder können sich mit ihren Klassenkameraden unterhalten.\nDie Kinder können sich mit ihren Klassenkameraden unterhalten.'] Label: [['Außerdem können sich die Kinder im Garten bewegen und sich mit ihren Klassenkameraden unterhalten.']] Sacrebleu: {'score': 19.360105998091445, 'counts': [11, 7, 4, 3], 'totals': [30, 29, 28, 27], 'precisions': [36.666666666666664, 24.137931034482758, 14.285714285714286, 11.11111111111111], 'bp': 1.0, 'sys_len': 30, 'ref_len': 15} Bleu: {'bleu': 0.19360105998091445, 'precisions': [0.36666666666666664, 0.2413793103448276, 0.14285714285714285, 0.1111111111111111], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 30, 'reference_length': 15} Rouge: {'rouge1': 0.5333333333333333, 'rouge2': 0.37209302325581395, 'rougeL': 0.4444444444444445, 'rougeLsum': 0.4} Sari: {'sari': 37.30915456700585} Flesh Reading Ease: 36.45 ---------------------------------------- Source: ['Glückwunschkarten, kurze Notizen, To-do-Listen und Einkaufszettel –'] Prediction: ['Die Welt ist ein grosser Weltkrieg.\nDie Welt ist ein grosser Weltkrieg.\nDie Welt ist ein grosser Weltkrieg.'] Label: [['Glückwunschkarten, kurze Notizen, Listen und Einkaufszettel –']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 21, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 21, 'reference_length': 9} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 12.251984126984128} Flesh Reading Ease: 97.95 ---------------------------------------- Source: ['Texte am Computer oder am Handy einzutippen erscheint auf den ersten Blick einfacher.'] Prediction: ['Immer mehr Texte hatte sich mit einem Computer und einem Handy einzutippen.\nDas Handy erscheint auf den ersten Blick einfacher.\nDas Computer und die Handy erscheinen auf den ersten Blick.'] Label: [['Texte am Computer oder am Handy einzutippen ist einfach.']] Sacrebleu: {'score': 2.8244460759801417, 'counts': [5, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [15.151515151515152, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.15151515151515152, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3, 'translation_length': 33, 'reference_length': 10} Rouge: {'rouge1': 0.20512820512820512, 'rouge2': 0.05405405405405405, 'rougeL': 0.20512820512820512, 'rougeLsum': 0.20512820512820512} Sari: {'sari': 13.009286035601825} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Texte von Hand zu schreiben ist ein weit komplexerer und herausfordernder Prozess.'] Prediction: ['Texte von Hand ist ein weit komplexerer und herausfordernder Prozess.\nDas Prozess ist ein weit komplexerer und herausfordernder Prozess.'] Label: [['Texte von Hand zu schreiben ist ein bisschen komplizierter.']] Sacrebleu: {'score': 8.896962872669691, 'counts': [6, 3, 1, 0], 'totals': [21, 20, 19, 18], 'precisions': [28.571428571428573, 15.0, 5.2631578947368425, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.15, 0.05263157894736842, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1, 'translation_length': 21, 'reference_length': 10} Rouge: {'rouge1': 0.35714285714285715, 'rouge2': 0.23076923076923078, 'rougeL': 0.35714285714285715, 'rougeLsum': 0.35714285714285715} Sari: {'sari': 11.652046783625732} Flesh Reading Ease: 59.35 ---------------------------------------- Source: ['Aber gerade darin liegt der Vorteil.'] Prediction: ['Ein Mann hatte sich in der Nacht auf Sonntag in der Nacht auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag ausgelöst.\nEr wurde dabei von einem Vorteil aufgefunden.'] Label: [['Allerdings hat das Handschreiben einen großen Vorteil.']] Sacrebleu: {'score': 1.3794462224541233, 'counts': [2, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [6.25, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 32, 'reference_length': 8} Rouge: {'rouge1': 0.05128205128205128, 'rouge2': 0.0, 'rougeL': 0.05128205128205128, 'rougeLsum': 0.05128205128205128} Sari: {'sari': 55.27777777777777} Flesh Reading Ease: 77.25 ---------------------------------------- Source: ['Handlettering, das Gestalten von kunstvollen Schriftzügen, ist zum Trend geworden.'] Prediction: ['Handlettering ist ein neues Trend.\nDie Handy-Trend ist zum Trend geworden.'] Label: [['Handlettering, das Gestalten von kunstvollen Schriftzügen, liegt im Trend.']] Sacrebleu: {'score': 6.837203339116283, 'counts': [3, 1, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [23.076923076923077, 8.333333333333334, 4.545454545454546, 2.5], 'bp': 1.0, 'sys_len': 13, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0833333333333333, 'translation_length': 13, 'reference_length': 12} Rouge: {'rouge1': 0.1818181818181818, 'rouge2': 0.0, 'rougeL': 0.1818181818181818, 'rougeLsum': 0.1818181818181818} Sari: {'sari': 10.76388888888889} Flesh Reading Ease: 75.05 ---------------------------------------- Source: ['Manche Erwachsene und Jugendliche finden die Handschrift trotz Smartphone und Tablet so faszinierend, dass sie wieder ganz bewusst zu Stift und Papier greifen.'] Prediction: ['Manche Erwachsene und Jugendliche finden die Handschrift trotz Smartphone und Tablet so faszinierend, dass sie wieder ganz bewusst zu Stift und Papier greifen.\nDie Handschrift so faszinierend, dass sie wieder ganz bewusst zu Stift und Papier greifen.'] Label: [['Erwachsene und Jugendliche finden die Handschrift trotz Smartphone und Tablet so faszinierend, dass sie wieder ganz bewusst zu Stift und Papier greifen.']] Sacrebleu: {'score': 56.914411609058334, 'counts': [24, 23, 22, 21], 'totals': [41, 40, 39, 38], 'precisions': [58.53658536585366, 57.5, 56.41025641025641, 55.26315789473684], 'bp': 1.0, 'sys_len': 41, 'ref_len': 24} Bleu: {'bleu': 0.5691441160905836, 'precisions': [0.5853658536585366, 0.575, 0.5641025641025641, 0.5526315789473685], 'brevity_penalty': 1.0, 'length_ratio': 1.7083333333333333, 'translation_length': 41, 'reference_length': 24} Rouge: {'rouge1': 0.7457627118644068, 'rouge2': 0.7368421052631579, 'rougeL': 0.7457627118644068, 'rougeLsum': 0.7457627118644068} Sari: {'sari': 74.25852621547823} Flesh Reading Ease: 62.05 ---------------------------------------- Source: ['Dies belegt auch eine Studie der Universität Princeton aus dem Jahr 2014.'] Prediction: ['Eine Studie der Universität Princeton belegt auch eine Studie der Universität Princeton aus dem Jahr 2014.\nDie Studie belegt auch eine Studie der Universität Princeton.'] Label: [['Dies belegt auch eine Studie der Universität Princeton aus dem Jahr 2014.Manche']] Sacrebleu: {'score': 40.98094978791076, 'counts': [12, 11, 10, 9], 'totals': [27, 26, 25, 24], 'precisions': [44.44444444444444, 42.30769230769231, 40.0, 37.5], 'bp': 1.0, 'sys_len': 27, 'ref_len': 14} Bleu: {'bleu': 0.40980949787910764, 'precisions': [0.4444444444444444, 0.4230769230769231, 0.4, 0.375], 'brevity_penalty': 1.0, 'length_ratio': 1.9285714285714286, 'translation_length': 27, 'reference_length': 14} Rouge: {'rouge1': 0.5714285714285714, 'rouge2': 0.5499999999999999, 'rougeL': 0.5714285714285714, 'rougeLsum': 0.5714285714285714} Sari: {'sari': 31.80225927136682} Flesh Reading Ease: 50.5 ---------------------------------------- Source: ['Dadurch setzen sie sich mit der Thematik eindringlicher auseinander und können sich die Inhalte besser merken.'] Prediction: ['Eine Frau (24) und ihr Mann (29) wurden positiv getestet.\nSie konnten sich mit der Corona-Pandemie eindringlicher auseinander sein.\nDadurch setzen sie sich mit der Thematik eindringlicher auseinander und können sich die Inhalte besser merken.'] Label: [['Beim Schreiben mit der Hand setzen wir uns intensiver mit dem Thema auseinander und können uns Inhalte besser merken.']] Sacrebleu: {'score': 9.265670695542415, 'counts': [11, 6, 3, 1], 'totals': [42, 41, 40, 39], 'precisions': [26.19047619047619, 14.634146341463415, 7.5, 2.5641025641025643], 'bp': 1.0, 'sys_len': 42, 'ref_len': 20} Bleu: {'bleu': 0.09265670695542415, 'precisions': [0.2619047619047619, 0.14634146341463414, 0.075, 0.02564102564102564], 'brevity_penalty': 1.0, 'length_ratio': 2.1, 'translation_length': 42, 'reference_length': 20} Rouge: {'rouge1': 0.38596491228070173, 'rouge2': 0.2181818181818182, 'rougeL': 0.38596491228070173, 'rougeLsum': 0.3157894736842105} Sari: {'sari': 48.17793317793318} Flesh Reading Ease: 57.15 ---------------------------------------- Source: ['Aber in den einzelnen Bundesländern Deutschlands gibt es besondere regionale Spezialitäten.'] Prediction: ['Die Schweiz ist in den einzelnen Bundesländern Deutschlands geschlossen.\nDie Schweiz ist in den einzelnen Bundesländern Deutschlands aufgeboten.\nDie Schweiz ist in den einzelnen Bundesländern Deutschlands aufgeboten.'] Label: [['In den einzelnen Bundesländern Deutschlands gibt es besondere regionale Spezialitäten.']] Sacrebleu: {'score': 8.218074077265651, 'counts': [5, 3, 2, 1], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 10.344827586206897, 7.142857142857143, 3.7037037037037037], 'bp': 1.0, 'sys_len': 30, 'ref_len': 11} Bleu: {'bleu': 0.08218074077265651, 'precisions': [0.16666666666666666, 0.10344827586206896, 0.07142857142857142, 0.037037037037037035], 'brevity_penalty': 1.0, 'length_ratio': 2.727272727272727, 'translation_length': 30, 'reference_length': 11} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.25000000000000006, 'rougeL': 0.28571428571428575, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 23.104575163398692} Flesh Reading Ease: 48.15 ---------------------------------------- Source: ['Sie sind sicher die beliebtesten Gerichte.'] Prediction: ['Die beliebtesten Gerichte sind sicher die beliebtesten Gerichte.\nSie sind sicher die beliebtesten Gerichte.'] Label: [['Sie gehören wahrscheinlich zu den beliebtesten Gerichten.']] Sacrebleu: {'score': 3.21858262703621, 'counts': [3, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 16, 'reference_length': 8} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.0, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 38.33333333333333} Flesh Reading Ease: 44.3 ---------------------------------------- Source: ['Denn bei den Mahlzeiten legen die Produzenten und Köche großen Wert auf Qualität, gepaart mit handwerklichem Geschick und Tradition.'] Prediction: ['Die Produzenten und Köche großen Wert legen bei den Qualität auf Qualität.\nDie Wert ist gepaart mit handwerklichem Geschick und Tradition.'] Label: [['Hier legen die Produzenten und Köche großen Wert auf Qualität, gepaart mit handwerklichem Geschick und Tradition.']] Sacrebleu: {'score': 43.937095446369234, 'counts': [15, 11, 8, 6], 'totals': [23, 22, 21, 20], 'precisions': [65.21739130434783, 50.0, 38.095238095238095, 30.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 18} Bleu: {'bleu': 0.43937095446369234, 'precisions': [0.6521739130434783, 0.5, 0.38095238095238093, 0.3], 'brevity_penalty': 1.0, 'length_ratio': 1.2777777777777777, 'translation_length': 23, 'reference_length': 18} Rouge: {'rouge1': 0.8181818181818181, 'rouge2': 0.6666666666666666, 'rougeL': 0.7727272727272727, 'rougeLsum': 0.7727272727272727} Sari: {'sari': 41.782860597638454} Flesh Reading Ease: 58.35 ---------------------------------------- Source: ['Das ist ein nach dem Stuttgarter Stadtteil Gaisburg benanntes Gericht, ein Eintopf aus Fleischbrühe, Rindfleisch, Spätzle und Kartoffelschnitz.'] Prediction: ['Ein Eintopf aus dem Stadtteil Gaisburg ist nach dem Stadtteil Gaisburg benanntes Gericht, ein Eintopf aus Fleischbrühe, Rindfleisch, Spätzle und Kartoffelschnitz.\nDer Eintopf wurde von Fleischbrühe, Rindfleisch, Spätzle und Kartoffelschnitz ausgebrochen.'] Label: [['Das ist ein nach dem Stuttgarter Stadtteil Gaisburg benanntes Gericht.\nDieser Eintopf und besteht aus Fleischbrühe, Rindfleisch, Spätzle und Kartoffelschnitz.']] Sacrebleu: {'score': 30.394778395171432, 'counts': [20, 12, 9, 7], 'totals': [38, 37, 36, 35], 'precisions': [52.63157894736842, 32.432432432432435, 25.0, 20.0], 'bp': 1.0, 'sys_len': 38, 'ref_len': 24} Bleu: {'bleu': 0.30394778395171435, 'precisions': [0.5263157894736842, 0.32432432432432434, 0.25, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 1.5833333333333333, 'translation_length': 38, 'reference_length': 24} Rouge: {'rouge1': 0.6315789473684209, 'rouge2': 0.39999999999999997, 'rougeL': 0.5614035087719298, 'rougeLsum': 0.5614035087719298} Sari: {'sari': 23.426767137499162} Flesh Reading Ease: 53.35 ---------------------------------------- Source: ['Einige Köche wie Harald Wohlfahrt, einer der besten Köche Europas und seit über zwanzig Jahren von allen Restaurantführern mit den höchsten Auszeichnungen bewertet, kocht ebenfalls gerne traditionell.'] Prediction: ['Harald Wohlfahrt hat einen Köche-Koch ausgezeichnet.\nDas ist einige Köche wie Harald Wohlfahrt.\nDie Köche wie Harald Wohlfahrt kocht ebenfalls gerne traditionell.'] Label: [['Köche wie Harald Wohlfahrt werden seit über zwanzig Jahren von allen Restaurantführern besonders gut bewertet.\nWohlfahrt kocht ebenfalls gerne traditionell.']] Sacrebleu: {'score': 28.880056375088657, 'counts': [11, 8, 6, 4], 'totals': [25, 24, 23, 22], 'precisions': [44.0, 33.333333333333336, 26.08695652173913, 18.181818181818183], 'bp': 1.0, 'sys_len': 25, 'ref_len': 22} Bleu: {'bleu': 0.2888005637508866, 'precisions': [0.44, 0.3333333333333333, 0.2608695652173913, 0.18181818181818182], 'brevity_penalty': 1.0, 'length_ratio': 1.1363636363636365, 'translation_length': 25, 'reference_length': 22} Rouge: {'rouge1': 0.41666666666666663, 'rouge2': 0.34782608695652173, 'rougeL': 0.41666666666666663, 'rougeLsum': 0.41666666666666663} Sari: {'sari': 46.72661878366023} Flesh Reading Ease: 55.7 ---------------------------------------- Source: ['Und wohl jeder kennt in Deutschland die Kartoffeln und ihre zahlreichen Variationen wie Bratkartoffeln, Pellkartoffeln, Kartoffelpüree oder Kartoffelklöße.'] Prediction: ['In Deutschland kennt jeder die Kartoffeln und ihre zahlreichen Variationen wie Bratkartoffeln, Pellkartoffeln, Kartoffelpüree oder Kartoffelklöße.\nDie Kartoffeln kennt in der Schweiz wohl wohl jeder kennt.'] Label: [['Typisch deutsch und Bestandteil vieler Gerichte: Die Kartoffel.\nJeder kennt ihre Variationen wie Bratkartoffeln, Pellkartoffeln, Kartoffelpüree oder Kartoffelklöße.']] Sacrebleu: {'score': 32.7431295822161, 'counts': [15, 9, 8, 7], 'totals': [30, 29, 28, 27], 'precisions': [50.0, 31.03448275862069, 28.571428571428573, 25.925925925925927], 'bp': 1.0, 'sys_len': 30, 'ref_len': 23} Bleu: {'bleu': 0.32743129582216096, 'precisions': [0.5, 0.3103448275862069, 0.2857142857142857, 0.25925925925925924], 'brevity_penalty': 1.0, 'length_ratio': 1.3043478260869565, 'translation_length': 30, 'reference_length': 23} Rouge: {'rouge1': 0.5833333333333334, 'rouge2': 0.391304347826087, 'rougeL': 0.45833333333333337, 'rougeLsum': 0.5833333333333334} Sari: {'sari': 50.224044960887056} Flesh Reading Ease: 44.15 ---------------------------------------- Source: ['die Rede ist von der Currywurst, eine der am meisten bekannten Wurstsorten, die an jedem Imbissstand seit über 60 Jahren verkauft wird – 800 Millionen Würste sind es jährlich.'] Prediction: ['800 Millionen Würste sind immer mehr Currywurst.\nDas ist der Currywurst von 800 Millionen Würste.\n800 Millionen Würste sind es jährlich.'] Label: [['die Rede ist von der Currywurst, eine der bekanntesten Wurstsorten.\nSie wird an jedem Imbissstand seit über 60 Jahren verkauft – 800 Millionen Würste sind es jährlich.']] Sacrebleu: {'score': 22.187503383861916, 'counts': [12, 7, 5, 4], 'totals': [24, 23, 22, 21], 'precisions': [50.0, 30.434782608695652, 22.727272727272727, 19.047619047619047], 'bp': 0.7788007830714049, 'sys_len': 24, 'ref_len': 30} Bleu: {'bleu': 0.2218750338386191, 'precisions': [0.5, 0.30434782608695654, 0.22727272727272727, 0.19047619047619047], 'brevity_penalty': 0.7788007830714049, 'length_ratio': 0.8, 'translation_length': 24, 'reference_length': 30} Rouge: {'rouge1': 0.4528301886792452, 'rouge2': 0.3137254901960785, 'rougeL': 0.4150943396226415, 'rougeLsum': 0.4150943396226415} Sari: {'sari': 28.532491429723734} Flesh Reading Ease: 61.85 ---------------------------------------- Source: ['Dies ist die umsatzstärkste Zeit im deutschen Einzelhandel, viele erwirtschaften rund ein Viertel ihres Jahresumsatzes im November und Dezember.'] Prediction: ['Die umsatzstärkste Zeit im deutschen Einzelhandel ist die umsatzstärkste Zeit im deutschen Einzelhandel.\nRund ein Viertel ihres Jahresumsatzes im November und Dezember ist das erste Jahr.'] Label: [['Dies ist die umsatzstärkste Zeit im deutschen Einzelhandel.\nViele erwirtschaften rund ein Viertel ihres Jahresumsatzes im November und Dezember.']] Sacrebleu: {'score': 49.09991753827355, 'counts': [17, 14, 12, 10], 'totals': [28, 27, 26, 25], 'precisions': [60.714285714285715, 51.851851851851855, 46.15384615384615, 40.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 21} Bleu: {'bleu': 0.4909991753827356, 'precisions': [0.6071428571428571, 0.5185185185185185, 0.46153846153846156, 0.4], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 28, 'reference_length': 21} Rouge: {'rouge1': 0.7083333333333333, 'rouge2': 0.6521739130434783, 'rougeL': 0.7083333333333333, 'rougeLsum': 0.7083333333333333} Sari: {'sari': 45.626216876216866} Flesh Reading Ease: 50.0 ---------------------------------------- Source: ['Topseller sind Smartphones und Spielekonsolen.'] Prediction: ['Smartphones und Spielekonsolen sind in der Schweiz aufgeführt.\nDie Topseller sind Smartphones und Spielekonsolen.'] Label: [['Die beliebtesten Wünsche sind Smartphones und Spielekonsolen.']] Sacrebleu: {'score': 23.961829057131983, 'counts': [6, 4, 3, 2], 'totals': [16, 15, 14, 13], 'precisions': [37.5, 26.666666666666668, 21.428571428571427, 15.384615384615385], 'bp': 1.0, 'sys_len': 16, 'ref_len': 8} Bleu: {'bleu': 0.23961829057131984, 'precisions': [0.375, 0.26666666666666666, 0.21428571428571427, 0.15384615384615385], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 16, 'reference_length': 8} Rouge: {'rouge1': 0.43478260869565216, 'rouge2': 0.2857142857142857, 'rougeL': 0.43478260869565216, 'rougeLsum': 0.43478260869565216} Sari: {'sari': 64.20935545935545} Flesh Reading Ease: 56.0 ---------------------------------------- Source: ['Davon kündet der Text des bekanntesten deutschen Weihnachtsliedes „Oh du fröhliche, oh du selige, gnadenbringende Weihnachtszeit, Welt ging verloren, Christ ist geboren: Freue, freue dich, Christenheit!“'] Prediction: ['Ein deutsches Weihnachtslied kündet eine neue Weihnachtszeit.\nDer Text kündet davon, wie es sich um eine gnadenbringende Weihnachtszeit kommt.'] Label: [['Davon handelt der Text des bekanntesten deutschen Weihnachtsliedes „Oh du fröhliche, oh du selige, gnadenbringende Weihnachtszeit, Welt ging verloren, Christ ist geboren: Freue, freue dich, Christenheit!“']] Sacrebleu: {'score': 2.275136985481159, 'counts': [4, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 0.5538235798307587, 'sys_len': 22, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 0.5538235798307586, 'length_ratio': 0.6285714285714286, 'translation_length': 22, 'reference_length': 35} Rouge: {'rouge1': 0.20833333333333334, 'rouge2': 0.08695652173913043, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 4.966133718823819} Flesh Reading Ease: 65.2 ---------------------------------------- Source: ['Sie riss die Stadt Berlin auseinander und trennte die Deutsche Demokratische Republik (DDR) und Westdeutschland.'] Prediction: ['Die deutsche Demokratische Republik (DDR) und Westdeutschland haben sich in Berlin aufgefordert.\nSie riss die Stadt Berlin auseinander und trennten die Deutschland und Westdeutschland.\nDie Staatsanwaltschaft Berlin hatte sich mit einem Rücktritt aufgefordert.'] Label: [['Sie riss die Stadt auseinander und trennte die Deutsche Demokratische Republik (DDR) und Westdeutschland.']] Sacrebleu: {'score': 24.70569169076073, 'counts': [15, 11, 8, 5], 'totals': [38, 37, 36, 35], 'precisions': [39.473684210526315, 29.72972972972973, 22.22222222222222, 14.285714285714286], 'bp': 1.0, 'sys_len': 38, 'ref_len': 17} Bleu: {'bleu': 0.24705691690760725, 'precisions': [0.39473684210526316, 0.2972972972972973, 0.2222222222222222, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 2.235294117647059, 'translation_length': 38, 'reference_length': 17} Rouge: {'rouge1': 0.5416666666666667, 'rouge2': 0.43478260869565216, 'rougeL': 0.37499999999999994, 'rougeLsum': 0.5416666666666667} Sari: {'sari': 28.665021635732934} Flesh Reading Ease: 46.15 ---------------------------------------- Source: ['Die Berliner Mauer war 155 Kilometer lang, etwa 43 Kilometer verliefen mitten durch Berlin.'] Prediction: ['Die Mauer Mauer war 155 Kilometer lang, etwa 43 Kilometer verliefen mitten durch Berlin.\nDie Berliner Mauer war 155 Kilometer lang, etwa 43 Kilometer verliefen mitten durch Berlin.'] Label: [['Sie war 155 Kilometer lang, etwa 43 Kilometer verliefen mitten durch Berlin.']] Sacrebleu: {'score': 37.551007153511556, 'counts': [13, 12, 11, 10], 'totals': [32, 31, 30, 29], 'precisions': [40.625, 38.70967741935484, 36.666666666666664, 34.48275862068966], 'bp': 1.0, 'sys_len': 32, 'ref_len': 14} Bleu: {'bleu': 0.37551007153511545, 'precisions': [0.40625, 0.3870967741935484, 0.36666666666666664, 0.3448275862068966], 'brevity_penalty': 1.0, 'length_ratio': 2.2857142857142856, 'translation_length': 32, 'reference_length': 14} Rouge: {'rouge1': 0.55, 'rouge2': 0.5263157894736842, 'rougeL': 0.55, 'rougeLsum': 0.55} Sari: {'sari': 62.72785829307569} Flesh Reading Ease: 49.0 ---------------------------------------- Source: ['Schon seit dem Ende des Zweiten Weltkrieges existierten faktisch zwei deutsche Länder. So wollte die Führung in Ostdeutschland in der sowjetischen Besatzungszone ein sozialistisches System errichten, doch viele Menschen flüchteten in den Westen: Zwischen 1949 und Sommer 1961 zogen rund 2,6 Millionen Menschen aus der DDR nach Westen.'] Prediction: ['Zwei deutsche Länder wollten sich in der sowjetischen Besatzungszone ein sozialistisches System errichten, doch viele Menschen flüchteten in den Westen.\nZwischen 1949 und Sommer 1961 zogen rund 2,6 Millionen Menschen aus der DDR nach Westen.'] Label: [['Schon seit dem Ende des Zweiten Weltkrieges existierten faktisch zwei deutsche Staaten, denn die Führung in Ostdeutschland wollte in der sowjetischen Besatzungszone ein sozialistisches System errichten.\nDoch viele Menschen flüchteten in den Westen.']] Sacrebleu: {'score': 33.816121603151224, 'counts': [18, 13, 11, 9], 'totals': [38, 37, 36, 35], 'precisions': [47.36842105263158, 35.13513513513514, 30.555555555555557, 25.714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 36} Bleu: {'bleu': 0.3381612160315122, 'precisions': [0.47368421052631576, 0.35135135135135137, 0.3055555555555556, 0.2571428571428571], 'brevity_penalty': 1.0, 'length_ratio': 1.0555555555555556, 'translation_length': 38, 'reference_length': 36} Rouge: {'rouge1': 0.4931506849315068, 'rouge2': 0.4507042253521127, 'rougeL': 0.4931506849315068, 'rougeLsum': 0.4931506849315068} Sari: {'sari': 30.622417834472067} Flesh Reading Ease: 51.35 ---------------------------------------- Source: ['Sie trennte Familien und Freunde, denn sie unterbrach auch alle Verbindungen der Stadt zum Berliner Umland.'] Prediction: ['Die Stadt Berlin unterbrach auch alle Verbindungen der Stadt zum Berliner Umland.\nFamilien und Freunde trennten Familien und Freunde, denn sie unterbrach auch alle Verbindungen der Stadt zum Berliner Umland.'] Label: [['Die Mauer trennte Familien und Freunde, denn sie unterbrach auch alle Verbindungen der Stadt zum Berliner Umland.']] Sacrebleu: {'score': 46.62471341936429, 'counts': [17, 15, 14, 13], 'totals': [33, 32, 31, 30], 'precisions': [51.515151515151516, 46.875, 45.16129032258065, 43.333333333333336], 'bp': 1.0, 'sys_len': 33, 'ref_len': 19} Bleu: {'bleu': 0.4662471341936429, 'precisions': [0.5151515151515151, 0.46875, 0.45161290322580644, 0.43333333333333335], 'brevity_penalty': 1.0, 'length_ratio': 1.736842105263158, 'translation_length': 33, 'reference_length': 19} Rouge: {'rouge1': 0.6382978723404256, 'rouge2': 0.5777777777777777, 'rougeL': 0.6382978723404256, 'rougeLsum': 0.6382978723404256} Sari: {'sari': 48.04932591269262} Flesh Reading Ease: 53.85 ---------------------------------------- Source: ['Um den Flüchtlingsstrom zu stoppen beschloss die DDR-Führung, die Grenzen endgültig zu schließen.'] Prediction: ['Die Grenzen in der DDR-Führung sind endgültig zu schließen.\nUm den Flüchtlingsstrom zu stoppen, beschloss die Führung die Grenzen endgültig zu schließen.'] Label: [['Um die Flüchtlinge zu stoppen beschloss die DDR-Führung, die Grenzen endgültig zu schließen.']] Sacrebleu: {'score': 24.489516889906383, 'counts': [13, 7, 4, 3], 'totals': [25, 24, 23, 22], 'precisions': [52.0, 29.166666666666668, 17.391304347826086, 13.636363636363637], 'bp': 1.0, 'sys_len': 25, 'ref_len': 15} Bleu: {'bleu': 0.24489516889906388, 'precisions': [0.52, 0.2916666666666667, 0.17391304347826086, 0.13636363636363635], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 25, 'reference_length': 15} Rouge: {'rouge1': 0.7083333333333334, 'rouge2': 0.5217391304347826, 'rougeL': 0.625, 'rougeLsum': 0.7083333333333334} Sari: {'sari': 30.21125116713352} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['Nach 28 Jahren, am 9. November 1989, wurde sie geöffnet.'] Prediction: ['Eine 28-jährige Frau wurde am 9.\nNovember 1989 geöffnet.\nSie wurde am 9.\nNovember 1989 geöffnet.'] Label: [['Denn nach 28 Jahren, am 9.\nNovember 1989, wurde die Mauer geöffnet.']] Sacrebleu: {'score': 19.80316235382626, 'counts': [9, 5, 3, 2], 'totals': [22, 21, 20, 19], 'precisions': [40.90909090909091, 23.80952380952381, 15.0, 10.526315789473685], 'bp': 1.0, 'sys_len': 22, 'ref_len': 16} Bleu: {'bleu': 0.19803162353826262, 'precisions': [0.4090909090909091, 0.23809523809523808, 0.15, 0.10526315789473684], 'brevity_penalty': 1.0, 'length_ratio': 1.375, 'translation_length': 22, 'reference_length': 16} Rouge: {'rouge1': 0.4848484848484849, 'rouge2': 0.2580645161290323, 'rougeL': 0.4848484848484849, 'rougeLsum': 0.4848484848484849} Sari: {'sari': 26.83370870870871} Flesh Reading Ease: 64.85 ---------------------------------------- Source: ['Seit der Öffnung der Mauer ist Deutschland wieder vereint.'] Prediction: ['Die Mauer ist in Deutschland wieder vereint.\nDie Öffnung der Mauer ist wieder vereint.'] Label: [['Seitdem ist Deutschland wieder vereint.']] Sacrebleu: {'score': 16.188613565728215, 'counts': [5, 3, 2, 1], 'totals': [16, 15, 14, 13], 'precisions': [31.25, 20.0, 14.285714285714286, 7.6923076923076925], 'bp': 1.0, 'sys_len': 16, 'ref_len': 6} Bleu: {'bleu': 0.16188613565728213, 'precisions': [0.3125, 0.2, 0.14285714285714285, 0.07692307692307693], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 16, 'reference_length': 6} Rouge: {'rouge1': 0.4210526315789473, 'rouge2': 0.23529411764705882, 'rougeL': 0.4210526315789473, 'rougeLsum': 0.4210526315789473} Sari: {'sari': 47.1443833943834} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Diese drei Zeilen stammen aus dem Gedicht des chinesischen Lyrikers Ai Qing, dem Vater des Künstlers Ai Weiwei.'] Prediction: ['Drei Zeilen stammen aus dem Gedicht des chinesischen Lyrikers Ai Qing, dem Vater des Künstlers Ai Weiwei.\nSie wurden dabei von einem chinesischen Lyrikern aus dem Gedicht des chinesischen Lyrikers Ai Qing gestanden.\nSie wurden dabei von einem Vater des Künstlers aus dem Gedicht gestanden.'] Label: [['drei Zeilen sind aus dem Gedicht des chinesischen Lyrikers Ai Qing, dem Vater des Künstlers Ai Weiwei.']] Sacrebleu: {'score': 30.90862178777993, 'counts': [17, 15, 14, 13], 'totals': [49, 48, 47, 46], 'precisions': [34.69387755102041, 31.25, 29.78723404255319, 28.26086956521739], 'bp': 1.0, 'sys_len': 49, 'ref_len': 19} Bleu: {'bleu': 0.3090862178777993, 'precisions': [0.3469387755102041, 0.3125, 0.2978723404255319, 0.2826086956521739], 'brevity_penalty': 1.0, 'length_ratio': 2.5789473684210527, 'translation_length': 49, 'reference_length': 19} Rouge: {'rouge1': 0.5230769230769231, 'rouge2': 0.47619047619047616, 'rougeL': 0.5230769230769231, 'rougeLsum': 0.5230769230769231} Sari: {'sari': 64.23913280551375} Flesh Reading Ease: 59.7 ---------------------------------------- Source: ['So wollen sie unter anderem ein Zeichen setzen gegen die Massentierhaltung und den Lebewesen Respekt erweisen.'] Prediction: ['Die Massentierhaltung und den Lebewesen Respekt wollen sie unter anderem ein Zeichen setzen.\nSo wollen sie unter anderem ein Zeichen setzen gegen die Massentierhaltung und den Lebewesen Respekt erweisen.'] Label: [['So wollen sie unter anderem ein Zeichen setzen gegen die Massentierhaltung.']] Sacrebleu: {'score': 32.70534171825076, 'counts': [12, 10, 9, 8], 'totals': [31, 30, 29, 28], 'precisions': [38.70967741935484, 33.333333333333336, 31.03448275862069, 28.571428571428573], 'bp': 1.0, 'sys_len': 31, 'ref_len': 12} Bleu: {'bleu': 0.32705341718250747, 'precisions': [0.3870967741935484, 0.3333333333333333, 0.3103448275862069, 0.2857142857142857], 'brevity_penalty': 1.0, 'length_ratio': 2.5833333333333335, 'translation_length': 31, 'reference_length': 12} Rouge: {'rouge1': 0.5499999999999999, 'rouge2': 0.5263157894736842, 'rougeL': 0.5499999999999999, 'rougeLsum': 0.5499999999999999} Sari: {'sari': 67.28408086166708} Flesh Reading Ease: 42.65 ---------------------------------------- Source: ['Längst haben sich Trendforscher mit dem Thema Nahrung und Essen beschäftigt - mit einigen interessanten Entwicklungen für die kommenden Jahre.'] Prediction: ['Die kommenden Jahre haben sich Trendforscher mit dem Thema Nahrung und Essen beschäftigt.\nLängst haben sich Trendforscher mit einigen interessanten Entwicklungen für die kommenden Jahre.'] Label: [['Längst haben sich Trendforscher mit dem Thema Nahrung und Essen beschäftigt - mit einigen interessanten Entwicklungen.']] Sacrebleu: {'score': 47.02215641131599, 'counts': [16, 13, 11, 9], 'totals': [27, 26, 25, 24], 'precisions': [59.25925925925926, 50.0, 44.0, 37.5], 'bp': 1.0, 'sys_len': 27, 'ref_len': 17} Bleu: {'bleu': 0.47022156411316, 'precisions': [0.5925925925925926, 0.5, 0.44, 0.375], 'brevity_penalty': 1.0, 'length_ratio': 1.588235294117647, 'translation_length': 27, 'reference_length': 17} Rouge: {'rouge1': 0.7555555555555554, 'rouge2': 0.6976744186046512, 'rougeL': 0.6666666666666667, 'rougeLsum': 0.7555555555555554} Sari: {'sari': 33.721291628268375} Flesh Reading Ease: 50.5 ---------------------------------------- Source: ['Hinter den nüchternen Zahlen stecken erschreckende Tatsachen.'] Prediction: ['Die nüchternen Zahlen stecken in den nüchternen Tatsachen.\nDie nüchternen Zahlen stecken erschreckende Tatsachen.'] Label: [['Hinter den Zahlen stecken die erschreckenden Tatsachen.']] Sacrebleu: {'score': 7.3140318268287645, 'counts': [5, 2, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [31.25, 13.333333333333334, 3.5714285714285716, 1.9230769230769231], 'bp': 1.0, 'sys_len': 16, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.3125, 0.13333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 16, 'reference_length': 8} Rouge: {'rouge1': 0.4166666666666667, 'rouge2': 0.09090909090909091, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.25} Sari: {'sari': 30.94729344729345} Flesh Reading Ease: 44.3 ---------------------------------------- Source: ['Aber zunächst die Zahlen: In Alten- und Pflegeheimen werden rund 750.000 Menschen in über 12.000 Einrichtungen stationär gepflegt. Sie können nicht mehr zu Hause leben.'] Prediction: ['In Alten und Pflegeheimen werden rund 750.000 Menschen in über 12.000 Einrichtungen stationär gepflegt.\nSie können nicht mehr zu Hause leben.'] Label: [['Aber zunächst die Zahlen: In Alten- und Pflegeheimen werden rund 750.000 Menschen in über 12.000 Einrichtungen gepflegt.']] Sacrebleu: {'score': 43.02123694194219, 'counts': [13, 10, 8, 7], 'totals': [23, 22, 21, 20], 'precisions': [56.52173913043478, 45.45454545454545, 38.095238095238095, 35.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 19} Bleu: {'bleu': 0.43021236941942204, 'precisions': [0.5652173913043478, 0.45454545454545453, 0.38095238095238093, 0.35], 'brevity_penalty': 1.0, 'length_ratio': 1.2105263157894737, 'translation_length': 23, 'reference_length': 19} Rouge: {'rouge1': 0.6666666666666665, 'rouge2': 0.6046511627906976, 'rougeL': 0.6666666666666665, 'rougeLsum': 0.6666666666666665} Sari: {'sari': 17.279151327706096} Flesh Reading Ease: 69.4 ---------------------------------------- Source: ['1,85 Millionen Menschen leben zu Hause und werden dort gepflegt, oft von ihrer Familie oder ihrem Ehepartner und unterstützt von ambulanten Pflegediensten.'] Prediction: ['1,85 Millionen Menschen leben zu Hause und werden dort gepflegt.\nDie Hause werden oft von ihrem Ehepartner oder ihrem Ehepartner.\nDie Hause werden oft von ihrer Familie oder ihrem Ehepartner gepflegt.'] Label: [['1,85 Millionen Menschen leben zu Hause und werden dort gepflegt, oft von ihrer Familie oder ihrem Ehepartner oder von einem ambulanten Pflegedienst.']] Sacrebleu: {'score': 45.871352202807046, 'counts': [20, 16, 14, 11], 'totals': [34, 33, 32, 31], 'precisions': [58.8235294117647, 48.484848484848484, 43.75, 35.483870967741936], 'bp': 1.0, 'sys_len': 34, 'ref_len': 24} Bleu: {'bleu': 0.4587135220280704, 'precisions': [0.5882352941176471, 0.48484848484848486, 0.4375, 0.3548387096774194], 'brevity_penalty': 1.0, 'length_ratio': 1.4166666666666667, 'translation_length': 34, 'reference_length': 24} Rouge: {'rouge1': 0.7272727272727273, 'rouge2': 0.6415094339622641, 'rougeL': 0.6545454545454547, 'rougeLsum': 0.6545454545454547} Sari: {'sari': 52.335046419098155} Flesh Reading Ease: 64.4 ---------------------------------------- Source: ['Wegen der fehlenden Pflegekräfte vor allem in Altenheimen müssen die vorhandenen Pflegerinnen und Pfleger mehr arbeiten.'] Prediction: ['In Altenheimen wurden vor allem vor allem vorhandenen Pflegerinnen und Pfleger mehr als 100 Personen verhaftet.\nDie vorhandenen Pflegerinnen und Pfleger müssen mehr arbeiten.'] Label: [['Da vor allem in Altenheimen Fachpersonal fehlt, müssen die vorhandenen Pflegerinnen und Pfleger mehr arbeiten.']] Sacrebleu: {'score': 20.355513820113572, 'counts': [11, 7, 4, 2], 'totals': [26, 25, 24, 23], 'precisions': [42.30769230769231, 28.0, 16.666666666666668, 8.695652173913043], 'bp': 1.0, 'sys_len': 26, 'ref_len': 17} Bleu: {'bleu': 0.20355513820113572, 'precisions': [0.4230769230769231, 0.28, 0.16666666666666666, 0.08695652173913043], 'brevity_penalty': 1.0, 'length_ratio': 1.5294117647058822, 'translation_length': 26, 'reference_length': 17} Rouge: {'rouge1': 0.6341463414634146, 'rouge2': 0.4615384615384615, 'rougeL': 0.43902439024390244, 'rougeLsum': 0.43902439024390244} Sari: {'sari': 51.374458874458874} Flesh Reading Ease: 45.15 ---------------------------------------- Source: ['Schon heute mangelt es an 130.000 Pflegekräften.'] Prediction: ['130.000 Pflegekräften wurden in der Schweiz an 130.000 Pflegekräften gefunden.\nDie Schweiz ist ein grosser Pflegekonzern.'] Label: [['Schon heute fehlen 130.000 Pflegekräfte.']] Sacrebleu: {'score': 2.5540496664715904, 'counts': [2, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [11.11111111111111, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 18, 'reference_length': 6} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.16, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 40.0} Flesh Reading Ease: 69.4 ---------------------------------------- Source: ['Dazu kommt viel Bürokratie und es bleibt zu wenig Zeit, sich wirklich um die Alten zu kümmern.'] Prediction: ['Die Schweizer Bürokratie bleibt zu wenig Zeit, sich wirklich um die Alten zu kümmern.\nDie Schweizer Bürokratie bleibt zu wenig Zeit, sich wirklich um die Alten zu kümmern.'] Label: [['Dazu kommt viel Bürokratie und es bleibt zu wenig Zeit, sich wirklich um die alten Menschen zu kümmern.']] Sacrebleu: {'score': 29.160060199573635, 'counts': [13, 10, 8, 6], 'totals': [32, 31, 30, 29], 'precisions': [40.625, 32.25806451612903, 26.666666666666668, 20.689655172413794], 'bp': 1.0, 'sys_len': 32, 'ref_len': 20} Bleu: {'bleu': 0.29160060199573634, 'precisions': [0.40625, 0.3225806451612903, 0.26666666666666666, 0.20689655172413793], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 32, 'reference_length': 20} Rouge: {'rouge1': 0.5384615384615384, 'rouge2': 0.44000000000000006, 'rougeL': 0.5384615384615384, 'rougeLsum': 0.5384615384615384} Sari: {'sari': 24.23424068851355} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ['Körperliche und psychische Beschwerden des Pflegepersonals sind häufig.'] Prediction: ['Der Pflegepersonale Pflegepersonale ist häufig.\nEr hatte sich mit psychischen Beschwerden zu sehen bekommen.\nDie Beschwerden des Pflegepersonals sind häufig.'] Label: [['Das Personal leidet häufig unter körperlichen und psychischen Beschwerden.']] Sacrebleu: {'score': 3.9164496650022476, 'counts': [4, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [17.391304347826086, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3, 'translation_length': 23, 'reference_length': 10} Rouge: {'rouge1': 0.24242424242424246, 'rouge2': 0.12903225806451613, 'rougeL': 0.24242424242424246, 'rougeLsum': 0.24242424242424246} Sari: {'sari': 37.148148148148145} Flesh Reading Ease: 38.75 ---------------------------------------- Source: ['Die deutsche Politik will nun gezielt Menschen aus dem Ausland anwerben - auch aus Nicht-EU-Ländern.'] Prediction: ['Die deutsche Politik will aus dem Ausland gezielt Menschen aus dem Ausland anwerben.\nDie deutsche Politik will nun gezielt Menschen aus dem Ausland anwerben.'] Label: [['Daher werden nun gezielt Menschen aus dem Ausland angesprochen, die zu Altenpflegern in Deutschland ausgebildet werden.']] Sacrebleu: {'score': 18.4969113023502, 'counts': [7, 5, 4, 3], 'totals': [26, 25, 24, 23], 'precisions': [26.923076923076923, 20.0, 16.666666666666668, 13.043478260869565], 'bp': 1.0, 'sys_len': 26, 'ref_len': 18} Bleu: {'bleu': 0.1849691130235019, 'precisions': [0.2692307692307692, 0.2, 0.16666666666666666, 0.13043478260869565], 'brevity_penalty': 1.0, 'length_ratio': 1.4444444444444444, 'translation_length': 26, 'reference_length': 18} Rouge: {'rouge1': 0.35000000000000003, 'rouge2': 0.26315789473684204, 'rougeL': 0.3, 'rougeLsum': 0.3} Sari: {'sari': 54.972804972804965} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Der Personalmangel trifft vor allem die alten Menschen in Deutschland, die die Pflege so dringend brauchen.'] Prediction: ['Die alten Menschen in Deutschland, die die Pflege so dringend brauchen, trifft ein Personalmangel.\nDer Personalmangel trifft vor allem die alten Menschen in Deutschland, die die Pflege so dringend brauchen.'] Label: [['Der Personalmangel trifft vor allem die alten Menschen in Deutschland, denn diese brauchen die Pflege dringend.']] Sacrebleu: {'score': 31.689002674537868, 'counts': [16, 11, 9, 8], 'totals': [35, 34, 33, 32], 'precisions': [45.714285714285715, 32.35294117647059, 27.272727272727273, 25.0], 'bp': 1.0, 'sys_len': 35, 'ref_len': 18} Bleu: {'bleu': 0.3168900267453786, 'precisions': [0.45714285714285713, 0.3235294117647059, 0.2727272727272727, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.9444444444444444, 'translation_length': 35, 'reference_length': 18} Rouge: {'rouge1': 0.608695652173913, 'rouge2': 0.4545454545454545, 'rougeL': 0.5652173913043479, 'rougeLsum': 0.5652173913043479} Sari: {'sari': 59.64906832298137} Flesh Reading Ease: 59.7 ---------------------------------------- Source: ['Rund um die Innenstadt führt die sogenannte Promenade.'] Prediction: ['Die sogenannte Promenade führt am Freitagabend in der Nähe von Stadt Bern statt.\nDie Promenade führt am Freitagabend auf der Strasse statt.\nDie Promenade führt am Freitagabend auf der Strasse statt.'] Label: [['Es gibt viele Radwege und rund um die Innenstadt führt die sogenannte Promenade.']] Sacrebleu: {'score': 2.5889065173943995, 'counts': [4, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [11.764705882352942, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4285714285714284, 'translation_length': 34, 'reference_length': 14} Rouge: {'rouge1': 0.24489795918367346, 'rouge2': 0.12765957446808512, 'rougeL': 0.20408163265306123, 'rougeLsum': 0.12244897959183673} Sari: {'sari': 12.083333333333336} Flesh Reading Ease: 70.25 ---------------------------------------- Source: ['Und das lohnt sich, denn Münster und seine wunderschöne Umgebung lassen sich gut mit dem Fahrrad erkunden.'] Prediction: ['Das Fahrrad in Münster lohnt sich, denn Münster und seine wunderschöne Umgebung lassen sich gut mit dem Fahrrad erkunden.\nDas lohnt sich, denn Münster und seine wunderschöne Umgebung lassen sich gut mit dem Fahrrad erkunden.'] Label: [['Münster und seine wunderschöne Umgebung lassen sich gut mit dem Fahrrad erkunden.']] Sacrebleu: {'score': 30.534528187035765, 'counts': [13, 12, 11, 10], 'totals': [39, 38, 37, 36], 'precisions': [33.333333333333336, 31.57894736842105, 29.72972972972973, 27.77777777777778], 'bp': 1.0, 'sys_len': 39, 'ref_len': 13} Bleu: {'bleu': 0.3053452818703576, 'precisions': [0.3333333333333333, 0.3157894736842105, 0.2972972972972973, 0.2777777777777778], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 39, 'reference_length': 13} Rouge: {'rouge1': 0.5185185185185185, 'rouge2': 0.5, 'rougeL': 0.5185185185185185, 'rougeLsum': 0.5185185185185185} Sari: {'sari': 60.58322690506598} Flesh Reading Ease: 63.05 ---------------------------------------- Source: ['1945 wurde das Schloss total zerbombt, zwischen 1947 und 1953 wurde es nach alten Plänen wieder aufgebaut.'] Prediction: ['Das Schloss von 1945 wurde total zerbombt.\nDie Schäden wurden nach alten Plänen wieder aufgebaut.'] Label: [['1945 wurde das Schloss total durch Bomben zerstört, zwischen 1947 und 1953 wurde es nach alten Plänen wieder aufgebaut.']] Sacrebleu: {'score': 26.48189977039116, 'counts': [10, 6, 4, 3], 'totals': [17, 16, 15, 14], 'precisions': [58.8235294117647, 37.5, 26.666666666666668, 21.428571428571427], 'bp': 0.7903383629814982, 'sys_len': 17, 'ref_len': 21} Bleu: {'bleu': 0.26481899770391165, 'precisions': [0.5882352941176471, 0.375, 0.26666666666666666, 0.21428571428571427], 'brevity_penalty': 0.7903383629814982, 'length_ratio': 0.8095238095238095, 'translation_length': 17, 'reference_length': 21} Rouge: {'rouge1': 0.5789473684210527, 'rouge2': 0.38888888888888884, 'rougeL': 0.4736842105263158, 'rougeLsum': 0.4736842105263158} Sari: {'sari': 23.32977207977208} Flesh Reading Ease: 73.05 ---------------------------------------- Source: ['Für ganz Europa wichtig ist das Jahr 1648, denn da wurde in Münster der Westfälische Friede geschlossen – er beendete den Dreißigjährigen Krieg.'] Prediction: ['Das Jahr 1648 wurde in Münster der Westfälische Friede geschlossen.\nDas Jahr 1648 wurde in Münster der Westfälische Friede geschlossen.\nDie Westfälische Friede wurde in Münster von Dreißigjährigen Krieg beendete den Dreißigjährigen Krieg.'] Label: [['Für ganz Europa wichtig ist das Jahr 1648, denn da wurde in Münster der Westfälische Friede geschlossen.\nEr beendete den Dreißigjährigen Krieg.']] Sacrebleu: {'score': 29.92694690475121, 'counts': [15, 12, 9, 7], 'totals': [36, 35, 34, 33], 'precisions': [41.666666666666664, 34.285714285714285, 26.470588235294116, 21.21212121212121], 'bp': 1.0, 'sys_len': 36, 'ref_len': 25} Bleu: {'bleu': 0.2992694690475121, 'precisions': [0.4166666666666667, 0.34285714285714286, 0.2647058823529412, 0.21212121212121213], 'brevity_penalty': 1.0, 'length_ratio': 1.44, 'translation_length': 36, 'reference_length': 25} Rouge: {'rouge1': 0.5142857142857143, 'rouge2': 0.4411764705882353, 'rougeL': 0.5142857142857143, 'rougeLsum': 0.5142857142857143} Sari: {'sari': 30.888674774709695} Flesh Reading Ease: 52.0 ---------------------------------------- Source: ['Berühmt ist aber vor allem Hamburgs Hafen.'] Prediction: ['Am Sonntagabend gab es in Hamburg einen Rekordwurf.\nDie Schweizer Stadt hatte den Rekordwurf gefunden.\nDie Schweizer Stadt hatte den Rekordwurf gefunden.'] Label: [['Berühmt ist aber vor allem der Hafen.']] Sacrebleu: {'score': 1.506189323093867, 'counts': [1, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [4.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.04, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.125, 'translation_length': 25, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 14.821428571428571} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ['kommen hier jährlich an, die meisten sind Containerschiffe mit Waren aus aller Welt.'] Prediction: ['Die meisten Containerschiffe sind aus aller Welt.\nSie sind meisten mit Waren aus aller Welt.'] Label: [['kommen hier jährlich an.\nDie meisten sind Containerschiffe mit Waren aus aller Welt.']] Sacrebleu: {'score': 34.31501915902151, 'counts': [11, 6, 4, 3], 'totals': [17, 16, 15, 14], 'precisions': [64.70588235294117, 37.5, 26.666666666666668, 21.428571428571427], 'bp': 1.0, 'sys_len': 17, 'ref_len': 15} Bleu: {'bleu': 0.34315019159021515, 'precisions': [0.6470588235294118, 0.375, 0.26666666666666666, 0.21428571428571427], 'brevity_penalty': 1.0, 'length_ratio': 1.1333333333333333, 'translation_length': 17, 'reference_length': 15} Rouge: {'rouge1': 0.6206896551724138, 'rouge2': 0.3703703703703704, 'rougeL': 0.5517241379310344, 'rougeLsum': 0.5517241379310344} Sari: {'sari': 32.03884078884079} Flesh Reading Ease: 78.9 ---------------------------------------- Source: ['Hamburg ist der größte Eisenbahnhafen Europas und der zweitgrößte der Welt.'] Prediction: ['Hamburg ist der größte Eisenbahnhafen Europas und der zweitgrößte der Welt.\nDie Welt ist der größte Eisenbahnhafen Europas und der zweitgrößte der Welt.\nDie Welt ist der größte Eisenbahnhafen Europas und der zweitgrößte der Welt.'] Label: [['Hamburg ist gleichzeitig der größte Eisenbahnhafen Europas und der zweitgrößte der Welt.']] Sacrebleu: {'score': 24.81723263771339, 'counts': [12, 10, 8, 7], 'totals': [38, 37, 36, 35], 'precisions': [31.57894736842105, 27.027027027027028, 22.22222222222222, 20.0], 'bp': 1.0, 'sys_len': 38, 'ref_len': 13} Bleu: {'bleu': 0.24817232637713388, 'precisions': [0.3157894736842105, 0.2702702702702703, 0.2222222222222222, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 2.923076923076923, 'translation_length': 38, 'reference_length': 13} Rouge: {'rouge1': 0.4727272727272727, 'rouge2': 0.41509433962264153, 'rougeL': 0.4727272727272727, 'rougeLsum': 0.4727272727272727} Sari: {'sari': 64.30224867724868} Flesh Reading Ease: 57.15 ---------------------------------------- Source: ['Besonders beeindruckend ist die Speicherstadt - ein historischer Komplex von Lagerhäusern innerhalb des Hamburger Hafens.'] Prediction: ['In Lagerhäusern ist ein historischer Komplex von Lagerhäusern innerhalb des Hamburger Hafens gestorben.\nDie Speicherstadt ist ein historischer Komplex von Lagerhäusern innerhalb des Hamburger Hafens.'] Label: [['Besonders beeindruckend ist die Speicherstadt – historische Lagerhäuser innerhalb des Hamburger Hafens.']] Sacrebleu: {'score': 14.132052098159443, 'counts': [7, 4, 3, 2], 'totals': [27, 26, 25, 24], 'precisions': [25.925925925925927, 15.384615384615385, 12.0, 8.333333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 13} Bleu: {'bleu': 0.14132052098159442, 'precisions': [0.25925925925925924, 0.15384615384615385, 0.12, 0.08333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 2.076923076923077, 'translation_length': 27, 'reference_length': 13} Rouge: {'rouge1': 0.4, 'rouge2': 0.21052631578947367, 'rougeL': 0.4, 'rougeLsum': 0.4} Sari: {'sari': 32.86179601396993} Flesh Reading Ease: 38.8 ---------------------------------------- Source: ['Fast 600.000 Quadratmeter beträgt die Fläche, die übrigens auf Eichenpfählen erbaut ist.'] Prediction: ['Fast 600.000 Quadratmeter beträgt die Fläche, die übrigens auf Eichenpfählen erbaut ist.\nFast 600.000 Quadratmeter beträgt die Fläche, die übrigens auf Eichenpfählen erbaut ist.'] Label: [['Fast 600.000 Quadratmeter beträgt die Fläche.']] Sacrebleu: {'score': 17.098323692758395, 'counts': [7, 5, 4, 3], 'totals': [28, 27, 26, 25], 'precisions': [25.0, 18.51851851851852, 15.384615384615385, 12.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 7} Bleu: {'bleu': 0.17098323692758394, 'precisions': [0.25, 0.18518518518518517, 0.15384615384615385, 0.12], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 28, 'reference_length': 7} Rouge: {'rouge1': 0.43902439024390244, 'rouge2': 0.41025641025641024, 'rougeL': 0.43902439024390244, 'rougeLsum': 0.43902439024390244} Sari: {'sari': 59.58994708994708} Flesh Reading Ease: 56.85 ---------------------------------------- Source: ['Dieser Lagerhauskomplex ist der größte der Welt und ebenfalls ein Muss unter den Sehenswürdigkeiten Hamburgs.'] Prediction: ['Dieser Lagerhauskomplex ist der größte der Welt und ebenfalls ein Muss unter den Sehenswürdigkeiten Hamburgs.\nDer Lagerhauskomplex ist der größte der Welt und ebenfalls ein Muss unter den Sehenswürdigkeiten Hamburgs.'] Label: [['Dieser Lagerhauskomplex ist der größte der Welt.']] Sacrebleu: {'score': 18.26249361348376, 'counts': [8, 6, 5, 4], 'totals': [32, 31, 30, 29], 'precisions': [25.0, 19.35483870967742, 16.666666666666668, 13.793103448275861], 'bp': 1.0, 'sys_len': 32, 'ref_len': 8} Bleu: {'bleu': 0.1826249361348376, 'precisions': [0.25, 0.1935483870967742, 0.16666666666666666, 0.13793103448275862], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 32, 'reference_length': 8} Rouge: {'rouge1': 0.38095238095238093, 'rouge2': 0.35, 'rougeL': 0.38095238095238093, 'rougeLsum': 0.38095238095238093} Sari: {'sari': 60.03913527133341} Flesh Reading Ease: 53.85 ---------------------------------------- Source: ['Vor etwa 700 Jahren nannte sich so ein Zusammenschluss von Städten und Kaufmannsverbänden, denn das "Hansebündnis" sollte den Handel zwischen den Mitgliedern erleichtern.'] Prediction: ['Ein Zusammenschluss von Städten und Kaufmannsverbänden ist im Rahmen einer "Hansebündnis" für die Macher des Mitglieder.\nEs sollte den Handel zwischen den Mitgliedern erleichtern.'] Label: [['Vor etwa 700 Jahren nannte sich so ein Zusammenschluss von Städten und Kaufmannsverbänden.\nDas "Hansebündnis" sollte den Handel zwischen den Mitgliedern erleichtern.']] Sacrebleu: {'score': 42.12246619174369, 'counts': [17, 13, 10, 7], 'totals': [28, 27, 26, 25], 'precisions': [60.714285714285715, 48.148148148148145, 38.46153846153846, 28.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 26} Bleu: {'bleu': 0.4212246619174369, 'precisions': [0.6071428571428571, 0.48148148148148145, 0.38461538461538464, 0.28], 'brevity_penalty': 1.0, 'length_ratio': 1.0769230769230769, 'translation_length': 28, 'reference_length': 26} Rouge: {'rouge1': 0.6415094339622641, 'rouge2': 0.5490196078431373, 'rougeL': 0.6415094339622641, 'rougeLsum': 0.6415094339622641} Sari: {'sari': 32.45489537156204} Flesh Reading Ease: 56.85 ---------------------------------------- Source: ['Der bekannteste Pirat in der hamburgischen Geschichte ist Klaus Störtebeker, ihm ist in der Hafen-City am vermuteten Hinrichtungsort ein Denkmal errichtet.'] Prediction: ['Klaus Störtebeker, der bekannteste Pirat in der hamburgischen Geschichte ist, ist am vermuteten Hinrichtungsort ein Denkmal errichtet.\nDer bekannteste Pirat in der hamburgischen Geschichte ist Klaus Störtebeker, ihm ist in der Hafen-City am vermuteten Hinrichtungsort ein Denkmal errichtet.'] Label: [['Der bekannteste Pirat in der hamburgischen Geschichte ist Klaus Störtebeker.\nIhm ist in der Hafen-City ein Denkmal errichtet.']] Sacrebleu: {'score': 31.92837057100498, 'counts': [19, 15, 12, 9], 'totals': [43, 42, 41, 40], 'precisions': [44.18604651162791, 35.714285714285715, 29.26829268292683, 22.5], 'bp': 1.0, 'sys_len': 43, 'ref_len': 20} Bleu: {'bleu': 0.3192837057100497, 'precisions': [0.4418604651162791, 0.35714285714285715, 0.2926829268292683, 0.225], 'brevity_penalty': 1.0, 'length_ratio': 2.15, 'translation_length': 43, 'reference_length': 20} Rouge: {'rouge1': 0.6557377049180327, 'rouge2': 0.6101694915254237, 'rougeL': 0.6557377049180327, 'rougeLsum': 0.6557377049180327} Sari: {'sari': 67.8921568627451} Flesh Reading Ease: 32.3 ---------------------------------------- Source: ['Humor und Witz kann so vieles sein – hier der Beweis für eine deutsche humoristische Tradition: Der Aprilscherz.'] Prediction: ['Der Aprilscherz ist eine deutsche humoristische Tradition.\nDie Welt ist eine deutsche humoristische Tradition.\nDie Welt ist eine deutsche traditionelle Tradition.'] Label: [['Hier eine deutsche humoristische Tradition: Der Aprilscherz.']] Sacrebleu: {'score': 12.173115521158184, 'counts': [7, 4, 2, 1], 'totals': [24, 23, 22, 21], 'precisions': [29.166666666666668, 17.391304347826086, 9.090909090909092, 4.761904761904762], 'bp': 1.0, 'sys_len': 24, 'ref_len': 9} Bleu: {'bleu': 0.12173115521158184, 'precisions': [0.2916666666666667, 0.17391304347826086, 0.09090909090909091, 0.047619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 24, 'reference_length': 9} Rouge: {'rouge1': 0.42857142857142855, 'rouge2': 0.30769230769230765, 'rougeL': 0.2857142857142857, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 45.87364024864025} Flesh Reading Ease: 32.6 ---------------------------------------- Source: ['Bereits 1618 taucht sie erstmals auf und bedeutet: Jemanden mit einer falschen Information hereinlegen oder jemanden zum Narren halten – ein Scherz meist auf Kosten anderer.'] Prediction: ['Ein Scherz meist auf Kosten underer.\nDie Opfer taucht erstmals auf und bedeutet: Jemanden mit einer falschen Information hereinlegen oder jemanden zum Narren halten.'] Label: [['Bereits 1618 taucht sie erstmals auf und bedeutet: Jemanden mit einer falschen Information hereinlegen.']] Sacrebleu: {'score': 38.60973950960897, 'counts': [13, 10, 9, 8], 'totals': [27, 26, 25, 24], 'precisions': [48.148148148148145, 38.46153846153846, 36.0, 33.333333333333336], 'bp': 1.0, 'sys_len': 27, 'ref_len': 16} Bleu: {'bleu': 0.3860973950960897, 'precisions': [0.48148148148148145, 0.38461538461538464, 0.36, 0.3333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.6875, 'translation_length': 27, 'reference_length': 16} Rouge: {'rouge1': 0.5789473684210527, 'rouge2': 0.5, 'rougeL': 0.5789473684210527, 'rougeLsum': 0.5789473684210527} Sari: {'sari': 37.709804134535325} Flesh Reading Ease: 56.85 ---------------------------------------- Source: ['Eigentlich dachte er, dass angesichts des Datums niemand reagieren würde und war überrascht, dass sich über 100 Interessenten meldeten.'] Prediction: ['Ein Experte hatte sich in einem Interview mit dem Datum niemand reagieren.\nEr wollte niemand reagieren, dass sich über 100 Interessenten meldeten.\nEr wollte niemand reagieren, dass sich über 100 Interessenten meldeten.'] Label: [['Eigentlich dachte er, dass niemand reagieren würde.\nEs meldeten sich über 100 Interessenten.']] Sacrebleu: {'score': 9.127153924501933, 'counts': [11, 5, 2, 1], 'totals': [37, 36, 35, 34], 'precisions': [29.72972972972973, 13.88888888888889, 5.714285714285714, 2.9411764705882355], 'bp': 1.0, 'sys_len': 37, 'ref_len': 16} Bleu: {'bleu': 0.09127153924501932, 'precisions': [0.2972972972972973, 0.1388888888888889, 0.05714285714285714, 0.029411764705882353], 'brevity_penalty': 1.0, 'length_ratio': 2.3125, 'translation_length': 37, 'reference_length': 16} Rouge: {'rouge1': 0.391304347826087, 'rouge2': 0.18181818181818182, 'rougeL': 0.34782608695652173, 'rougeLsum': 0.30434782608695654} Sari: {'sari': 40.75011105558332} Flesh Reading Ease: 52.3 ---------------------------------------- Source: ['Für viele Lacher sorgen seit einigen Jahren Komiker wie Abdelkarim, Kaya Yanar, Enissa Amani oder Bülent Ceylan.'] Prediction: ['Die Komiker wie Abdelkarim, Kaya Yanar, Enissa Amani oder Bülent Ceylan sorgen seit einigen Jahren für viele Lacher.\nSie sorgen für viele Lacher und sorgen für viele Lacher.'] Label: [['sorgen seit einigen Jahren Komiker wie Abdelkarim, Kaya Yanar oder Bülent Ceylan.']] Sacrebleu: {'score': 25.96054380577989, 'counts': [14, 10, 7, 4], 'totals': [32, 31, 30, 29], 'precisions': [43.75, 32.25806451612903, 23.333333333333332, 13.793103448275861], 'bp': 1.0, 'sys_len': 32, 'ref_len': 14} Bleu: {'bleu': 0.25960543805779895, 'precisions': [0.4375, 0.3225806451612903, 0.23333333333333334, 0.13793103448275862], 'brevity_penalty': 1.0, 'length_ratio': 2.2857142857142856, 'translation_length': 32, 'reference_length': 14} Rouge: {'rouge1': 0.5777777777777777, 'rouge2': 0.4651162790697674, 'rougeL': 0.4, 'rougeLsum': 0.4444444444444445} Sari: {'sari': 39.667498363150536} Flesh Reading Ease: 60.7 ---------------------------------------- Source: ['Wie das Statistische Bundesamt berichtet, gibt es heute 79 Prozent mehr private Schulen in Deutschland als noch 1992.'] Prediction: ['Deutschland vermeldet 79 Prozent mehr private Schulen als noch 1992.\nDas Statistische Bundesamt berichtet, dass es 79 Prozent mehr private Schulen gibt.'] Label: [['Wie das Statistische Bundesamt berichtet, gibt es heute 79 Prozent mehr private Schulen in Deutschland']] Sacrebleu: {'score': 25.381494737245898, 'counts': [12, 7, 5, 3], 'totals': [25, 24, 23, 22], 'precisions': [48.0, 29.166666666666668, 21.73913043478261, 13.636363636363637], 'bp': 1.0, 'sys_len': 25, 'ref_len': 16} Bleu: {'bleu': 0.25381494737245897, 'precisions': [0.48, 0.2916666666666667, 0.21739130434782608, 0.13636363636363635], 'brevity_penalty': 1.0, 'length_ratio': 1.5625, 'translation_length': 25, 'reference_length': 16} Rouge: {'rouge1': 0.6486486486486486, 'rouge2': 0.4, 'rougeL': 0.5405405405405405, 'rougeLsum': 0.5405405405405405} Sari: {'sari': 24.734686609686605} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Woher kommt dieses Wachstum?'] Prediction: ['Die Schweizer Welt kommt dieses Wachstum.\nWoher kommt dieses Wachstum?'] Label: [['als noch 1992.Woher kommt dieses Wachstum?']] Sacrebleu: {'score': 41.72261448611505, 'counts': [6, 5, 4, 3], 'totals': [12, 11, 10, 9], 'precisions': [50.0, 45.45454545454545, 40.0, 33.333333333333336], 'bp': 1.0, 'sys_len': 12, 'ref_len': 9} Bleu: {'bleu': 0.41722614486115056, 'precisions': [0.5, 0.45454545454545453, 0.4, 0.3333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 12, 'reference_length': 9} Rouge: {'rouge1': 0.47058823529411764, 'rouge2': 0.4, 'rougeL': 0.47058823529411764, 'rougeLsum': 0.47058823529411764} Sari: {'sari': 73.78367003367003} Flesh Reading Ease: 81.4 ---------------------------------------- Source: ['Pro Woche fallen im Schnitt eine Million Stunden durch Krankheit, Fortbildung oder Schwangerschaften von Lehrpersonal aus.'] Prediction: ['Im Schnitt wurden immer mehr Stunden durch Krankheit, Fortbildung oder Schwangerschaften von Lehrpersonal ausgestellt.\nDie Pro Woche fallen im Schnitt eine Million Stunden durch Krankheit, Fortbildung oder Schwangerschaften von Lehrpersonal aus.'] Label: [['Pro Woche fallen im Schnitt eine Million Stunden aus.']] Sacrebleu: {'score': 20.90499608387982, 'counts': [10, 8, 6, 5], 'totals': [35, 34, 33, 32], 'precisions': [28.571428571428573, 23.529411764705884, 18.181818181818183, 15.625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 10} Bleu: {'bleu': 0.20904996083879818, 'precisions': [0.2857142857142857, 0.23529411764705882, 0.18181818181818182, 0.15625], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 35, 'reference_length': 10} Rouge: {'rouge1': 0.45000000000000007, 'rouge2': 0.3684210526315789, 'rougeL': 0.45000000000000007, 'rougeLsum': 0.45000000000000007} Sari: {'sari': 53.33116883116883} Flesh Reading Ease: 53.35 ---------------------------------------- Source: ['Das Problem wird vor allem darauf zurückgeführt, dass es kaum Vertretungslehrer gebe und nicht schnell genug Ersatz kurzfristig eingestellt werden kann.'] Prediction: ['Ein Vertretungslehrer wird nicht genug Ersatz kurzfristig eingestellt.\nDas Problem wird vor allem darauf zurückgeführt, dass es kaum Vertretungslehrer gebe und nicht schnell genug Ersatz kurzfristig eingestellt werden kann.'] Label: [['Das Problem: Es gibt kaum Vertretungslehrer.']] Sacrebleu: {'score': 3.4691235891273147, 'counts': [5, 2, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [15.625, 6.451612903225806, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.15625, 0.06451612903225806, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 32, 'reference_length': 8} Rouge: {'rouge1': 0.27027027027027023, 'rouge2': 0.1142857142857143, 'rougeL': 0.27027027027027023, 'rougeLsum': 0.27027027027027023} Sari: {'sari': 38.17049808429119} Flesh Reading Ease: 48.5 ---------------------------------------- Source: ['Die Erfolgsquote von Schülerinnen und Schülern beim Bildungsabschluss ist in öffentlichen Schulen und Privatschulen übrigens nahezu gleich.'] Prediction: ['Die Erfolgsquote von Schülerinnen und Schülern beim Bildungsabschluss ist in öffentlichen Schulen und Privatschulen übrigens nahezu gleich.\nIn öffentlichen Schulen und Privatschulen ist die Erfolgsquote nahezu gleich.'] Label: [['Der Erfolg von Schülern beim Bildungsabschluss ist in öffentlichen Schulen und Privatschulen übrigens nahezu gleich.']] Sacrebleu: {'score': 42.43285041694932, 'counts': [14, 12, 11, 10], 'totals': [29, 28, 27, 26], 'precisions': [48.275862068965516, 42.857142857142854, 40.74074074074074, 38.46153846153846], 'bp': 1.0, 'sys_len': 29, 'ref_len': 16} Bleu: {'bleu': 0.4243285041694932, 'precisions': [0.4827586206896552, 0.42857142857142855, 0.4074074074074074, 0.38461538461538464], 'brevity_penalty': 1.0, 'length_ratio': 1.8125, 'translation_length': 29, 'reference_length': 16} Rouge: {'rouge1': 0.6222222222222222, 'rouge2': 0.6046511627906976, 'rougeL': 0.6222222222222222, 'rougeLsum': 0.6222222222222222} Sari: {'sari': 61.06372436125592} Flesh Reading Ease: 37.8 ---------------------------------------- Source: ['Jeder deutsche Erwachsene sitzt durchschnittlich sieben Stunden am Tag.'] Prediction: ['Ein deutscher Erwachsene sitzt am Tag in der Nacht auf Sonntagabend in Deutschland.\nDie Polizei verhaftete sich am Sonntagabend auf Sonntagabend.\nDie Polizei verhaftete sich am Sonntagabend zu einer Verhaftung.'] Label: [['Jeder deutsche Erwachsene sitzt durchschnittlich sieben Stunden am Tag, er bewegt sich praktisch nicht.']] Sacrebleu: {'score': 3.5154918713109633, 'counts': [6, 2, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [18.181818181818183, 6.25, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.0625, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0625, 'translation_length': 33, 'reference_length': 16} Rouge: {'rouge1': 0.22727272727272724, 'rouge2': 0.09523809523809525, 'rougeL': 0.22727272727272724, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 13.105158730158731} Flesh Reading Ease: 58.85 ---------------------------------------- Source: ['Die Sportler sind in Deutschland inzwischen in einer - wenn auch knappen – Minderheit.'] Prediction: ['Die Sportler sind in Deutschland inzwischen in einer Minderheit.\nSie sind in einer Minderheit.'] Label: [['Die Sportler sind in Deutschland inzwischen in einer Minderheit.']] Sacrebleu: {'score': 58.282339541526554, 'counts': [10, 9, 8, 7], 'totals': [16, 15, 14, 13], 'precisions': [62.5, 60.0, 57.142857142857146, 53.84615384615385], 'bp': 1.0, 'sys_len': 16, 'ref_len': 10} Bleu: {'bleu': 0.5828233954152653, 'precisions': [0.625, 0.6, 0.5714285714285714, 0.5384615384615384], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 16, 'reference_length': 10} Rouge: {'rouge1': 0.782608695652174, 'rouge2': 0.761904761904762, 'rougeL': 0.782608695652174, 'rougeLsum': 0.782608695652174} Sari: {'sari': 78.70370370370371} Flesh Reading Ease: 67.7 ---------------------------------------- Source: ['Drittel der Befragten bewegen sich noch nicht einmal eine Stunde am Tag, den Gang zu Kopierer und Toilette mit eingerechnet.'] Prediction: ['Ein Stunde nach der Stunde zwischen Kopierer und Toilette ist ein Gang zu Kopierer und Toilette mit eingerechnet.\nDie Befragten bewegen sich noch nicht einmal eine Stunde am Tag, den Gang zu Kopierer und Toilette mit eingerechnet.'] Label: [['Drittel der Befragten bewegen sich noch nicht einmal eine Stunde am Tag.']] Sacrebleu: {'score': 22.91529570482003, 'counts': [12, 9, 8, 7], 'totals': [40, 39, 38, 37], 'precisions': [30.0, 23.076923076923077, 21.05263157894737, 18.91891891891892], 'bp': 1.0, 'sys_len': 40, 'ref_len': 13} Bleu: {'bleu': 0.22915295704820032, 'precisions': [0.3, 0.23076923076923078, 0.21052631578947367, 0.1891891891891892], 'brevity_penalty': 1.0, 'length_ratio': 3.076923076923077, 'translation_length': 40, 'reference_length': 13} Rouge: {'rouge1': 0.4489795918367347, 'rouge2': 0.38297872340425526, 'rougeL': 0.4489795918367347, 'rougeLsum': 0.4489795918367347} Sari: {'sari': 20.13143719026072} Flesh Reading Ease: 56.2 ---------------------------------------- Source: ['Um sich zu motivieren, nutzen viele Deutsche inzwischen digitale Helfer: Pulsuhren, Fitnessarmbänder und ihr Mobiltelefon mit den passenden Apps unterstützen, messen und bewerten die Aktivitäten.'] Prediction: ['Ein digitales Handy nutzen viele Deutsche inzwischen digitale Helfer.\nPulsuhren, Fitnessarmbänder und ihr Mobiltelefon werden mit den passenden Apps unterstützen, messen und bewerten die Aktivitäten.'] Label: [['Um sich zu motivieren, setzen viele Deutsche inzwischen digitale Helfer ein: Pulsuhren, Fitnessarmbänder und ihr Mobiltelefon mit den passenden Apps.\nDiese Helfer unterstützen, messen und bewerten die Aktivitäten.']] Sacrebleu: {'score': 50.72949656370612, 'counts': [24, 19, 15, 11], 'totals': [29, 28, 27, 26], 'precisions': [82.75862068965517, 67.85714285714286, 55.55555555555556, 42.30769230769231], 'bp': 0.8416308400672835, 'sys_len': 29, 'ref_len': 34} Bleu: {'bleu': 0.5072949656370616, 'precisions': [0.8275862068965517, 0.6785714285714286, 0.5555555555555556, 0.4230769230769231], 'brevity_penalty': 0.8416308400672834, 'length_ratio': 0.8529411764705882, 'translation_length': 29, 'reference_length': 34} Rouge: {'rouge1': 0.8135593220338982, 'rouge2': 0.6666666666666667, 'rougeL': 0.7796610169491526, 'rougeLsum': 0.7796610169491526} Sari: {'sari': 38.207497703927324} Flesh Reading Ease: 21.25 ---------------------------------------- Source: ['Etwa die Hälfte von ihnen (48 Prozent) ist überzeugt, dass sie sich dadurch auch mehr bewegen.'] Prediction: ['Die Hälfte von ihnen (48 Prozent) sind überzeugt, dass sie sich dadurch auch mehr bewegen.\nEtwa die Hälfte von ihnen (48 Prozent) ist überzeugt, dass sie sich dadurch auch mehr bewegen.'] Label: [['Etwa die Hälfte der Personen (48 Prozent) ist überzeugt, dass sie sich dadurch auch mehr bewegen.']] Sacrebleu: {'score': 39.56738376701904, 'counts': [18, 16, 14, 12], 'totals': [39, 38, 37, 36], 'precisions': [46.15384615384615, 42.10526315789474, 37.83783783783784, 33.333333333333336], 'bp': 1.0, 'sys_len': 39, 'ref_len': 20} Bleu: {'bleu': 0.3956738376701904, 'precisions': [0.46153846153846156, 0.42105263157894735, 0.3783783783783784, 0.3333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.95, 'translation_length': 39, 'reference_length': 20} Rouge: {'rouge1': 0.6, 'rouge2': 0.5416666666666666, 'rougeL': 0.6, 'rougeLsum': 0.6} Sari: {'sari': 63.03533618529082} Flesh Reading Ease: 76.75 ---------------------------------------- Source: ['Rückstände von Pestiziden in Nahrungsmitteln, Mogelpackungen von Waren, Datenmissbrauch oder Weichmacher in Kinderspielzeug und alles Mögliche, was den Menschen schadet, ist verboten.'] Prediction: ['Pestiziden in Nahrungsmitteln, Mogelpackungen von Waren, Datenmissbrauch oder Weichmacher in Kinderspielzeug, ist verboten.\nDie Rückstände von Pestiziden in Nahrungsmitteln, Mogelpackungen von Waren, Datenmissbrauch oder Weichmacher in Kinderspielzeug und alles Mögliche, was den Menschen schadet, ist verboten.'] Label: [['Rückstände von Pestiziden in Nahrungsmitteln, Mogelpackungen von Waren, Datenmissbrauch und alles Mögliche, was den Menschen schadet, ist verboten.']] Sacrebleu: {'score': 45.70268120123898, 'counts': [23, 21, 19, 17], 'totals': [45, 44, 43, 42], 'precisions': [51.111111111111114, 47.72727272727273, 44.18604651162791, 40.476190476190474], 'bp': 1.0, 'sys_len': 45, 'ref_len': 23} Bleu: {'bleu': 0.4570268120123897, 'precisions': [0.5111111111111111, 0.4772727272727273, 0.4418604651162791, 0.40476190476190477], 'brevity_penalty': 1.0, 'length_ratio': 1.9565217391304348, 'translation_length': 45, 'reference_length': 23} Rouge: {'rouge1': 0.7000000000000001, 'rouge2': 0.6551724137931034, 'rougeL': 0.7000000000000001, 'rougeLsum': 0.7000000000000001} Sari: {'sari': 62.50084937091221} Flesh Reading Ease: 21.6 ---------------------------------------- Source: ['Die Verbraucherschutzorganisationen wie der Bundesverband der Verbraucherzentralen, seine Landesorganisationen, das Bundesamt für Verbraucherschutz und Lebensmittelsicherheit warnen vor Produkten – und der Name des Herstellers wird genannt.'] Prediction: ['Die Verbraucherschutzorganisationen wie der Bundesverband der Verbraucherzentralen, seine Landesorganisationen, das Bundesamt für Verbraucherschutz und Lebensmittelsicherheit warnen vor Produkten wird genannt.\nDer Name des Herstellers wird genannt.'] Label: [['Die Verbraucherschutzorganisationen wie der Bundesverband der Verbraucherzentralen, seine Landesorganisationen, das Bundesamt für Verbraucherschutz und Lebensmittelsicherheit warnen vor Produkten.']] Sacrebleu: {'score': 65.6392059261977, 'counts': [21, 19, 18, 17], 'totals': [30, 29, 28, 27], 'precisions': [70.0, 65.51724137931035, 64.28571428571429, 62.96296296296296], 'bp': 1.0, 'sys_len': 30, 'ref_len': 21} Bleu: {'bleu': 0.6563920592619769, 'precisions': [0.7, 0.6551724137931034, 0.6428571428571429, 0.6296296296296297], 'brevity_penalty': 1.0, 'length_ratio': 1.4285714285714286, 'translation_length': 30, 'reference_length': 21} Rouge: {'rouge1': 0.8260869565217391, 'rouge2': 0.8181818181818181, 'rougeL': 0.8260869565217391, 'rougeLsum': 0.8260869565217391} Sari: {'sari': 66.76184988524527} Flesh Reading Ease: 3.2 ---------------------------------------- Source: ['Das Freihandelsabkommen zwischen der Europäischen Union (EU) und den USA, die Transatlantic Trade and Investment Partnership, wird in allen Umfragen negativ bewertet, etwa im ARD-Deutschlandtrend.'] Prediction: ['Das Freihandelsabkommen zwischen der EU und den USA, die Transatlantic Trade and Investment Partnership, wird in allen Umfragen negativ bewertet, etwa im ARD-Deutschlandtrend.\nDie EU-Freihandelsabkommen zwischen der Europäischen Union (EU) und den USA, die Transatlantic Trade and Investment Partnership, wird in allen Umfragen negativ bewertet, etwa im ARD-Deutschlandtrend.'] Label: [['Das Freihandelsabkommen zwischen der Europäischen Union (EU) und den USA, die Transatlantic Trade and Investment Partnership, wird in allen Umfragen negativ bewertet.']] Sacrebleu: {'score': 43.253477771448196, 'counts': [27, 25, 24, 22], 'totals': [58, 57, 56, 55], 'precisions': [46.55172413793103, 43.85964912280702, 42.857142857142854, 40.0], 'bp': 1.0, 'sys_len': 58, 'ref_len': 27} Bleu: {'bleu': 0.43253477771448207, 'precisions': [0.46551724137931033, 0.43859649122807015, 0.42857142857142855, 0.4], 'brevity_penalty': 1.0, 'length_ratio': 2.1481481481481484, 'translation_length': 58, 'reference_length': 27} Rouge: {'rouge1': 0.6133333333333333, 'rouge2': 0.6027397260273972, 'rougeL': 0.6133333333333333, 'rougeLsum': 0.6133333333333333} Sari: {'sari': 55.281463972444186} Flesh Reading Ease: 33.15 ---------------------------------------- Source: ['Es wird befürchtet, dass das europäische Verbot von Wachstumshormonen bei der Fleischproduktion nicht mehr gilt und die strengeren Zulassungskriterien für Chemikalien in Gefahr seien.'] Prediction: ['Das europäische Verbot von Wachstumshormonen bei der Fleischproduktion wird nicht mehr gilt.\nEs wird befürchtet, dass das Verbot von Wachstumshormonen nicht mehr gilt und die strengeren Zulassungskriterien für Chemikalien in Gefahr seien in Gefahr.'] Label: [['Auch gibt es Ängste, dass die strengeren Zulassungskriterien für Chemikalien in Gefahr seien.']] Sacrebleu: {'score': 20.201712453136242, 'counts': [11, 8, 6, 5], 'totals': [37, 36, 35, 34], 'precisions': [29.72972972972973, 22.22222222222222, 17.142857142857142, 14.705882352941176], 'bp': 1.0, 'sys_len': 37, 'ref_len': 15} Bleu: {'bleu': 0.20201712453136245, 'precisions': [0.2972972972972973, 0.2222222222222222, 0.17142857142857143, 0.14705882352941177], 'brevity_penalty': 1.0, 'length_ratio': 2.466666666666667, 'translation_length': 37, 'reference_length': 15} Rouge: {'rouge1': 0.43137254901960786, 'rouge2': 0.326530612244898, 'rougeL': 0.43137254901960786, 'rougeLsum': 0.43137254901960786} Sari: {'sari': 42.45116111534876} Flesh Reading Ease: 46.0 ---------------------------------------- Source: ['Aber auch die Amerikaner haben Vorbehalte. Sie sorgen sich um die weniger strengen Zulassungsverfahren der Europäischen Union für Medikamente und den geringeren Schutz der Verbraucher in Sachen Finanzgeschäfte.'] Prediction: ['Die Amerikaner haben Vorbehalte.\nSie sorgen sich um die weniger strengen Zulassungsverfahren der Europäischen Union für Medikamente und den geringeren Schutz der Verbraucher in Sachen Finanzgeschäfte.'] Label: [['Aber auch die Amerikaner sorgen sich, zum Beispiel um die weniger strengen Zulassungsverfahren der EU für Medikamente.']] Sacrebleu: {'score': 21.281701380712917, 'counts': [12, 7, 4, 3], 'totals': [28, 27, 26, 25], 'precisions': [42.857142857142854, 25.925925925925927, 15.384615384615385, 12.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 19} Bleu: {'bleu': 0.21281701380712922, 'precisions': [0.42857142857142855, 0.25925925925925924, 0.15384615384615385, 0.12], 'brevity_penalty': 1.0, 'length_ratio': 1.4736842105263157, 'translation_length': 28, 'reference_length': 19} Rouge: {'rouge1': 0.5531914893617021, 'rouge2': 0.39999999999999997, 'rougeL': 0.5531914893617021, 'rougeLsum': 0.5531914893617021} Sari: {'sari': 16.441687112869378} Flesh Reading Ease: 32.45 ---------------------------------------- Source: ['Spielerisch geht dann gar nichts mehr, sondern nur noch mühsam.'] Prediction: ['Die Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizer.\nDie Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer'] Label: [['Spielerisch geht dann gar nichts mehr.']] Sacrebleu: {'score': 0.15819141581820303, 'counts': [1, 0, 0, 0], 'totals': [225, 224, 223, 222], 'precisions': [0.4444444444444444, 0.22321428571428573, 0.11210762331838565, 0.05630630630630631], 'bp': 1.0, 'sys_len': 225, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.0044444444444444444, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 32.142857142857146, 'translation_length': 225, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 20.97222222222222} Flesh Reading Ease: -49.01 ---------------------------------------- Source: ['Sie sind erfinderisch und täuschen Sehschwächen vor, argumentieren mit „Brille vergessen“ und kommen irgendwie durch den Tag.'] Prediction: ['Eine der beiden während der Corona-Pandemie wurde von der Polizei verhaftet.\nSie wurde von der Polizei aufgefunden und argumentieren mit "Brille vergessen" und kommen durch den Tag.\nDie beiden waren erfinderisch und täuschen Sehschwächen vor, argumentieren mit "Brille vergessen".'] Label: [['Sie sind erfinderisch und täuschen Sehschwächen vor und kommen irgendwie durch den Tag.']] Sacrebleu: {'score': 13.54286043990683, 'counts': [12, 8, 5, 3], 'totals': [47, 46, 45, 44], 'precisions': [25.53191489361702, 17.391304347826086, 11.11111111111111, 6.818181818181818], 'bp': 1.0, 'sys_len': 47, 'ref_len': 14} Bleu: {'bleu': 0.13542860439906834, 'precisions': [0.2553191489361702, 0.17391304347826086, 0.1111111111111111, 0.06818181818181818], 'brevity_penalty': 1.0, 'length_ratio': 3.357142857142857, 'translation_length': 47, 'reference_length': 14} Rouge: {'rouge1': 0.44827586206896547, 'rouge2': 0.32142857142857145, 'rougeL': 0.27586206896551724, 'rougeLsum': 0.44827586206896547} Sari: {'sari': 36.43892339544513} Flesh Reading Ease: 44.15 ---------------------------------------- Source: ['Analphabetismus bewirkt Leiden, Isolation, Menschen am Arbeitsplatz ziehen sich zurück, sie verlieren ihr Selbstwertgefühl und häufig den Job.'] Prediction: ['In der Schweiz sind alle Menschen am Arbeitsplatz ziehen sich zurück, sie verlieren ihr Selbstwertgefühl und häufig den Job.\nDie Schweiz ist ein neuer als analphabetischer Stiftung.'] Label: [['Analphabetismus bewirkt Leiden und Isolation.\nMenschen am Arbeitsplatz ziehen sich zurück, verlieren ihr Selbstwertgefühl und häufig den Job.']] Sacrebleu: {'score': 42.06436820894083, 'counts': [16, 13, 11, 9], 'totals': [30, 29, 28, 27], 'precisions': [53.333333333333336, 44.827586206896555, 39.285714285714285, 33.333333333333336], 'bp': 1.0, 'sys_len': 30, 'ref_len': 21} Bleu: {'bleu': 0.42064368208940817, 'precisions': [0.5333333333333333, 0.4482758620689655, 0.39285714285714285, 0.3333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.4285714285714286, 'translation_length': 30, 'reference_length': 21} Rouge: {'rouge1': 0.6274509803921569, 'rouge2': 0.5714285714285714, 'rougeL': 0.6274509803921569, 'rougeLsum': 0.6274509803921569} Sari: {'sari': 49.901209901209896} Flesh Reading Ease: 67.05 ---------------------------------------- Source: ['In Deutschland gibt es verschiedene Initiativen, die sich zur „Nationalen Strategie für Alphabetisierung und Grundbildung Erwachsener“ zusammengeschlossen haben.'] Prediction: ['Die Google-Grundbildung Erwachsener-Strategie ist in Deutschland zusammengeschlossen.\nIn Deutschland gibt es verschiedene Initiativen, die sich zur Nationalen Strategie für Alphabetisierung und Grundbildung Erwachsener zusammengeschlossen haben.'] Label: [['Es gibt verschiedene Initiativen, die sich zur „Nationalen Strategie für Alphabetisierung und Grundbildung Erwachsener“ zusammengeschlossen haben.']] Sacrebleu: {'score': 34.042950698715764, 'counts': [15, 11, 8, 5], 'totals': [28, 27, 26, 25], 'precisions': [53.57142857142857, 40.74074074074074, 30.76923076923077, 20.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 18} Bleu: {'bleu': 0.3404295069871576, 'precisions': [0.5357142857142857, 0.4074074074074074, 0.3076923076923077, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 1.5555555555555556, 'translation_length': 28, 'reference_length': 18} Rouge: {'rouge1': 0.7555555555555554, 'rouge2': 0.6511627906976744, 'rougeL': 0.7111111111111111, 'rougeLsum': 0.7111111111111111} Sari: {'sari': 22.434602434602436} Flesh Reading Ease: -2.16 ---------------------------------------- Source: ['Dazu gibt es eine Wanderausstellung „Lesen & Schreiben – Mein Schlüssel zur Welt“.'] Prediction: ['In der Nacht auf Sonntag wurde eine Wanderausstellung von Lesen & Schreiben aufgefunden.\nDie Wanderausstellung wurde von der Welt entdeckt.\nDie Wanderausstellung wurde von der Wanderausstellung entdeckt.'] Label: [['Dazu gibt es eine Ausstellung „Lesen & Schreiben – Mein Schlüssel zur Welt“.']] Sacrebleu: {'score': 2.952787808378777, 'counts': [4, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [13.333333333333334, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.142857142857143, 'translation_length': 30, 'reference_length': 14} Rouge: {'rouge1': 0.21052631578947367, 'rouge2': 0.05555555555555555, 'rougeL': 0.21052631578947367, 'rougeLsum': 0.21052631578947367} Sari: {'sari': 10.856967106967108} Flesh Reading Ease: 60.15 ---------------------------------------- Source: ['Trinkwasser, das den Menschen von den Wasserversorgern ihrer Stadt oder Gemeinde zur Verfügung gestellt wird, gilt als Grundnahrungsmittel und ist das am besten kontrollierte Lebensmittel überhaupt.'] Prediction: ['In der Stadt Zürich wird ein Trinkwasser von den Wasserversorgern ihrer Stadt oder Gemeinde zur Verfügung gestellt.\nDer Trinkwasser gilt als Grundnahrungsmittel und ist das am besten kontrollierte Lebensmittel überhaupt.'] Label: [['Trinkwasser gilt als Grundnahrungsmittel und ist das am besten kontrollierte Lebensmittel überhaupt.']] Sacrebleu: {'score': 37.551007153511556, 'counts': [13, 12, 11, 10], 'totals': [32, 31, 30, 29], 'precisions': [40.625, 38.70967741935484, 36.666666666666664, 34.48275862068966], 'bp': 1.0, 'sys_len': 32, 'ref_len': 13} Bleu: {'bleu': 0.37551007153511545, 'precisions': [0.40625, 0.3870967741935484, 0.36666666666666664, 0.3448275862068966], 'brevity_penalty': 1.0, 'length_ratio': 2.4615384615384617, 'translation_length': 32, 'reference_length': 13} Rouge: {'rouge1': 0.5454545454545454, 'rouge2': 0.5238095238095238, 'rougeL': 0.5454545454545454, 'rougeLsum': 0.5454545454545454} Sari: {'sari': 58.83363166427683} Flesh Reading Ease: 53.85 ---------------------------------------- Source: ['Die Massentierhaltung verbraucht Unmengen an Futter.'] Prediction: ['Die Massentierhaltung verbraucht Unmengen an Futter.\nUnmengen verbraucht Unmengen an Futter.'] Label: [['Aber die Massentierhaltung verbraucht Unmengen an Futter.']] Sacrebleu: {'score': 38.05803001674947, 'counts': [6, 5, 4, 3], 'totals': [13, 12, 11, 10], 'precisions': [46.15384615384615, 41.666666666666664, 36.36363636363637, 30.0], 'bp': 1.0, 'sys_len': 13, 'ref_len': 8} Bleu: {'bleu': 0.38058030016749456, 'precisions': [0.46153846153846156, 0.4166666666666667, 0.36363636363636365, 0.3], 'brevity_penalty': 1.0, 'length_ratio': 1.625, 'translation_length': 13, 'reference_length': 8} Rouge: {'rouge1': 0.6666666666666665, 'rouge2': 0.625, 'rougeL': 0.6666666666666665, 'rougeLsum': 0.6666666666666665} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 39.95 ---------------------------------------- Source: ['Die Ausscheidungen – die Gülle – landet auf den Feldern für die Düngung genau dieser Pflanzen.'] Prediction: ['Auf den Feldern landet eine Düngung für die Düngung genau dieser Pflanzen.\nDie Ausscheidungen landen auf den Feldern für die Düngung genau dieser Pflanzen.'] Label: [['Die Ausscheidungen – die Gülle – landet auf den Feldern für die Düngung dieser Pflanzen.']] Sacrebleu: {'score': 25.67840480629175, 'counts': [13, 8, 5, 3], 'totals': [26, 25, 24, 23], 'precisions': [50.0, 32.0, 20.833333333333332, 13.043478260869565], 'bp': 1.0, 'sys_len': 26, 'ref_len': 16} Bleu: {'bleu': 0.25678404806291744, 'precisions': [0.5, 0.32, 0.20833333333333334, 0.13043478260869565], 'brevity_penalty': 1.0, 'length_ratio': 1.625, 'translation_length': 26, 'reference_length': 16} Rouge: {'rouge1': 0.6222222222222222, 'rouge2': 0.41860465116279066, 'rougeL': 0.5333333333333333, 'rougeLsum': 0.5333333333333333} Sari: {'sari': 19.842113552248207} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Doch die Menge macht’s: Denn Nitrat ist gut löslich und reichert sich im Trinkwasser an, ein Zuviel an Nitrat können auch Pflanzen speichern.'] Prediction: ['Nitrat ist gut löslich und reichert sich im Trinkwasser an.\nDenn Pflanzen speichern auch Pflanzen.\nDie Menge macht’s: Denn Nitrat ist gut löslich und reichert sich im Trinkwasser an.'] Label: [['Nitrat ist gut löslich und reichert sich im Trinkwasser an.']] Sacrebleu: {'score': 29.967090451591638, 'counts': [11, 10, 9, 8], 'totals': [33, 32, 31, 30], 'precisions': [33.333333333333336, 31.25, 29.032258064516128, 26.666666666666668], 'bp': 1.0, 'sys_len': 33, 'ref_len': 11} Bleu: {'bleu': 0.2996709045159163, 'precisions': [0.3333333333333333, 0.3125, 0.2903225806451613, 0.26666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 33, 'reference_length': 11} Rouge: {'rouge1': 0.5116279069767442, 'rouge2': 0.4878048780487805, 'rougeL': 0.5116279069767442, 'rougeLsum': 0.5116279069767442} Sari: {'sari': 71.46612089261816} Flesh Reading Ease: 82.55 ---------------------------------------- Source: ['In hoher Konzentration aber schadet es den Menschen.50'] Prediction: ['Die Schweizer Konzentration schadet es den Menschen.\nDie Schweizer Konzentration schadet es den Menschen.'] Label: [['In hoher Konzentration aber schadet es.50']] Sacrebleu: {'score': 5.816635421147515, 'counts': [4, 1, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [25.0, 6.666666666666667, 3.5714285714285716, 1.9230769230769231], 'bp': 1.0, 'sys_len': 16, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 16, 'reference_length': 8} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.10526315789473684, 'rougeL': 0.2857142857142857, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 11.42857142857143} Flesh Reading Ease: 56.0 ---------------------------------------- Source: ['Milligramm pro Liter Wasser (mg/l) sind erlaubt, aber Messungen wie zum Beispiel beim Wasserversorger im Bundesland Niedersachsen haben Werte von 250 mg/l ermittelt.'] Prediction: ['Im Bundesland Niedersachsen wurden zwei Wasserversorger immer mehr Milligramm pro Liter Wasser (mg/l) erlaubt.\nMilligramm pro Liter Wasser (mg/l) sind erlaubt, aber Messungen wie zum Beispiel beim Wasserversorger im Bundesland Niedersachsen haben Werte von 250 mg/l ermittelt.'] Label: [['Milligramm pro Liter Wasser (mg/l) sind erlaubt.\nMessungen wie zum Beispiel beim Wasserversorger im Bundesland Niedersachsen haben Werte von 250 mg/l ermittelt.']] Sacrebleu: {'score': 54.370144567290595, 'counts': [30, 28, 25, 23], 'totals': [50, 49, 48, 47], 'precisions': [60.0, 57.142857142857146, 52.083333333333336, 48.93617021276596], 'bp': 1.0, 'sys_len': 50, 'ref_len': 30} Bleu: {'bleu': 0.5437014456729059, 'precisions': [0.6, 0.5714285714285714, 0.5208333333333334, 0.48936170212765956], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 50, 'reference_length': 30} Rouge: {'rouge1': 0.7499999999999999, 'rouge2': 0.7096774193548387, 'rougeL': 0.7499999999999999, 'rougeLsum': 0.7499999999999999} Sari: {'sari': 65.94345898822405} Flesh Reading Ease: 44.5 ---------------------------------------- Source: ['Umweltverbände in Deutschland fordern eine Trendumkehr im Wasserschutz.'] Prediction: ['Umweltverbände in Deutschland fordern eine Trendumkehr im Wasserschutz.\nSie fordern eine Trendumkehr im Wasserschutz.'] Label: [['Umweltverbände in Deutschland fordern eine Umkehr im Wasserschutz.']] Sacrebleu: {'score': 30.62049088236489, 'counts': [8, 6, 4, 2], 'totals': [16, 15, 14, 13], 'precisions': [50.0, 40.0, 28.571428571428573, 15.384615384615385], 'bp': 1.0, 'sys_len': 16, 'ref_len': 9} Bleu: {'bleu': 0.30620490882364876, 'precisions': [0.5, 0.4, 0.2857142857142857, 0.15384615384615385], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 16, 'reference_length': 9} Rouge: {'rouge1': 0.6666666666666667, 'rouge2': 0.5454545454545454, 'rougeL': 0.6666666666666667, 'rougeLsum': 0.6666666666666667} Sari: {'sari': 58.54660045836516} Flesh Reading Ease: 32.6 ---------------------------------------- Source: ['Sie verweisen darauf, dass die Überdüngung schon heute jährliche Kosten von bis zu 25 Milliarden Euro für sauberes Trinkwasser verursache.'] Prediction: ['Die Überdüngung von bis zu 25 Milliarden Euro für sauberes Trinkwasser verursache schon jährliche Kosten für sauberes Trinkwasser.\nDie Überdüngung wird schon heute jährliche Kosten für sauberes Trinkwasser verursache.'] Label: [['Sie verweisen darauf, dass durch die Überdüngung schon heute jährliche Kosten von bis zu 25 Milliarden Euro für sauberes Trinkwasser entstehen.']] Sacrebleu: {'score': 34.252823678705816, 'counts': [15, 11, 9, 7], 'totals': [31, 30, 29, 28], 'precisions': [48.38709677419355, 36.666666666666664, 31.03448275862069, 25.0], 'bp': 1.0, 'sys_len': 31, 'ref_len': 23} Bleu: {'bleu': 0.34252823678705807, 'precisions': [0.4838709677419355, 0.36666666666666664, 0.3103448275862069, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.3478260869565217, 'translation_length': 31, 'reference_length': 23} Rouge: {'rouge1': 0.6, 'rouge2': 0.5172413793103448, 'rougeL': 0.43333333333333335, 'rougeLsum': 0.6} Sari: {'sari': 29.43789122564866} Flesh Reading Ease: 42.65 ---------------------------------------- Source: ['Industrie 4.0 bedeutet, dass Menschen und Maschinen und die gesamten Prozesse in einer Produktion vernetzt sind und miteinander kommunizieren.'] Prediction: ['Die gesamten Prozesse in einer Produktion sind miteinander kommunizieren.\nDie gesamten Prozesse sind miteinander kommunizieren.\nDie gesamten Prozesse sind miteinander kommunizieren.'] Label: [['Industrie 4.0 bedeutet, dass Menschen und Maschinen und alle Prozesse in einer Produktion vernetzt sind und miteinander kommunizieren.']] Sacrebleu: {'score': 14.728212724124628, 'counts': [8, 5, 3, 1], 'totals': [24, 23, 22, 21], 'precisions': [33.333333333333336, 21.73913043478261, 13.636363636363637, 4.761904761904762], 'bp': 1.0, 'sys_len': 24, 'ref_len': 20} Bleu: {'bleu': 0.1472821272412462, 'precisions': [0.3333333333333333, 0.21739130434782608, 0.13636363636363635, 0.047619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 24, 'reference_length': 20} Rouge: {'rouge1': 0.35, 'rouge2': 0.2105263157894737, 'rougeL': 0.35, 'rougeLsum': 0.35} Sari: {'sari': 15.109758536482676} Flesh Reading Ease: 9.2 ---------------------------------------- Source: ['Die Maschinen werden immer „intelligenter“, Produktionsprozesse werden für den Menschen vordergründig einfacher, aber auch komplexer.'] Prediction: ['Die Maschinen werden immer "intelligenter“, Produktionsprozesse werden für den Menschen vordergründig einfacher, aber auch komplexer.\nDie Maschinen werden immer "intelligenter" und werden immer "intelligenter".'] Label: [['Die Maschinen werden immer intelligenter, Produktionsprozesse werden für den Menschen einfacher, aber auch komplexer.']] Sacrebleu: {'score': 35.427121089311676, 'counts': [17, 13, 10, 7], 'totals': [33, 32, 31, 30], 'precisions': [51.515151515151516, 40.625, 32.25806451612903, 23.333333333333332], 'bp': 1.0, 'sys_len': 33, 'ref_len': 17} Bleu: {'bleu': 0.35427121089311675, 'precisions': [0.5151515151515151, 0.40625, 0.3225806451612903, 0.23333333333333334], 'brevity_penalty': 1.0, 'length_ratio': 1.9411764705882353, 'translation_length': 33, 'reference_length': 17} Rouge: {'rouge1': 0.7317073170731707, 'rouge2': 0.6666666666666666, 'rougeL': 0.7317073170731707, 'rougeLsum': 0.7317073170731707} Sari: {'sari': 66.17859720933184} Flesh Reading Ease: 21.75 ---------------------------------------- Source: ['Immer dann, wenn neue Erfindungen in der Technik den Menschen Arbeit abnehmen, spricht man von einer industriellen Revolution.'] Prediction: ['Die revolutionäre Technik ist eine neue revolution, die Menschen Arbeit abnehmen.\nDie revolutionäre Technik ist eine schwierige Technik, die Menschen Arbeit abnehmen, sollen neue Erfindungen in der Technik abnehmen.'] Label: [['Immer dann, wenn neue Maschinen den Menschen Arbeit abgenommen haben, spricht man von einer industriellen Revolution.']] Sacrebleu: {'score': 2.8650960345947087, 'counts': [6, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [17.647058823529413, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7894736842105263, 'translation_length': 34, 'reference_length': 19} Rouge: {'rouge1': 0.1702127659574468, 'rouge2': 0.04444444444444444, 'rougeL': 0.1702127659574468, 'rougeLsum': 0.12765957446808507} Sari: {'sari': 12.345998574322275} Flesh Reading Ease: 36.8 ---------------------------------------- Source: ['Der Kunde bestellt zum Beispiel sein Auto über das Internet und konfiguriert es nach seinen Ideen und Wünschen.'] Prediction: ['Ein Auto konfiguriert seinen Kunden nach seinen Ideen und Wünschen.\nDer Kunde bestellt sein Auto über das Internet und konfiguriert es nach seinen Ideen und Wünschen.'] Label: [['Der Kunde bestellt zum Beispiel sein Auto über das Internet und kann es nach seinen Ideen und Wünschen konfigurieren.']] Sacrebleu: {'score': 38.11228251371368, 'counts': [16, 12, 9, 6], 'totals': [28, 27, 26, 25], 'precisions': [57.142857142857146, 44.44444444444444, 34.61538461538461, 24.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 20} Bleu: {'bleu': 0.3811228251371368, 'precisions': [0.5714285714285714, 0.4444444444444444, 0.34615384615384615, 0.24], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 28, 'reference_length': 20} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.5652173913043478, 'rougeL': 0.6666666666666666, 'rougeLsum': 0.6666666666666666} Sari: {'sari': 24.585914718994566} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Unternehmen kommen weg von der Massenproduktion und Lagerhaltung hin zu Einzelanfertigungen nach Bedarf.'] Prediction: ['Unternehmen kommen weg von der Massenproduktion und Lagerhaltung hin zu Einzelanfertigungen nach Bedarf.\nUnternehmen kommen weg von der Massenproduktion und Lagerhaltung hin zu Einzelanfertigungen nach Bedarf.'] Label: [['Unternehmen gehen von der Massenproduktion und Lagerhaltung zu Einzelanfertigungen nach Bedarf.']] Sacrebleu: {'score': 25.60440513907562, 'counts': [11, 8, 6, 4], 'totals': [28, 27, 26, 25], 'precisions': [39.285714285714285, 29.62962962962963, 23.076923076923077, 16.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 12} Bleu: {'bleu': 0.2560440513907562, 'precisions': [0.39285714285714285, 0.2962962962962963, 0.23076923076923078, 0.16], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 28, 'reference_length': 12} Rouge: {'rouge1': 0.5405405405405405, 'rouge2': 0.4, 'rougeL': 0.5405405405405405, 'rougeLsum': 0.5405405405405405} Sari: {'sari': 57.01587301587302} Flesh Reading Ease: 20.75 ---------------------------------------- Source: ['Industrie 4.0 verlangt immer bessere Qualifizierung.'] Prediction: ['Die Qualifizierung von Porsche 919-Piloten ist immer bessere Qualifizierungen verboten.\nDie Formel-1-Piloten verliessen die Formel-1-Piloten immer bessere Qualifizierungen.'] Label: [['Industrie 4.0 verlangt vom Menschen eine immer bessere Qualifizierung.']] Sacrebleu: {'score': 3.435812002459847, 'counts': [4, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6, 'translation_length': 26, 'reference_length': 10} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.06451612903225805, 'rougeL': 0.12121212121212122, 'rougeLsum': 0.12121212121212122} Sari: {'sari': 20.088383838383837} Flesh Reading Ease: 7.2 ---------------------------------------- Source: ['Er muss Computerprogramme beherrschen, anpassen, verstehen, wie die Maschinen und Prozesse zusammenpassen und mit ihnen kommunizieren.'] Prediction: ['Ein Computerprogramme muss Computerprogramme beherrschen, anpassen, verstehen, wie die Maschinen und Prozesse zusammenpassen und mit ihnen kommunizieren.\nDie Maschinen und Prozesse kommunizieren zusammen und mit ihnen kommunizieren.'] Label: [['Er muss Computerprogramme beherrschen.\nEr muss verstehen, wie die Maschinen und Prozesse zusammenpassen und kommunizieren.']] Sacrebleu: {'score': 30.9509201053733, 'counts': [15, 11, 8, 6], 'totals': [32, 31, 30, 29], 'precisions': [46.875, 35.483870967741936, 26.666666666666668, 20.689655172413794], 'bp': 1.0, 'sys_len': 32, 'ref_len': 18} Bleu: {'bleu': 0.30950920105373303, 'precisions': [0.46875, 0.3548387096774194, 0.26666666666666666, 0.20689655172413793], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 32, 'reference_length': 18} Rouge: {'rouge1': 0.5714285714285714, 'rouge2': 0.45, 'rougeL': 0.5714285714285714, 'rougeLsum': 0.5714285714285714} Sari: {'sari': 22.623273812281997} Flesh Reading Ease: 14.4 ---------------------------------------- Source: ['Schon jetzt ist sicher, dass man hoch qualifizierte Arbeiter braucht.'] Prediction: ['Einige Schweizer Arbeiter brauchen sich nach dem Qualifizierungs-Projekt nicht mehr.\nDie Schweizer Arbeiter brauchen sich nicht mehr qualifiziert.\nDie Schweizer Arbeiter brauchen sich nicht mehr, sondern auch mehr als eine halbe Million Franken.'] Label: [['Schon jetzt ist sicher, dass man in Zukunft mehr hoch qualifizierte Arbeiter braucht.']] Sacrebleu: {'score': 1.4091499441909465, 'counts': [4, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [10.81081081081081, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.10810810810810811, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.466666666666667, 'translation_length': 37, 'reference_length': 15} Rouge: {'rouge1': 0.0851063829787234, 'rouge2': 0.0, 'rougeL': 0.0851063829787234, 'rougeLsum': 0.0425531914893617} Sari: {'sari': 9.32900432900433} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Schwere körperliche Arbeiten werden mehr und mehr von Maschinen und Robotern übernommen.'] Prediction: ['Die körperlichen Arbeiten der Maschinen und Robotern werden mehr und mehr von Maschinen und Robotern übernommen.\nDie körperlichen Arbeiten werden mehr und mehr von Maschinen und Robotern übernommen.'] Label: [['Schwere körperliche Arbeiten werden immer öfter von Maschinen und Robotern übernommen.']] Sacrebleu: {'score': 17.202650214787162, 'counts': [8, 6, 4, 3], 'totals': [30, 29, 28, 27], 'precisions': [26.666666666666668, 20.689655172413794, 14.285714285714286, 11.11111111111111], 'bp': 1.0, 'sys_len': 30, 'ref_len': 12} Bleu: {'bleu': 0.17202650214787163, 'precisions': [0.26666666666666666, 0.20689655172413793, 0.14285714285714285, 0.1111111111111111], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 30, 'reference_length': 12} Rouge: {'rouge1': 0.3809523809523809, 'rouge2': 0.25000000000000006, 'rougeL': 0.3809523809523809, 'rougeLsum': 0.3809523809523809} Sari: {'sari': 25.136054421768705} Flesh Reading Ease: 49.0 ---------------------------------------- Source: ['Die Vernetzung ermöglicht das Arbeiten von jedem Ort aus und ist zeitlich flexibler.'] Prediction: ['Die Vernetzung der Arbeiten von jedem Ort ist zeitlich flexibler.\nDie Arbeiten ermöglicht das Arbeiten von jedem Ort aus und ist zeitlich flexibler.'] Label: [['Gut ist: Die Vernetzung über das Internet ermöglicht das Arbeiten von jedem Ort aus und man ist zeitlich flexibler.']] Sacrebleu: {'score': 40.188875403206985, 'counts': [15, 11, 8, 6], 'totals': [25, 24, 23, 22], 'precisions': [60.0, 45.833333333333336, 34.78260869565217, 27.272727272727273], 'bp': 1.0, 'sys_len': 25, 'ref_len': 21} Bleu: {'bleu': 0.40188875403207003, 'precisions': [0.6, 0.4583333333333333, 0.34782608695652173, 0.2727272727272727], 'brevity_penalty': 1.0, 'length_ratio': 1.1904761904761905, 'translation_length': 25, 'reference_length': 21} Rouge: {'rouge1': 0.6818181818181818, 'rouge2': 0.5238095238095238, 'rougeL': 0.6363636363636365, 'rougeLsum': 0.6363636363636365} Sari: {'sari': 63.71175523349436} Flesh Reading Ease: 63.2 ---------------------------------------- Source: ['Die neue Generation der Roboter wie YuMi - das ist die Kurzform für „You and Me“ des Mannheimer Unternehmens ABB - ist nicht mehr in Käfigen eingesperrt, sondern arbeitet Seite an Seite mit Menschen.'] Prediction: ['Die neue Generation der Roboter wie YuMi ist nicht mehr in Käfigen eingesperrt.\nDie neue Generation arbeitet Seite an Seite mit Menschen.'] Label: [['Die neue Generation der Roboter wie YuMi - das ist die Kurzform für „You and Me“ des Mannheimer Unternehmens ABB - ist nicht mehr in Käfigen eingesperrt.']] Sacrebleu: {'score': 40.557589964688844, 'counts': [14, 12, 10, 8], 'totals': [24, 23, 22, 21], 'precisions': [58.333333333333336, 52.17391304347826, 45.45454545454545, 38.095238095238095], 'bp': 0.846481724890614, 'sys_len': 24, 'ref_len': 28} Bleu: {'bleu': 0.4055758996468886, 'precisions': [0.5833333333333334, 0.5217391304347826, 0.45454545454545453, 0.38095238095238093], 'brevity_penalty': 0.846481724890614, 'length_ratio': 0.8571428571428571, 'translation_length': 24, 'reference_length': 28} Rouge: {'rouge1': 0.6, 'rouge2': 0.4999999999999999, 'rougeL': 0.5599999999999999, 'rougeLsum': 0.5599999999999999} Sari: {'sari': 38.018042786644} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Sie nehmen ihm eintönige oder körperlich schwere Arbeiten ab.'] Prediction: ['Eine Frau und ihre Partnerinnen und -teilnehmen sich in der Schweiz zum dritten Mal ein.\nSie wollen ihren Job nicht mehr oder körperlich schwere Arbeiten abgeben.\nSie wollen ihren Job nicht mehr oder körperlich schwere Arbeiten abgeben.'] Label: [['Sie nehmen dem Menschen eintönige oder körperlich schwere Arbeiten ab.']] Sacrebleu: {'score': 6.364996151971675, 'counts': [6, 3, 2, 1], 'totals': [40, 39, 38, 37], 'precisions': [15.0, 7.6923076923076925, 5.2631578947368425, 2.7027027027027026], 'bp': 1.0, 'sys_len': 40, 'ref_len': 11} Bleu: {'bleu': 0.06364996151971677, 'precisions': [0.15, 0.07692307692307693, 0.05263157894736842, 0.02702702702702703], 'brevity_penalty': 1.0, 'length_ratio': 3.6363636363636362, 'translation_length': 40, 'reference_length': 11} Rouge: {'rouge1': 0.23529411764705882, 'rouge2': 0.16326530612244897, 'rougeL': 0.23529411764705882, 'rougeLsum': 0.23529411764705882} Sari: {'sari': 32.95634920634921} Flesh Reading Ease: 68.25 ---------------------------------------- Source: ['Oder der Leichtbauroboter Iiwa der Firma Kuka: Er ist in der Lage, ein Bier auszuschenken.'] Prediction: ['Die Kuka-Firma hat einen Bier ausgebaut.\nDer Leichtbauroboter ist ein Bier auszuschenken.\nDer Leichtbauroboter ist in der Lage, ein Bier auszuschenken.'] Label: [['Oder der Leichtbauroboter Iiwa der Firma Kuka: Er kann ein Bier ausschenken.']] Sacrebleu: {'score': 3.787865612579481, 'counts': [5, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7857142857142858, 'translation_length': 25, 'reference_length': 14} Rouge: {'rouge1': 0.4117647058823529, 'rouge2': 0.125, 'rougeL': 0.29411764705882354, 'rougeLsum': 0.3529411764705882} Sari: {'sari': 11.546136653895275} Flesh Reading Ease: 56.0 ---------------------------------------- Source: ['Von allen 16 Bundesländern Deutschland ist Bayern regelmäßig das beliebteste Land.'] Prediction: ['Bayern München ist in Deutschland regelmäßig das beliebteste Land.\nDie Bayern-Bundesländer haben sich regelmäßig das beliebteste Land verlassen.'] Label: [['Von allen 16 Bundesländern Deutschland ist Bayern das beliebteste Land.']] Sacrebleu: {'score': 13.785929931830408, 'counts': [7, 3, 2, 1], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 15.789473684210526, 11.11111111111111, 5.882352941176471], 'bp': 1.0, 'sys_len': 20, 'ref_len': 11} Bleu: {'bleu': 0.1378592993183041, 'precisions': [0.35, 0.15789473684210525, 0.1111111111111111, 0.058823529411764705], 'brevity_penalty': 1.0, 'length_ratio': 1.8181818181818181, 'translation_length': 20, 'reference_length': 11} Rouge: {'rouge1': 0.411764705882353, 'rouge2': 0.12500000000000003, 'rougeL': 0.29411764705882354, 'rougeLsum': 0.29411764705882354} Sari: {'sari': 22.843647580489687} Flesh Reading Ease: 36.45 ---------------------------------------- Source: ['Hier begegnet man vielen Wanderern, im Winter ist Skifahren angesagt.'] Prediction: ['Die Corona-Pandemie hat einen neuen Virus ausgelöst.\nDie Virus-Pandemie hat die Corona-Pandemie ausgelöst.\nDie Virus-Pandemie hat auch die Virus-Pandemie ausgelöst.'] Label: [['Hier trifft man viele Wanderer, im Winter fährt man Ski.']] Sacrebleu: {'score': 1.6466642419110007, 'counts': [1, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [4.3478260869565215, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.043478260869565216, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9166666666666667, 'translation_length': 23, 'reference_length': 12} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 37.91125541125541} Flesh Reading Ease: 27.05 ---------------------------------------- Source: ['Die Eiszeit hat die bayerischen Nordalpen besonders geformt:'] Prediction: ['Die bayerische Nordalpen hat die Eiszeit besonders geformt.\nDie Eiszeit hat die bayerischen Nordalpen besonders geformt.'] Label: [['Die Landschaft ist von der Eiszeit geformt:']] Sacrebleu: {'score': 2.8265205879007453, 'counts': [3, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [16.666666666666668, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 18, 'reference_length': 8} Rouge: {'rouge1': 0.26086956521739124, 'rouge2': 0.0, 'rougeL': 0.26086956521739124, 'rougeLsum': 0.26086956521739124} Sari: {'sari': 20.698924731182796} Flesh Reading Ease: 60.85 ---------------------------------------- Source: ['München gilt als eine der schönsten Städte Deutschlands.'] Prediction: ['Die Schweiz ist eine der schönsten Städte Deutschlands.\nDie Schweizer Städte waren eine der schönsten Städte.\nDie Schweizer Städte waren eine der schönsten Städte Deutschlands.'] Label: [['München gehört zu den schönsten Städten Deutschlands.']] Sacrebleu: {'score': 2.955622941561161, 'counts': [3, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [10.714285714285714, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.10714285714285714, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 28, 'reference_length': 8} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.09523809523809523, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 38.33333333333333} Flesh Reading Ease: 66.4 ---------------------------------------- Source: ['Sie hat etwa 1,5 Millionen Einwohner und das Oktoberfest – das größte Volksfest der Welt mit jährlich rund 6 Millionen Gästen.'] Prediction: ['Das größte Volksfest der Welt hat jährlich rund 6 Millionen Gästen gefunden.\nDie Welt hat etwa 1,5 Millionen Einwohner und das Oktoberfest mit jährlich rund 6 Millionen Gästen gefunden.'] Label: [['Sie hat etwa 1,5 Millionen Einwohner und ist bekannt durch das Oktoberfest – das größte Volksfest der Welt mit jährlich rund 6 Millionen Gästen.']] Sacrebleu: {'score': 39.62645069468097, 'counts': [19, 14, 10, 7], 'totals': [31, 30, 29, 28], 'precisions': [61.29032258064516, 46.666666666666664, 34.48275862068966, 25.0], 'bp': 1.0, 'sys_len': 31, 'ref_len': 25} Bleu: {'bleu': 0.3962645069468096, 'precisions': [0.6129032258064516, 0.4666666666666667, 0.3448275862068966, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.24, 'translation_length': 31, 'reference_length': 25} Rouge: {'rouge1': 0.7419354838709677, 'rouge2': 0.6333333333333334, 'rougeL': 0.5483870967741936, 'rougeLsum': 0.7419354838709677} Sari: {'sari': 26.84906192970709} Flesh Reading Ease: 54.35 ---------------------------------------- Source: ['Wem das zu viel Rummel ist hat tausende andere Möglichkeiten, die Stadt zu genießen, etwa auf dem Viktualienmarkt:'] Prediction: ['Die Stadt Zürich hat einen Rummel auf dem Viktualienmarkt gegeben.\nDie Stadt hat tausende andere Möglichkeiten, die Stadt zu genießen, etwa auf dem Viktualienmarkt.'] Label: [['Wem das zu viel ist, der hat viele andere Möglichkeiten, die Stadt zu genießen, etwa auf dem Viktualienmarkt:']] Sacrebleu: {'score': 40.228686126014296, 'counts': [13, 11, 10, 9], 'totals': [28, 27, 26, 25], 'precisions': [46.42857142857143, 40.74074074074074, 38.46153846153846, 36.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 22} Bleu: {'bleu': 0.40228686126014285, 'precisions': [0.4642857142857143, 0.4074074074074074, 0.38461538461538464, 0.36], 'brevity_penalty': 1.0, 'length_ratio': 1.2727272727272727, 'translation_length': 28, 'reference_length': 22} Rouge: {'rouge1': 0.553191489361702, 'rouge2': 0.4888888888888889, 'rougeL': 0.553191489361702, 'rougeLsum': 0.553191489361702} Sari: {'sari': 40.65964523281596} Flesh Reading Ease: 51.0 ---------------------------------------- Source: ['Ganz in der Nähe der Leopoldstraße - Münchens bekanntester Boulevard - empfiehlt die Süddeutsche Zeitung einen Abstecher in eine Seitenstraße des Stadtteils Schwabing.'] Prediction: ['In Münchens bekanntester Boulevard ist ein Abstecher in eine Seitenstraße des Stadtteils Schwabing gekommen.\nDie Süddeutsche Zeitung hat einen Abstecher in eine Seitenstraße des Stadtteils Schwabing eingeleitet.'] Label: [['Ganz in der Nähe der Leopoldstraße - Münchens bekanntester Boulevard - empfiehlt die Süddeutsche Zeitung einen Besuch des Stadtteils Schwabing.']] Sacrebleu: {'score': 9.91099796650846, 'counts': [11, 5, 2, 0], 'totals': [29, 28, 27, 26], 'precisions': [37.93103448275862, 17.857142857142858, 7.407407407407407, 1.9230769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.3793103448275862, 0.17857142857142858, 0.07407407407407407, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.380952380952381, 'translation_length': 29, 'reference_length': 21} Rouge: {'rouge1': 0.5283018867924528, 'rouge2': 0.3137254901960784, 'rougeL': 0.4905660377358491, 'rougeLsum': 0.4905660377358491} Sari: {'sari': 12.778270054868038} Flesh Reading Ease: 43.65 ---------------------------------------- Source: ['Wen ein Leid plagt, der geht zum Arzt – oder er googelt.'] Prediction: ['Ein Leid plagt, der geht zum Arzt oder er googelt.\nDas ist ein Leid, der geht zum Arzt oder er googelt.\nDie Leiche ist noch nicht bekannt.'] Label: [['Wer krank ist, der geht zum Arzt – oder er googelt.']] Sacrebleu: {'score': 18.676246336830427, 'counts': [10, 7, 5, 3], 'totals': [32, 31, 30, 29], 'precisions': [31.25, 22.580645161290324, 16.666666666666668, 10.344827586206897], 'bp': 1.0, 'sys_len': 32, 'ref_len': 13} Bleu: {'bleu': 0.18676246336830427, 'precisions': [0.3125, 0.22580645161290322, 0.16666666666666666, 0.10344827586206896], 'brevity_penalty': 1.0, 'length_ratio': 2.4615384615384617, 'translation_length': 32, 'reference_length': 13} Rouge: {'rouge1': 0.43243243243243246, 'rouge2': 0.3428571428571429, 'rougeL': 0.43243243243243246, 'rougeLsum': 0.43243243243243246} Sari: {'sari': 34.37413098597309} Flesh Reading Ease: 106.65 ---------------------------------------- Source: ['Manchmal ist, besonders auf dem Land, der Weg zum Arzt weit, daher scheint es einfacher, im Internet nach Symptomen und Lösungen zu recherchieren.'] Prediction: ['Manchmal ist, besonders auf dem Land, der Weg zum Arzt weit, daher scheint es einfacher, im Internet nach Symptomen und Lösungen zu recherchieren.\nDas Problem ist, das Internet nach Symptomen und Lösungen zu recherchieren.'] Label: [['Oft sogar scheint es einfacher zu sein, im Internet nach Symptomen und Lösungen zu recherchieren.']] Sacrebleu: {'score': 25.13577641646411, 'counts': [14, 11, 9, 7], 'totals': [41, 40, 39, 38], 'precisions': [34.146341463414636, 27.5, 23.076923076923077, 18.42105263157895], 'bp': 1.0, 'sys_len': 41, 'ref_len': 17} Bleu: {'bleu': 0.25135776416464106, 'precisions': [0.34146341463414637, 0.275, 0.23076923076923078, 0.18421052631578946], 'brevity_penalty': 1.0, 'length_ratio': 2.411764705882353, 'translation_length': 41, 'reference_length': 17} Rouge: {'rouge1': 0.5, 'rouge2': 0.4, 'rougeL': 0.46153846153846156, 'rougeLsum': 0.46153846153846156} Sari: {'sari': 51.570426695934465} Flesh Reading Ease: 63.55 ---------------------------------------- Source: ['Hier wird deutlich, dass zum einen nach häufigen Erkrankungen, aber auch nach Tabukrankheiten gesucht wird.'] Prediction: ['Einige Personen wurden bei der Corona-Pandemie nach häufigen Erkrankungen gesucht.\nDie beiden wurden nach häufigen Erkrankungen gesucht.\nDie beiden wurden nach Tabukrankheiten gesucht.'] Label: [['Hier wird deutlich, dass nach häufigen Erkrankungen, aber auch nach Tabukrankheiten gesucht wird.']] Sacrebleu: {'score': 9.39888637243536, 'counts': [7, 4, 2, 0], 'totals': [26, 25, 24, 23], 'precisions': [26.923076923076923, 16.0, 8.333333333333334, 2.1739130434782608], 'bp': 1.0, 'sys_len': 26, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2692307692307692, 0.16, 0.08333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.625, 'translation_length': 26, 'reference_length': 16} Rouge: {'rouge1': 0.35000000000000003, 'rouge2': 0.2631578947368421, 'rougeL': 0.35000000000000003, 'rougeLsum': 0.35000000000000003} Sari: {'sari': 20.09077878643096} Flesh Reading Ease: 37.75 ---------------------------------------- Source: ['Mehr als 30 Prozent der bewerteten Webseiten schnitten mit „mangelhaft“ oder sogar „ungenügend“ ab.'] Prediction: ['Im Internet sind mehr als 30 Prozent der bewerteten Webseiten schnitten mit "mangelhaft" oder sogar "ungenügend" ab.\nDie bewerteten Webseiten schnitten mit "mangelhaft" oder sogar "ungenügend".'] Label: [['Das Ergebnis: Mehr als 30 Prozent der bewerteten Webseiten schnitten mit „mangelhaft“ oder sogar „ungenügend“ ab.']] Sacrebleu: {'score': 21.879903490242977, 'counts': [12, 9, 6, 5], 'totals': [36, 35, 34, 33], 'precisions': [33.333333333333336, 25.714285714285715, 17.647058823529413, 15.151515151515152], 'bp': 1.0, 'sys_len': 36, 'ref_len': 18} Bleu: {'bleu': 0.21879903490242977, 'precisions': [0.3333333333333333, 0.2571428571428571, 0.17647058823529413, 0.15151515151515152], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 36, 'reference_length': 18} Rouge: {'rouge1': 0.6666666666666667, 'rouge2': 0.6511627906976744, 'rougeL': 0.6666666666666667, 'rougeLsum': 0.6666666666666667} Sari: {'sari': 26.071428571428573} Flesh Reading Ease: 50.0 ---------------------------------------- Source: ['Alle 100 Webseiten bekamen nur die Durchschnittsnote „ausreichend“ (4+).In einer zumindest in Deutschland rechtlichen Grauzone bewegen sich Ärzte, die Ferndiagnosen über das Internet stellen und Rezepte ausstellen - so wie in Großbritannien schon üblich.'] Prediction: ['In Deutschland rechtlichen Grauzone bewegen sich Ärzte, die Ferndiagnosen über das Internet stellen und Rezepte ausstellen.\nIn einer zumindest in Deutschland rechtlichen Grauzone bewegen sich Ärzte, die Ferndiagnosen über das Internet stellen und Rezepte ausstellen.'] Label: [['Alle 100 Webseiten bekamen nur die Durchschnittsnote „ausreichend“ (4+).In einer zumindest in Deutschland rechtlichen Grauzone bewegen sich Ärzte, die Ferndiagnosen über das Internet stellen und Rezepte ausstellen.']] Sacrebleu: {'score': 55.21976762590714, 'counts': [23, 21, 20, 19], 'totals': [39, 38, 37, 36], 'precisions': [58.97435897435897, 55.26315789473684, 54.054054054054056, 52.77777777777778], 'bp': 1.0, 'sys_len': 39, 'ref_len': 34} Bleu: {'bleu': 0.5521976762590712, 'precisions': [0.5897435897435898, 0.5526315789473685, 0.5405405405405406, 0.5277777777777778], 'brevity_penalty': 1.0, 'length_ratio': 1.1470588235294117, 'translation_length': 39, 'reference_length': 34} Rouge: {'rouge1': 0.634920634920635, 'rouge2': 0.5901639344262295, 'rougeL': 0.634920634920635, 'rougeLsum': 0.603174603174603} Sari: {'sari': 65.00311956457504} Flesh Reading Ease: 39.65 ---------------------------------------- Source: ['Erlaubt ist das hierzulande nur, wenn sich Arzt und Patient bereits kennen, also der Patient schon in der Praxis zur Sprechstunde anwesend war und die Krankengeschichte bekannt ist.'] Prediction: ['Ein Patient schon in der Praxis zur Sprechstunde anwesend war und die Krankengeschichte bekannt ist.\nErlaubt ist das hierzulande nur, wenn sich Arzt und Patient bereits kennen, also der Patient schon in der Praxis zur Sprechstunde anwesend war und die Krankengeschichte bekannt ist.'] Label: [['Erlaubt ist das hierzulande nur, wenn sich Arzt und Patient bereits kennen, also der Patient schon in der Praxis zur Sprechstunde anwesend war und die Krankengeschichte kennt.']] Sacrebleu: {'score': 58.7203397507936, 'counts': [29, 27, 26, 25], 'totals': [47, 46, 45, 44], 'precisions': [61.702127659574465, 58.69565217391305, 57.77777777777778, 56.81818181818182], 'bp': 1.0, 'sys_len': 47, 'ref_len': 30} Bleu: {'bleu': 0.587203397507936, 'precisions': [0.6170212765957447, 0.5869565217391305, 0.5777777777777777, 0.5681818181818182], 'brevity_penalty': 1.0, 'length_ratio': 1.5666666666666667, 'translation_length': 47, 'reference_length': 30} Rouge: {'rouge1': 0.7428571428571429, 'rouge2': 0.7352941176470588, 'rougeL': 0.7428571428571429, 'rougeLsum': 0.7428571428571429} Sari: {'sari': 65.05430185521035} Flesh Reading Ease: 53.2 ---------------------------------------- Source: ['Es gilt als die älteste, noch heute gültige Lebensmittelgesetzgebung – weltweit!'] Prediction: ['Die Lebensmittelgesetzgebung ist noch nicht mehr gültig.\nDas gilt als die älteste, noch heute gültige Lebensmittelgesetzgebung.'] Label: [['Es gilt als das älteste, noch heute gültige Lebensmittelgesetz – weltweit!']] Sacrebleu: {'score': 21.797469124036954, 'counts': [7, 5, 3, 2], 'totals': [19, 18, 17, 16], 'precisions': [36.8421052631579, 27.77777777777778, 17.647058823529413, 12.5], 'bp': 1.0, 'sys_len': 19, 'ref_len': 13} Bleu: {'bleu': 0.21797469124036953, 'precisions': [0.3684210526315789, 0.2777777777777778, 0.17647058823529413, 0.125], 'brevity_penalty': 1.0, 'length_ratio': 1.4615384615384615, 'translation_length': 19, 'reference_length': 13} Rouge: {'rouge1': 0.5517241379310345, 'rouge2': 0.37037037037037035, 'rougeL': 0.4827586206896552, 'rougeLsum': 0.4827586206896552} Sari: {'sari': 36.041666666666664} Flesh Reading Ease: 37.45 ---------------------------------------- Source: ['Beschlossen haben es übrigens die Herzöge Wilhelm IV. und Ludwig X., eigentlich aus Not, denn zu der Zeit waren Nahrungsmittel in Bayern sehr knapp.'] Prediction: ['Die Herzöge Wilhelm IV.\nund Ludwig X., haben sich in Bayern zu der Zeit sehr knapp gemacht.\nSie haben es übrigens die Nahrungsmittel in Bayern sehr knapp.'] Label: [['Beschlossen haben es übrigens die Herzöge Wilhelm IV.\nund Ludwig X. Zu der Zeit waren Nahrungsmittel in Bayern sehr knapp.']] Sacrebleu: {'score': 44.733790783871754, 'counts': [20, 16, 12, 9], 'totals': [32, 31, 30, 29], 'precisions': [62.5, 51.61290322580645, 40.0, 31.03448275862069], 'bp': 1.0, 'sys_len': 32, 'ref_len': 23} Bleu: {'bleu': 0.44733790783871763, 'precisions': [0.625, 0.5161290322580645, 0.4, 0.3103448275862069], 'brevity_penalty': 1.0, 'length_ratio': 1.391304347826087, 'translation_length': 32, 'reference_length': 23} Rouge: {'rouge1': 0.7755102040816326, 'rouge2': 0.6808510638297872, 'rougeL': 0.6530612244897959, 'rougeLsum': 0.7755102040816326} Sari: {'sari': 48.8882447183463} Flesh Reading Ease: 85.45 ---------------------------------------- Source: ['Und die wertvollen Getreide Weizen und Roggen wollte man zum Brotbacken reservieren.'] Prediction: ['Die wertvollen Getreide Weizen und Roggen wollten man zum Brotbacken reservieren.\nDie wertvollen Getreide Weizen und Roggen wollten man zum Brotbacken reservieren.\nDie wertvollen Getreide Weizen und Roggen wollten man zum Brotbacken reservieren.'] Label: [['Und die wertvollen Getreide Weizen und Roggen wollte man für Brot reservieren.']] Sacrebleu: {'score': 11.414633188690333, 'counts': [8, 5, 3, 2], 'totals': [36, 35, 34, 33], 'precisions': [22.22222222222222, 14.285714285714286, 8.823529411764707, 6.0606060606060606], 'bp': 1.0, 'sys_len': 36, 'ref_len': 13} Bleu: {'bleu': 0.11414633188690328, 'precisions': [0.2222222222222222, 0.14285714285714285, 0.08823529411764706, 0.06060606060606061], 'brevity_penalty': 1.0, 'length_ratio': 2.769230769230769, 'translation_length': 36, 'reference_length': 13} Rouge: {'rouge1': 0.391304347826087, 'rouge2': 0.22727272727272727, 'rougeL': 0.391304347826087, 'rougeLsum': 0.34782608695652173} Sari: {'sari': 27.456615022404492} Flesh Reading Ease: 46.15 ---------------------------------------- Source: ['Ist man in Bayern, dann trinkt man Bier.'] Prediction: ['Die Schweiz tritt immer mehr zu Bayern München.\nDer Bayern-Spieler tritt auf Bier.'] Label: [['In Bayern trinkt man Bier.']] Sacrebleu: {'score': 5.816635421147513, 'counts': [3, 1, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [20.0, 7.142857142857143, 3.8461538461538463, 2.0833333333333335], 'bp': 1.0, 'sys_len': 15, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.07142857142857142, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 15, 'reference_length': 6} Rouge: {'rouge1': 0.2, 'rouge2': 0.0, 'rougeL': 0.2, 'rougeLsum': 0.2} Sari: {'sari': 32.351190476190474} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['Auf dem Oktoberfest in der bayerischen Hauptstadt trinkt man besonders viel, rund 7,5 Millionen Liter in 2 Wochen!'] Prediction: ['Auf dem Oktoberfest in der bayerischen Hauptstadt trinkt man viel, rund 7,5 Millionen Liter in 2 Wochen.\nDas ist ein Oktoberfest in der Hauptstadt.\nDie bayerische Hauptstadt trinkt man besonders viel, rund 7,5 Millionen Liter in 2 Wochen.'] Label: [['Auf dem Oktoberfest in München trinkt man besonders viel, rund 7,5 Millionen Liter in 2 Wochen!']] Sacrebleu: {'score': 30.865045220428264, 'counts': [16, 14, 12, 10], 'totals': [43, 42, 41, 40], 'precisions': [37.2093023255814, 33.333333333333336, 29.26829268292683, 25.0], 'bp': 1.0, 'sys_len': 43, 'ref_len': 18} Bleu: {'bleu': 0.30865045220428267, 'precisions': [0.37209302325581395, 0.3333333333333333, 0.2926829268292683, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 2.388888888888889, 'translation_length': 43, 'reference_length': 18} Rouge: {'rouge1': 0.5517241379310346, 'rouge2': 0.5, 'rougeL': 0.5517241379310346, 'rougeLsum': 0.5517241379310346} Sari: {'sari': 27.27669574815063} Flesh Reading Ease: 67.85 ---------------------------------------- Source: ['Bier, um auch gleich ein Klischee zu bestätigen, ist das Lieblingsgetränk der Deutschen.'] Prediction: ['Das Lieblingsgetränk der Deutschen ist ein Lieblingsgetränk der Deutschen.\nDer Lieblingsgetränk ist ein ehemaliger Lieblingsgetränk der Deutschen.\nDie beiden waren auf dem TV-Sender "Die Bachelorette" in der Radio-Section deiner 20-Minuten-App (ganz unten im Leiste), bei der sie sich auf dem Direktstream bekannt geht.'] Label: [['Bier ist das Lieblingsgetränk der Deutschen.']] Sacrebleu: {'score': 4.545435141870277, 'counts': [5, 3, 2, 1], 'totals': [53, 52, 51, 50], 'precisions': [9.433962264150944, 5.769230769230769, 3.9215686274509802, 2.0], 'bp': 1.0, 'sys_len': 53, 'ref_len': 7} Bleu: {'bleu': 0.04545435141870276, 'precisions': [0.09433962264150944, 0.057692307692307696, 0.0392156862745098, 0.02], 'brevity_penalty': 1.0, 'length_ratio': 7.571428571428571, 'translation_length': 53, 'reference_length': 7} Rouge: {'rouge1': 0.2068965517241379, 'rouge2': 0.14285714285714285, 'rougeL': 0.1724137931034483, 'rougeLsum': 0.1724137931034483} Sari: {'sari': 57.90253727753728} Flesh Reading Ease: 54.55 ---------------------------------------- Source: ['Traditionell trinkt man das Bier in Masskrügen. Das ist ein Bierkrug, der das Volumen einer Mass fasst, genau ein Liter.'] Prediction: ['Ein Bierkrug, der das Volumen einer Mass fasst, genau ein Liter fasst, ist ein Liter.\nDas ist ein Bierkrug, der das Volumen einer Mass fasst, genau ein Liter.'] Label: [['Ein Bierkrug auf dem Oktoberfest umfasst genau ein Liter.']] Sacrebleu: {'score': 7.861539293399739, 'counts': [6, 4, 2, 1], 'totals': [35, 34, 33, 32], 'precisions': [17.142857142857142, 11.764705882352942, 6.0606060606060606, 3.125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 10} Bleu: {'bleu': 0.07861539293399739, 'precisions': [0.17142857142857143, 0.11764705882352941, 0.06060606060606061, 0.03125], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 35, 'reference_length': 10} Rouge: {'rouge1': 0.2702702702702703, 'rouge2': 0.17142857142857143, 'rougeL': 0.2702702702702703, 'rougeLsum': 0.2702702702702703} Sari: {'sari': 44.024276377217554} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['Ganz billig ist die Mass Bier nicht – knapp unter 11 Euro liegt der Preis.'] Prediction: ['Die Preis für die Mass Bier sind nicht mehr ganz billig.\nDie Preis für die Mass Bier sind knapp unter 11 Euro gekommen.\nDie Preis für die Mass Bier sind nicht mehr ganz billig.'] Label: [['Ganz billig ist die Mass Bier nicht: etwas weniger als 11 Euro kostet das Getränk.']] Sacrebleu: {'score': 5.245447141070191, 'counts': [8, 3, 1, 0], 'totals': [37, 36, 35, 34], 'precisions': [21.62162162162162, 8.333333333333334, 2.857142857142857, 1.4705882352941178], 'bp': 1.0, 'sys_len': 37, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.21621621621621623, 0.08333333333333333, 0.02857142857142857, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.176470588235294, 'translation_length': 37, 'reference_length': 17} Rouge: {'rouge1': 0.3018867924528302, 'rouge2': 0.1568627450980392, 'rougeL': 0.2641509433962264, 'rougeLsum': 0.22641509433962265} Sari: {'sari': 36.69386169386169} Flesh Reading Ease: 98.5 ---------------------------------------- Source: ['Die Wirte auf dem Oktoberfest verdienen gut daran: Der Umsatz soll laut der Wirtschaftszeitung Handelsblatt etwa 955 Millionen Euro betragen.'] Prediction: ['Der Umsatz der Oktoberfest in Zürich soll am Donnerstagabend 955 Millionen Euro betragen werden.\nDer Umsatz soll laut der Wirtschaftszeitung Handelsblatt etwa 955 Millionen Euro betragen.\nDie Wirte auf dem Oktoberfest verdienen gut daran: Der Umsatz soll laut der Wirtschaftszeitung Handelsblatt etwa 955 Millionen Euro betragen.'] Label: [['Die Wirte auf dem Oktoberfest verdienen gut daran, der Umsatz soll laut der Wirtschaftszeitung Handelsblatt etwa 955 Millionen Euro betragen.']] Sacrebleu: {'score': 35.18103886343541, 'counts': [21, 18, 16, 14], 'totals': [50, 49, 48, 47], 'precisions': [42.0, 36.734693877551024, 33.333333333333336, 29.78723404255319], 'bp': 1.0, 'sys_len': 50, 'ref_len': 22} Bleu: {'bleu': 0.351810388634354, 'precisions': [0.42, 0.3673469387755102, 0.3333333333333333, 0.2978723404255319], 'brevity_penalty': 1.0, 'length_ratio': 2.272727272727273, 'translation_length': 50, 'reference_length': 22} Rouge: {'rouge1': 0.5970149253731344, 'rouge2': 0.5846153846153846, 'rougeL': 0.5970149253731344, 'rougeLsum': 0.5970149253731344} Sari: {'sari': 64.39068013494126} Flesh Reading Ease: 47.7 ---------------------------------------- Source: ['Menschen über 50 Jahre mit ihren meist ergrauten Haaren – daher der Begriff „Silver Society“ – prägen das Bild der Gesellschaft:'] Prediction: ['Ein Begriff aus dem Kanton Bern hat einen meist ergrauten Haaren.\nDas Bild zeigt, wie er die Gesellschaft "Silver Society" prägt.'] Label: [['Menschen über 50 Jahre mit ihren grauen Haaren – daher der Begriff „Silver Society“ – prägen das Bild der Gesellschaft:']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2380952380952381, 'translation_length': 26, 'reference_length': 21} Rouge: {'rouge1': 0.3902439024390244, 'rouge2': 0.15384615384615383, 'rougeL': 0.1951219512195122, 'rougeLsum': 0.1951219512195122} Sari: {'sari': 7.851805439524738} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['Wenn sie in den Ruhestand geht, droht Deutschland ein Mangel an Fachkräften, eine Überalterung und in letzter Konsequenz ein Rückgang der Produktivität.'] Prediction: ['Deutschland hat einen Mangel in den Ruhestand geht.\nDie Produktivität droht ein Rückgang der Produktivität.'] Label: [['Wenn sie in den Ruhestand geht, droht Deutschland ein Mangel an Fachkräften und eine Überalterung.']] Sacrebleu: {'score': 17.53482315662309, 'counts': [9, 3, 2, 1], 'totals': [17, 16, 15, 14], 'precisions': [52.94117647058823, 18.75, 13.333333333333334, 7.142857142857143], 'bp': 1.0, 'sys_len': 17, 'ref_len': 17} Bleu: {'bleu': 0.17534823156623092, 'precisions': [0.5294117647058824, 0.1875, 0.13333333333333333, 0.07142857142857142], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 17, 'reference_length': 17} Rouge: {'rouge1': 0.47058823529411764, 'rouge2': 0.18750000000000003, 'rougeL': 0.35294117647058826, 'rougeLsum': 0.35294117647058826} Sari: {'sari': 24.757913647566152} Flesh Reading Ease: 55.5 ---------------------------------------- Source: ['Durch besondere Arbeitszeitregelungen, ergonomische Arbeitsplätze und Qualifizierungen will man sie so lange wie möglich im Job halten.'] Prediction: ['Ein ergonomischer Arbeitszeitregelungen, ergonomische Arbeitsplätze und Qualifizierungen will man sie so lange wie möglich im Job halten.\nDiese sollen so lange wie möglich im Job halten.'] Label: [['Durch besondere Arbeitszeiten, ergonomische Arbeitsplätze und Qualifizierungen will man sie so lange wie möglich im Job halten.']] Sacrebleu: {'score': 52.61352166307949, 'counts': [16, 15, 14, 13], 'totals': [29, 28, 27, 26], 'precisions': [55.172413793103445, 53.57142857142857, 51.851851851851855, 50.0], 'bp': 1.0, 'sys_len': 29, 'ref_len': 19} Bleu: {'bleu': 0.5261352166307947, 'precisions': [0.5517241379310345, 0.5357142857142857, 0.5185185185185185, 0.5], 'brevity_penalty': 1.0, 'length_ratio': 1.5263157894736843, 'translation_length': 29, 'reference_length': 19} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.6521739130434783, 'rougeL': 0.6666666666666666, 'rougeLsum': 0.6666666666666666} Sari: {'sari': 52.3355493218999} Flesh Reading Ease: 38.3 ---------------------------------------- Source: ['Die meisten Deutschen gehen mit 65 oder 67 in den Ruhestand, der zunehmend aktiver wird.'] Prediction: ['Die meisten Deutschen gehen mit 65 oder 67 in den Ruhestand.\nDie meisten Deutschen gehen mit 65 oder 67 in den Ruhestand, der zunehmend aktiver wird.'] Label: [['Die meisten Deutschen gehen mit 65 oder 67 in den Ruhestand.']] Sacrebleu: {'score': 37.99538284139644, 'counts': [12, 11, 10, 9], 'totals': [29, 28, 27, 26], 'precisions': [41.37931034482759, 39.285714285714285, 37.03703703703704, 34.61538461538461], 'bp': 1.0, 'sys_len': 29, 'ref_len': 12} Bleu: {'bleu': 0.3799538284139645, 'precisions': [0.41379310344827586, 0.39285714285714285, 0.37037037037037035, 0.34615384615384615], 'brevity_penalty': 1.0, 'length_ratio': 2.4166666666666665, 'translation_length': 29, 'reference_length': 12} Rouge: {'rouge1': 0.5945945945945945, 'rouge2': 0.5714285714285715, 'rougeL': 0.5945945945945945, 'rougeLsum': 0.5945945945945945} Sari: {'sari': 80.33963641722262} Flesh Reading Ease: 79.25 ---------------------------------------- Source: ['Die Generation der Menschen in den besten Jahren – Best Ager – ist besonders aktiv und hat eine Menge vor.'] Prediction: ['Die Generation der Menschen in den besten Jahren ist besonders aktiv und hat eine Menge vor.\nDie Generation der Menschen in den besten Jahren ist besonders aktiv und hat eine Menge vor.'] Label: [['Die Generation der Menschen in den besten Jahren – Best Ager – ist besonders aktiv.']] Sacrebleu: {'score': 24.140530944142704, 'counts': [12, 9, 7, 5], 'totals': [34, 33, 32, 31], 'precisions': [35.294117647058826, 27.272727272727273, 21.875, 16.129032258064516], 'bp': 1.0, 'sys_len': 34, 'ref_len': 16} Bleu: {'bleu': 0.24140530944142696, 'precisions': [0.35294117647058826, 0.2727272727272727, 0.21875, 0.16129032258064516], 'brevity_penalty': 1.0, 'length_ratio': 2.125, 'translation_length': 34, 'reference_length': 16} Rouge: {'rouge1': 0.4888888888888889, 'rouge2': 0.4186046511627908, 'rougeL': 0.4888888888888889, 'rougeLsum': 0.4888888888888889} Sari: {'sari': 27.676721080019433} Flesh Reading Ease: 58.7 ---------------------------------------- Source: ['Und etliche arbeiten in Jobs:'] Prediction: ['Unter anderem arbeiten in Jobs mit einem grossen Job.\nDie Jobs-Welle ist nicht nur nur nur nur nur nur, sondern auch nur nur nur nur nur, sondern auch nur nur nur nur nur nur, sondern auch nur nur nur nur nur, sondern auch nur nur nur nur nur nur nur, sondern auch nur nur nur nur nur, sondern auch nur nur nur nur, sondern auch nur nur nur, sondern auch nur nur, sondern auch nur nur, sondern auch nur nach wie vor allem nach dem Job.\nUnd wie sie sie sind so viel, wie sie sie sind so viel, wie sie so viel, wie sie so viel wie sie so viel wie sie so viel, wie sie so viel wie sie so viel, wie sie so viel wie sie so viel, wie sie so viel, wie sie so viel, wie sie so viel, wie sie so viel, so viel, wie sie so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so viel, so v'] Label: [['Und viele arbeiten in Jobs:']] Sacrebleu: {'score': 0.5170842335842638, 'counts': [4, 2, 1, 0], 'totals': [275, 274, 273, 272], 'precisions': [1.4545454545454546, 0.7299270072992701, 0.3663003663003663, 0.18382352941176472], 'bp': 1.0, 'sys_len': 275, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.014545454545454545, 0.0072992700729927005, 0.003663003663003663, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 45.833333333333336, 'translation_length': 275, 'reference_length': 6} Rouge: {'rouge1': 0.035555555555555556, 'rouge2': 0.017937219730941704, 'rougeL': 0.02666666666666666, 'rougeLsum': 0.035555555555555556} Sari: {'sari': 40.46296296296296} Flesh Reading Ease: 42.65 ---------------------------------------- Source: ['In Deutschland haben rund 900.000 Rentner einen sogenannten Minijob, in dem man 450 Euro hinzu verdient, ohne dass die staatliche Rente gekürzt wird.'] Prediction: ['In Deutschland haben rund 900.000 Rentner einen sogenannten Minijob, in dem man 450 Euro hinzu verdient, ohne dass die staatliche Rente gekürzt wird.\nDie Rentner haben rund 900.000 Minijobs verdient, ohne dass die staatliche Rente gekürzt wird.'] Label: [['In Deutschland haben rund 900.000 Rentner einen sogenannten Minijob, in dem man 450 Euro hinzu verdient.']] Sacrebleu: {'score': 38.73588736354268, 'counts': [18, 16, 15, 14], 'totals': [42, 41, 40, 39], 'precisions': [42.857142857142854, 39.02439024390244, 37.5, 35.8974358974359], 'bp': 1.0, 'sys_len': 42, 'ref_len': 18} Bleu: {'bleu': 0.38735887363542687, 'precisions': [0.42857142857142855, 0.3902439024390244, 0.375, 0.358974358974359], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 42, 'reference_length': 18} Rouge: {'rouge1': 0.5862068965517241, 'rouge2': 0.5714285714285715, 'rougeL': 0.5862068965517241, 'rougeLsum': 0.5862068965517241} Sari: {'sari': 59.344084547336585} Flesh Reading Ease: 71.25 ---------------------------------------- Source: ['Mit 95 Thesen protestierte er gegen den Ablasshandel, mit dem sich die Menschen von ihren Sünden freikaufen konnten.'] Prediction: ['Ein Mann wurde mit 95 Thesen gegen den Ablasshandel einer Ablassstelle in der Nähe des Kantons Bern mit dem sich die Menschen von ihren Sünden freikaufen konnten.\nDie 95 Thesen protestierten gegen den Ablasshandel, mit dem sich die Menschen von ihren Sünden freikaufen konnten.'] Label: [['Mit 95 Thesen protestierte er gegen den Ablasshandel.\nDamit konnten sich die Menschen von ihren Sünden freikaufen.']] Sacrebleu: {'score': 16.58654886774794, 'counts': [15, 9, 6, 4], 'totals': [47, 46, 45, 44], 'precisions': [31.914893617021278, 19.565217391304348, 13.333333333333334, 9.090909090909092], 'bp': 1.0, 'sys_len': 47, 'ref_len': 19} Bleu: {'bleu': 0.16586548867747933, 'precisions': [0.3191489361702128, 0.1956521739130435, 0.13333333333333333, 0.09090909090909091], 'brevity_penalty': 1.0, 'length_ratio': 2.473684210526316, 'translation_length': 47, 'reference_length': 19} Rouge: {'rouge1': 0.4615384615384616, 'rouge2': 0.34920634920634924, 'rougeL': 0.4615384615384616, 'rougeLsum': 0.43076923076923074} Sari: {'sari': 20.816711332886943} Flesh Reading Ease: 58.55 ---------------------------------------- Source: ['So verfasste er am 31. Oktober einen Brief mit seinen Thesen, um eine Erneuerung der Kirche auszulösen.'] Prediction: ['Ein Mann verfasste einen Brief mit seinen Thesen, um eine Erneuerung der Kirche auszulösen.\nEr verfasste einen Brief mit seinen Thesen, um eine Erneuerung der Kirche auszulösen.'] Label: [['Luther veröffentlichte am 31.\nOktober einen Brief mit 95 Thesen.']] Sacrebleu: {'score': 5.30918756028263, 'counts': [6, 2, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [19.35483870967742, 6.666666666666667, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.1935483870967742, 0.06666666666666667, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5833333333333335, 'translation_length': 31, 'reference_length': 12} Rouge: {'rouge1': 0.2, 'rouge2': 0.10526315789473682, 'rougeL': 0.2, 'rougeLsum': 0.2} Sari: {'sari': 19.39484126984127} Flesh Reading Ease: 55.35 ---------------------------------------- Source: ['In der Folge wurde Europa im 16. und 17. Jahrhundert von Glaubenskriegen wie dem Dreißigjährigen Krieg erschüttert.'] Prediction: ['In Europa wurde im 16. und 17.\nJahrhundert ein Dreißigjähriger Krieg erschüttert.\nDer Dreißigjährige wurde im 16. und 17.\nJahrhundert von Glaubenskriegen wie dem Dreißigjährigen Krieg erschüttert.'] Label: [['In langen Jahren danach wurde Europa im 16. und 17.\nJahrhundert von Glaubenskriegen wie dem Dreißigjährigen Krieg erschüttert.']] Sacrebleu: {'score': 44.72955402758198, 'counts': [18, 14, 13, 12], 'totals': [33, 32, 31, 30], 'precisions': [54.54545454545455, 43.75, 41.935483870967744, 40.0], 'bp': 1.0, 'sys_len': 33, 'ref_len': 21} Bleu: {'bleu': 0.44729554027581997, 'precisions': [0.5454545454545454, 0.4375, 0.41935483870967744, 0.4], 'brevity_penalty': 1.0, 'length_ratio': 1.5714285714285714, 'translation_length': 33, 'reference_length': 21} Rouge: {'rouge1': 0.6428571428571428, 'rouge2': 0.5185185185185185, 'rougeL': 0.6071428571428571, 'rougeLsum': 0.6071428571428571} Sari: {'sari': 54.62232212232213} Flesh Reading Ease: 56.2 ---------------------------------------- Source: ['Neben seinen Thesen sorgte Luther mit seiner Bibelübersetzung dafür, dass nicht nur Mönche die Bibel lesen konnten.'] Prediction: ['Der US-Bundesstaat Alabama hat seine Bibelübersetzung dafür gemacht.\nDie Bibel lesen nicht nur Mönche die Bibel lesen.\nWie die Mönche lesen konnten, ist noch unklar.'] Label: [['Neben seinen Thesen übersetzte Luther die Bibel, damit nicht nur Mönche die Bibel lesen konnten.']] Sacrebleu: {'score': 19.306698300385474, 'counts': [11, 6, 4, 3], 'totals': [29, 28, 27, 26], 'precisions': [37.93103448275862, 21.428571428571427, 14.814814814814815, 11.538461538461538], 'bp': 1.0, 'sys_len': 29, 'ref_len': 17} Bleu: {'bleu': 0.19306698300385475, 'precisions': [0.3793103448275862, 0.21428571428571427, 0.14814814814814814, 0.11538461538461539], 'brevity_penalty': 1.0, 'length_ratio': 1.7058823529411764, 'translation_length': 29, 'reference_length': 17} Rouge: {'rouge1': 0.43478260869565216, 'rouge2': 0.36363636363636365, 'rougeL': 0.43478260869565216, 'rougeLsum': 0.43478260869565216} Sari: {'sari': 48.49941724941725} Flesh Reading Ease: 66.4 ---------------------------------------- Source: ['Er gab sein Dasein als Mönch auf, heiratete und begründete mit seinen Schriften die evangelischen Kirchen.'] Prediction: ['Ein Dasein heiratete im Alter von 99 Jahren seinen Mönch auf.\nEr heiratete und heiratete mit seinen Schriften die evangelischen Kirchen.\nNun hat er seinen Mönch aufgefunden, heiratete und heiratete.'] Label: [['Er gab sein Dasein als Mönch auf, heiratete und begründete mit seinen Schriften die evangelische Kirche.']] Sacrebleu: {'score': 11.802861352393496, 'counts': [12, 6, 3, 1], 'totals': [34, 33, 32, 31], 'precisions': [35.294117647058826, 18.181818181818183, 9.375, 3.225806451612903], 'bp': 1.0, 'sys_len': 34, 'ref_len': 18} Bleu: {'bleu': 0.11802861352393501, 'precisions': [0.35294117647058826, 0.18181818181818182, 0.09375, 0.03225806451612903], 'brevity_penalty': 1.0, 'length_ratio': 1.8888888888888888, 'translation_length': 34, 'reference_length': 18} Rouge: {'rouge1': 0.44000000000000006, 'rouge2': 0.25, 'rougeL': 0.39999999999999997, 'rougeLsum': 0.44000000000000006} Sari: {'sari': 14.687738367658277} Flesh Reading Ease: 53.0 ---------------------------------------- Source: ['18 Millionen Tonnen Nahrungsmittel, das sind, so hat die Umweltstiftung WWF Deutschland ausgerechnet, 313 Kilogramm – pro Sekunde, die im Müll landen.'] Prediction: ['Die Umweltstiftung WWF Deutschland hat 18 Millionen Tonnen Nahrungsmittel ausgerechnet, 313 Kilogramm pro Sekunde, die im Müll landen.\nDie Umweltstiftung WWF Deutschland hat die Umweltstiftung WWF Deutschland ausgerechnet, 313 Kilogramm pro Sekunde, die im Müll landen.'] Label: [['18 Millionen Tonnen Nahrungsmittel, das sind 313 Kilogramm – pro Sekunde, die in den Müll wandern, wie die Umweltstiftung WWF Deutschland ausgerechnet hat.']] Sacrebleu: {'score': 21.88294363252701, 'counts': [20, 11, 7, 4], 'totals': [42, 41, 40, 39], 'precisions': [47.61904761904762, 26.829268292682926, 17.5, 10.256410256410257], 'bp': 1.0, 'sys_len': 42, 'ref_len': 27} Bleu: {'bleu': 0.2188294363252701, 'precisions': [0.47619047619047616, 0.2682926829268293, 0.175, 0.10256410256410256], 'brevity_penalty': 1.0, 'length_ratio': 1.5555555555555556, 'translation_length': 42, 'reference_length': 27} Rouge: {'rouge1': 0.5573770491803278, 'rouge2': 0.4067796610169491, 'rougeL': 0.5245901639344263, 'rougeLsum': 0.360655737704918} Sari: {'sari': 32.59355049524784} Flesh Reading Ease: 39.15 ---------------------------------------- Source: ['Die Normen der Europäischen Union schreiben makellose Ware vor, viele krumme Gurken und zu kleine Möhren schaffen es erst gar nicht in den Supermarkt.'] Prediction: ['Die Europäischen Union verkauft die Supermarkt-Normen der Europäischen Union.\nDie Normen der Europäischen Union schreiben makellose Ware vor, viele krumme Gurken und zu kleine Möhren.\nDie Supermarkt-Normen schaffen es erst gar nicht in den Supermarkt.'] Label: [['Die Normen der Europäischen Union schreiben makellose Ware vor.\nKrumme Gurken zum Beispiel haben kaum eine Chance.']] Sacrebleu: {'score': 21.258960438480774, 'counts': [12, 8, 7, 6], 'totals': [39, 38, 37, 36], 'precisions': [30.76923076923077, 21.05263157894737, 18.91891891891892, 16.666666666666668], 'bp': 1.0, 'sys_len': 39, 'ref_len': 19} Bleu: {'bleu': 0.21258960438480784, 'precisions': [0.3076923076923077, 0.21052631578947367, 0.1891891891891892, 0.16666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 2.0526315789473686, 'translation_length': 39, 'reference_length': 19} Rouge: {'rouge1': 0.4067796610169492, 'rouge2': 0.3508771929824561, 'rougeL': 0.4067796610169492, 'rougeLsum': 0.4067796610169492} Sari: {'sari': 51.01108812542569} Flesh Reading Ease: 45.45 ---------------------------------------- Source: ['Doch hier sind die Vorschriften inzwischen gelockert und einige Händler verkaufen auch „unperfektes“ Obst und Gemüse – wenn denn nur mehr Kunden zugreifen würden!'] Prediction: ['Die Vorschriften inzwischen sind gelockert und einige Händler verkaufen auch Obst und Gemüse.\nDie Vorschriften sind gelockert und einige Händler verkaufen auch Obst und Gemüse.'] Label: [['Doch hier sind die Vorschriften inzwischen gelockert und einige Händler verkaufen auch „unperfektes“ Obst und Gemüse.']] Sacrebleu: {'score': 28.574404296987996, 'counts': [13, 9, 6, 4], 'totals': [27, 26, 25, 24], 'precisions': [48.148148148148145, 34.61538461538461, 24.0, 16.666666666666668], 'bp': 1.0, 'sys_len': 27, 'ref_len': 17} Bleu: {'bleu': 0.28574404296988, 'precisions': [0.48148148148148145, 0.34615384615384615, 0.24, 0.16666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 1.588235294117647, 'translation_length': 27, 'reference_length': 17} Rouge: {'rouge1': 0.6382978723404256, 'rouge2': 0.4888888888888888, 'rougeL': 0.5957446808510638, 'rougeLsum': 0.5957446808510638} Sari: {'sari': 54.875310914664496} Flesh Reading Ease: 50.5 ---------------------------------------- Source: ['Tatsache ist auch: Die wenigsten Lebensmittel, die im Hausmüll landen, gehören wirklich hinein.'] Prediction: ['Im Hausmüll in Bern wurden wenigsten Lebensmittel geschlossen.\nDie wenigsten Lebensmittel gehören wirklich hinein.\nDie wenigsten Lebensmittel gehören wirklich hinein.'] Label: [['Tatsache ist: Die wenigsten Lebensmittel, die im Müll landen, gehören wirklich hinein.']] Sacrebleu: {'score': 14.90896080339584, 'counts': [7, 5, 3, 1], 'totals': [23, 22, 21, 20], 'precisions': [30.434782608695652, 22.727272727272727, 14.285714285714286, 5.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 16} Bleu: {'bleu': 0.14908960803395838, 'precisions': [0.30434782608695654, 0.22727272727272727, 0.14285714285714285, 0.05], 'brevity_penalty': 1.0, 'length_ratio': 1.4375, 'translation_length': 23, 'reference_length': 16} Rouge: {'rouge1': 0.5405405405405405, 'rouge2': 0.2857142857142857, 'rougeL': 0.4324324324324324, 'rougeLsum': 0.3783783783783784} Sari: {'sari': 29.392513926096015} Flesh Reading Ease: 32.9 ---------------------------------------- Source: ['Würde man einfach weniger kaufen oder richtig lagern und auch besser verarbeiten, gäbe es das Problem nicht.'] Prediction: ['Würde man einfach weniger kaufen oder richtig lagern und auch besser verarbeiten, gäbe es das Problem nicht.\nWürde man einfach weniger kaufen oder richtig lagern und auch besser verarbeiten, gäbe es das Problem nicht.'] Label: [['Einfach weniger kaufen oder richtig lagern löst das Problem.']] Sacrebleu: {'score': 10.788569011528462, 'counts': [8, 5, 3, 2], 'totals': [38, 37, 36, 35], 'precisions': [21.05263157894737, 13.513513513513514, 8.333333333333334, 5.714285714285714], 'bp': 1.0, 'sys_len': 38, 'ref_len': 10} Bleu: {'bleu': 0.10788569011528462, 'precisions': [0.21052631578947367, 0.13513513513513514, 0.08333333333333333, 0.05714285714285714], 'brevity_penalty': 1.0, 'length_ratio': 3.8, 'translation_length': 38, 'reference_length': 10} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.26086956521739135, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 48.66332497911445} Flesh Reading Ease: 57.7 ---------------------------------------- Source: ['Wenn das abgelaufen ist, wird der Joghurt oder der Käse weggeworfen.'] Prediction: ['Immer mehr Joghurt oder der Käse wird der Joghurt oder der Käse weggeworfen.\nWenn das abgelaufen ist, wird der Joghurt oder der Käse weggeworfen.'] Label: [['Wenn das abgelaufen ist, wird der Joghurt oder der Käse häufig einfach weggeworfen.']] Sacrebleu: {'score': 39.540762763775106, 'counts': [13, 11, 9, 8], 'totals': [27, 26, 25, 24], 'precisions': [48.148148148148145, 42.30769230769231, 36.0, 33.333333333333336], 'bp': 1.0, 'sys_len': 27, 'ref_len': 15} Bleu: {'bleu': 0.39540762763775095, 'precisions': [0.48148148148148145, 0.4230769230769231, 0.36, 0.3333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 27, 'reference_length': 15} Rouge: {'rouge1': 0.5714285714285714, 'rouge2': 0.5, 'rougeL': 0.5714285714285714, 'rougeLsum': 0.5714285714285714} Sari: {'sari': 64.54508856682769} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Doch „abgelaufen“ bedeutet in den seltensten Fällen „nicht mehr genießbar“.'] Prediction: ['Die seltensten Fällen von der Schweiz sind "nicht mehr genießbar".\nDoch auch die seltensten Fällen sind überall überall genießbar.'] Label: [['Doch „abgelaufen“ bedeutet nicht „nicht mehr genießbar“.\nOft kann man die Ware noch Wochen später essen.']] Sacrebleu: {'score': 2.5771688135729764, 'counts': [6, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [26.08695652173913, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.2608695652173913, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2777777777777777, 'translation_length': 23, 'reference_length': 18} Rouge: {'rouge1': 0.2926829268292683, 'rouge2': 0.15384615384615383, 'rougeL': 0.24390243902439024, 'rougeLsum': 0.2926829268292683} Sari: {'sari': 25.162037037037038} Flesh Reading Ease: 71.05 ---------------------------------------- Source: ['Über ihre Webseite oder ihre App organisieren sie sich.'] Prediction: ['Die App-Userinnen und -User der App-User organisieren sich über ihre Webseite oder ihre App.\nSie organisieren sich über ihre Webseite oder ihre App.'] Label: [['Über ihre Webseite organisieren sie sich.']] Sacrebleu: {'score': 3.787865612579481, 'counts': [5, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5714285714285716, 'translation_length': 25, 'reference_length': 7} Rouge: {'rouge1': 0.3870967741935484, 'rouge2': 0.13793103448275862, 'rougeL': 0.3225806451612903, 'rougeLsum': 0.1935483870967742} Sari: {'sari': 33.53686635944701} Flesh Reading Ease: 51.5 ---------------------------------------- Source: ['Rund 14,5 Millionen Diesel-PKW tuckern aktuell über Deutschlands Straßen.'] Prediction: ['Deutschland hat 14,5 Millionen Diesel-PKW zu mehreren Straßen geschlossen.\nDie Diesel-PKWs tuckern aktuell über Deutschlands Straßen.'] Label: [['Rund 14,5 Millionen Diesel-PKW fahren aktuell über Deutschlands Straßen.']] Sacrebleu: {'score': 26.89054715066592, 'counts': [8, 6, 4, 2], 'totals': [18, 17, 16, 15], 'precisions': [44.44444444444444, 35.294117647058826, 25.0, 13.333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 10} Bleu: {'bleu': 0.2689054715066593, 'precisions': [0.4444444444444444, 0.35294117647058826, 0.25, 0.13333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 18, 'reference_length': 10} Rouge: {'rouge1': 0.6060606060606061, 'rouge2': 0.5161290322580645, 'rougeL': 0.6060606060606061, 'rougeLsum': 0.6060606060606061} Sari: {'sari': 42.74470899470899} Flesh Reading Ease: 37.45 ---------------------------------------- Source: ['Die meisten von ihnen – nach den Zahlen des Kraftfahrt-Bundesamts rund 13,2 Millionen – produzieren beim Verbrennen von Dieseltreibstoff zu viele Schadstoffe, darunter die gefährlichen Stickoxide.'] Prediction: ['Dieseltreibstoff produziert zu viele Schadstoffe.\nDie meisten von ihnen produzieren beim Verbrennen von Dieseltreibstoff zu viele Stickoxide.'] Label: [['Die meisten von ihnen – nach den Zahlen des Kraftfahrt-Bundesamts rund 13,2 Millionen – produzieren beim Verbrennen von Dieseltreibstoff zu viele Schadstoffe.']] Sacrebleu: {'score': 43.48638230241987, 'counts': [13, 11, 9, 6], 'totals': [19, 18, 17, 16], 'precisions': [68.42105263157895, 61.111111111111114, 52.94117647058823, 37.5], 'bp': 0.8101577349324267, 'sys_len': 19, 'ref_len': 23} Bleu: {'bleu': 0.43486382302419874, 'precisions': [0.6842105263157895, 0.6111111111111112, 0.5294117647058824, 0.375], 'brevity_penalty': 0.8101577349324267, 'length_ratio': 0.8260869565217391, 'translation_length': 19, 'reference_length': 23} Rouge: {'rouge1': 0.6153846153846153, 'rouge2': 0.5405405405405405, 'rougeL': 0.5641025641025642, 'rougeLsum': 0.6153846153846153} Sari: {'sari': 34.5266862507031} Flesh Reading Ease: 36.95 ---------------------------------------- Source: ['Der Rest, also nur 1,3 Millionen Diesel-PKW, hat vergleichsweise geringe Schadstoffemissionen und erfüllt die so genannte Euro-6-Norm mit maximal 80 Milligramm Stickoxide pro Kilometer.'] Prediction: ['Der Rest von Diesel-PKW ist nur 1,3 Millionen Franken.\nDer Rest erfüllt die so genannte Euro-6-Norm mit maximal 80 Milligramm Stickoxide pro Kilometer.'] Label: [['Nur etwa 1,3 Millionen Diesel-PKW haben geringe Schadstoffemissionen und erfüllen die so genannte Euro-6-Norm: maximal 80 Milligramm Stickoxide pro Kilometer.']] Sacrebleu: {'score': 41.16597006597376, 'counts': [16, 12, 9, 7], 'totals': [27, 26, 25, 24], 'precisions': [59.25925925925926, 46.15384615384615, 36.0, 29.166666666666668], 'bp': 1.0, 'sys_len': 27, 'ref_len': 24} Bleu: {'bleu': 0.41165970065973745, 'precisions': [0.5925925925925926, 0.46153846153846156, 0.36, 0.2916666666666667], 'brevity_penalty': 1.0, 'length_ratio': 1.125, 'translation_length': 27, 'reference_length': 24} Rouge: {'rouge1': 0.7169811320754718, 'rouge2': 0.5098039215686274, 'rougeL': 0.6415094339622641, 'rougeLsum': 0.6415094339622641} Sari: {'sari': 51.50804619001025} Flesh Reading Ease: 63.2 ---------------------------------------- Source: ['Gegen die Luftverschmutzung nützen Fahrverbote aber nur wenig, vielleicht helfen gute Filter oder gar insgesamt weniger Autos.'] Prediction: ['Die Fahrverbote in der Schweiz sind nicht mehr weniger.\nDie Veranstaltungen sind aber nur wenig, vielleicht helfen gute Filter oder gar insgesamt weniger Autos.'] Label: [['Gegen die Luftverschmutzung nützen Fahrverbote aber nur wenig, vielleicht helfen gute Filter oder weniger Autos.']] Sacrebleu: {'score': 34.88783797973686, 'counts': [13, 10, 8, 6], 'totals': [27, 26, 25, 24], 'precisions': [48.148148148148145, 38.46153846153846, 32.0, 25.0], 'bp': 1.0, 'sys_len': 27, 'ref_len': 17} Bleu: {'bleu': 0.3488783797973685, 'precisions': [0.48148148148148145, 0.38461538461538464, 0.32, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.588235294117647, 'translation_length': 27, 'reference_length': 17} Rouge: {'rouge1': 0.6, 'rouge2': 0.4210526315789474, 'rougeL': 0.6, 'rougeLsum': 0.6} Sari: {'sari': 22.9018759018759} Flesh Reading Ease: 62.7 ---------------------------------------- Source: ['Am 1. Januar 2016 waren 25.502 Elektroautos angemeldet, unter den Hybrid-Pkw sind es etwas mehr: 130.365. Hybrid-PKW kombinieren den Elektroantrieb mit dem Verbrennungsmotor und sind von daher schadstoffärmer als reine Verbrennungsmotoren.'] Prediction: ['Der Hybrid-Pkw kombinieren den Elektroantrieb mit dem Verbrennungsmotor und sind von daher schadstoffärmer als reine Verbrennungsmotoren.\nDer Kombinier der Elektroantrieb kombinieren den Elektroantrieb mit dem Verbrennungsmotor und sind von daher schadstoffärmer als reine Verbrennungsmotoren.'] Label: [['Aber am 1.\nJanuar 2016 waren erst 25.502 Elektroautos angemeldet, unter den Hybrid-Pkw sind es etwas mehr: 130.365.\nHybrid-PKW kombinieren den Elektroantrieb mit dem Verbrennungsmotor.']] Sacrebleu: {'score': 14.69924854714422, 'counts': [11, 5, 4, 3], 'totals': [36, 35, 34, 33], 'precisions': [30.555555555555557, 14.285714285714286, 11.764705882352942, 9.090909090909092], 'bp': 1.0, 'sys_len': 36, 'ref_len': 30} Bleu: {'bleu': 0.1469924854714422, 'precisions': [0.3055555555555556, 0.14285714285714285, 0.11764705882352941, 0.09090909090909091], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 36, 'reference_length': 30} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.21875000000000003, 'rougeL': 0.27272727272727276, 'rougeLsum': 0.30303030303030304} Sari: {'sari': 12.977126743111397} Flesh Reading Ease: 22.6 ---------------------------------------- Source: ['Um Anreize zu schaffen gibt es eine Prämie seit Juni 2016 den sogenannten Umweltbonus:'] Prediction: ['Eine Prämie seit Juni 2016 hatte eine Prämie seit Juni 2016 den sogenannten Umweltbonus gesprochen.\nNun hatte es eine Prämie zu schaffen: Es gibt eine Prämie seit Juni 2016 den sogenannten Umweltbonus:'] Label: [['Als Anreiz gibt es den Umweltbonus seit Juni 2016:']] Sacrebleu: {'score': 5.023076320278877, 'counts': [8, 2, 1, 0], 'totals': [35, 34, 33, 32], 'precisions': [22.857142857142858, 5.882352941176471, 3.0303030303030303, 1.5625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.22857142857142856, 0.058823529411764705, 0.030303030303030304, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 35, 'reference_length': 10} Rouge: {'rouge1': 0.3111111111111111, 'rouge2': 0.09302325581395347, 'rougeL': 0.22222222222222227, 'rougeLsum': 0.17777777777777776} Sari: {'sari': 42.015160765160765} Flesh Reading Ease: 52.85 ---------------------------------------- Source: ['Bis zu 4.000 Euro bekommt der Käufer erstattet, wenn er ein Elektro- oder Hybrid-Fahrzeug kauft.'] Prediction: ['Der Käufer in der Schweiz kauft ein Elektro oder Hybrid-Fahrzeug.\nDas kauft zu 4.000 Euro.\nDer Käufer hatte zu 4.000 Euro ein Elektro oder Hybrid-Fahrzeug.'] Label: [['Bis zu 4.000 Euro bekommt der Käufer zurück, wenn er ein Elektro- oder Hybrid-Fahrzeug kauft.']] Sacrebleu: {'score': 7.4329981845136315, 'counts': [10, 3, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [35.714285714285715, 11.11111111111111, 3.8461538461538463, 2.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.35714285714285715, 0.1111111111111111, 0.038461538461538464, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6470588235294117, 'translation_length': 28, 'reference_length': 17} Rouge: {'rouge1': 0.5200000000000001, 'rouge2': 0.37499999999999994, 'rougeL': 0.48000000000000004, 'rougeLsum': 0.48000000000000004} Sari: {'sari': 18.142043142043143} Flesh Reading Ease: 85.95 ---------------------------------------- Source: ['Außerdem fällt die jährliche Steuer, die fast alle Autos in Deutschland zahlen müssen, für einige Jahre weg.'] Prediction: ['Die jährliche Steuer fällt für einige Jahre weg.\nDie jährliche Autos fällt für einige Jahre weg.'] Label: [['Außerdem fällt die jährliche Steuer für einige Jahre weg.']] Sacrebleu: {'score': 23.909453161355017, 'counts': [8, 5, 3, 2], 'totals': [18, 17, 16, 15], 'precisions': [44.44444444444444, 29.41176470588235, 18.75, 13.333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 10} Bleu: {'bleu': 0.23909453161355018, 'precisions': [0.4444444444444444, 0.29411764705882354, 0.1875, 0.13333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 18, 'reference_length': 10} Rouge: {'rouge1': 0.6285714285714286, 'rouge2': 0.5454545454545454, 'rougeL': 0.5714285714285714, 'rougeLsum': 0.5142857142857142} Sari: {'sari': 63.69215506715506} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Dieser Spruch der Feuerwehr sagt schon viel aus über die Einstellung zu ihrem Beruf:'] Prediction: ['Ein Spruch der Feuerwehr sagt, dass es sich um einen Beruf geht.\nDie Einstellung zu ihrem Beruf ist noch unklar.'] Label: [['Dieser Spruch der Feuerwehr zeigt die Einstellung zum Beruf:']] Sacrebleu: {'score': 6.964541799727335, 'counts': [5, 2, 1, 0], 'totals': [23, 22, 21, 20], 'precisions': [21.73913043478261, 9.090909090909092, 4.761904761904762, 2.5], 'bp': 1.0, 'sys_len': 23, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.09090909090909091, 0.047619047619047616, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3, 'translation_length': 23, 'reference_length': 10} Rouge: {'rouge1': 0.41379310344827586, 'rouge2': 0.22222222222222218, 'rougeL': 0.41379310344827586, 'rougeLsum': 0.41379310344827586} Sari: {'sari': 38.6369825708061} Flesh Reading Ease: 88.1 ---------------------------------------- Source: ['Als Retter in der Not genießen Feuerwehrleute ein besonderes Ansehen – weltweit übrigens, wie die Gesellschaft für Konsum-, Markt- und Absatzforschung e. V. (GfK Verein) in der Studie „Trust in Professions 2015“ herausgefunden hat.'] Prediction: ['Die Gesellschaft für Konsum-, Markt und Absatzforschung e. V. (GfK Verein) hat in der Studie "Trust in Professions 2015" eine besonderes Ansehen herausgefunden.\nAls Retter in der Not genießen Feuerwehrleute ein besonderes Ansehen, wie die Gesellschaft für Konsum-, Markt und Absatzforschung e. V. (GfK Verein) in der Studie "Trust in Professions 2015" hat.'] Label: [['Sie sind die Retter in der Not.\nUnd daher haben Feuerwehrleute ein besonderes Ansehen weltweit.\nDies zeigt die Studie Gesellschaft für Konsum-, Markt- und Absatzforschung e. V. (GfK Verein) „Trust in Professions 2015“.']] Sacrebleu: {'score': 24.332526055418256, 'counts': [29, 19, 14, 10], 'totals': [70, 69, 68, 67], 'precisions': [41.42857142857143, 27.536231884057973, 20.58823529411765, 14.925373134328359], 'bp': 1.0, 'sys_len': 70, 'ref_len': 41} Bleu: {'bleu': 0.24332526055418263, 'precisions': [0.4142857142857143, 0.2753623188405797, 0.20588235294117646, 0.14925373134328357], 'brevity_penalty': 1.0, 'length_ratio': 1.7073170731707317, 'translation_length': 70, 'reference_length': 41} Rouge: {'rouge1': 0.6, 'rouge2': 0.4318181818181818, 'rougeL': 0.5555555555555557, 'rougeLsum': 0.5777777777777777} Sari: {'sari': 42.55867125773727} Flesh Reading Ease: 61.4 ---------------------------------------- Source: ['In über 29.000 Interviews wurden Menschen aus 27 Ländern weltweit nach ihrem Vertrauen in 32 Berufsgruppen gefragt.'] Prediction: ['In über 29.000 Interviews wurden Menschen aus 27 Ländern weltweit nach ihrem Vertrauen in 32 Berufsgruppen gefragt.\nIn über 29.000 Interviews wurden Menschen aus 27 Ländern weltweit nach ihrem Vertrauen in 32 Berufsgruppen gefragt.'] Label: [['Hier wurden Menschen aus 27 Ländern weltweit nach ihrem Vertrauen in 32 Berufsgruppen gefragt.']] Sacrebleu: {'score': 36.105260209445085, 'counts': [14, 13, 12, 11], 'totals': [36, 35, 34, 33], 'precisions': [38.888888888888886, 37.142857142857146, 35.294117647058826, 33.333333333333336], 'bp': 1.0, 'sys_len': 36, 'ref_len': 15} Bleu: {'bleu': 0.3610526020944508, 'precisions': [0.3888888888888889, 0.37142857142857144, 0.35294117647058826, 0.3333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 2.4, 'translation_length': 36, 'reference_length': 15} Rouge: {'rouge1': 0.5283018867924527, 'rouge2': 0.5098039215686275, 'rougeL': 0.5283018867924527, 'rougeLsum': 0.5283018867924527} Sari: {'sari': 62.12674393002261} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['In Deutschland haben alle Berufe, die für Recht, Ordnung und Sicherheit sorgen, ein hohes Ansehen.'] Prediction: ['Deutschland hat alle Berufe für Recht, Ordnung und Sicherheit ein hohes Ansehen.\nDie Berufe sorgen für Recht, Ordnung und Sicherheit in Deutschland.'] Label: [['In Deutschland haben alle Berufe ein hohes Ansehen, die für Recht, Ordnung und Sicherheit sorgen.']] Sacrebleu: {'score': 26.613685332453084, 'counts': [15, 8, 5, 3], 'totals': [26, 25, 24, 23], 'precisions': [57.69230769230769, 32.0, 20.833333333333332, 13.043478260869565], 'bp': 1.0, 'sys_len': 26, 'ref_len': 18} Bleu: {'bleu': 0.26613685332453085, 'precisions': [0.5769230769230769, 0.32, 0.20833333333333334, 0.13043478260869565], 'brevity_penalty': 1.0, 'length_ratio': 1.4444444444444444, 'translation_length': 26, 'reference_length': 18} Rouge: {'rouge1': 0.75, 'rouge2': 0.5263157894736841, 'rougeL': 0.65, 'rougeLsum': 0.45} Sari: {'sari': 35.18785544520839} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Das sind Rechtsanwälte, Richter und Polizisten, die im Vergleich zu Berufskollegen in Europa oder weltweit besser abschneiden.'] Prediction: ['Die Polizei hat im Vergleich zu Berufskollegen in Europa oder weltweit besser abschneiden.\nRechtsanwälte, Richter und Polizisten sind im Vergleich zu Berufskollegen in Europa oder weltweit besser abschneiden.'] Label: [['Das sind Rechtsanwälte, Richter und Polizisten.']] Sacrebleu: {'score': 12.212865548711092, 'counts': [7, 4, 3, 2], 'totals': [31, 30, 29, 28], 'precisions': [22.580645161290324, 13.333333333333334, 10.344827586206897, 7.142857142857143], 'bp': 1.0, 'sys_len': 31, 'ref_len': 8} Bleu: {'bleu': 0.12212865548711085, 'precisions': [0.22580645161290322, 0.13333333333333333, 0.10344827586206896, 0.07142857142857142], 'brevity_penalty': 1.0, 'length_ratio': 3.875, 'translation_length': 31, 'reference_length': 8} Rouge: {'rouge1': 0.33333333333333326, 'rouge2': 0.23529411764705882, 'rougeL': 0.2777777777777778, 'rougeLsum': 0.2777777777777778} Sari: {'sari': 29.650578179989946} Flesh Reading Ease: 37.3 ---------------------------------------- Source: ['Und auch Journalisten und Werbefachleute schneiden in Europa schlecht ab.'] Prediction: ['Die Schweiz schneidet in Europa schlecht ab.\nAuch Journalisten und Werbefachleute schneiden in Europa schlecht ab.'] Label: [['Auch Journalisten und Werbefachleute schneiden in Europa schlecht ab.']] Sacrebleu: {'score': 51.18285025257892, 'counts': [10, 9, 8, 7], 'totals': [18, 17, 16, 15], 'precisions': [55.55555555555556, 52.94117647058823, 50.0, 46.666666666666664], 'bp': 1.0, 'sys_len': 18, 'ref_len': 10} Bleu: {'bleu': 0.5118285025257894, 'precisions': [0.5555555555555556, 0.5294117647058824, 0.5, 0.4666666666666667], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 18, 'reference_length': 10} Rouge: {'rouge1': 0.72, 'rouge2': 0.6956521739130436, 'rougeL': 0.72, 'rougeLsum': 0.72} Sari: {'sari': 58.333333333333336} Flesh Reading Ease: 60.85 ---------------------------------------- Source: ['Die drei bevölkerungsreichsten Städte der Erde sind Tokio (37,75 Millionen Menschen), der Großraum Jakarta (fast 40 Millionen) und Delhi (25,73 Millionen).'] Prediction: ['Die drei bevölkerungsreichsten Städte der Erde sind Tokio (37,75 Millionen Menschen), der Großraum Jakarta (fast 40 Millionen) und Delhi (25,73 Millionen).\nDie drei bevölkerungsreichsten Städte der Erde sind Tokio (37,75 Millionen Menschen), der Großraum Jakarta (fast 40 Millionen) und Delhi (25,73 Millionen).'] Label: [['Die drei bevölkerungsreichsten Städte der Erde sind Tokio (37,75 Millionen Menschen), der Großraum Jakarta (fast 40 Millionen) und Delhi (25,73 Millionen).Immer']] Sacrebleu: {'score': 48.641828693596324, 'counts': [29, 28, 27, 26], 'totals': [58, 57, 56, 55], 'precisions': [50.0, 49.12280701754386, 48.214285714285715, 47.27272727272727], 'bp': 1.0, 'sys_len': 58, 'ref_len': 30} Bleu: {'bleu': 0.4864182869359634, 'precisions': [0.5, 0.49122807017543857, 0.48214285714285715, 0.4727272727272727], 'brevity_penalty': 1.0, 'length_ratio': 1.9333333333333333, 'translation_length': 58, 'reference_length': 30} Rouge: {'rouge1': 0.6582278481012659, 'rouge2': 0.6493506493506493, 'rougeL': 0.6582278481012659, 'rougeLsum': 0.6582278481012659} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 42.0 ---------------------------------------- Source: ['Immer größer, immer mehr Menschen, immer mehr Ressourcen – das ist der Trend der Urbanisierung.'] Prediction: ['Die Zürcher Kultur und Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur-Kultur.\nDie Welt ist derzeit auf die Welt,'] Label: [['größer, immer mehr Menschen, immer mehr Ressourcen – das ist der Trend der Urbanisierung.']] Sacrebleu: {'score': 3.0165524927300758, 'counts': [3, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [21.428571428571427, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 0.8071177470053894, 'sys_len': 14, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8071177470053892, 'length_ratio': 0.8235294117647058, 'translation_length': 14, 'reference_length': 17} Rouge: {'rouge1': 0.015037593984962407, 'rouge2': 0.0, 'rougeL': 0.015037593984962407, 'rougeLsum': 0.015037593984962407} Sari: {'sari': 4.41919191919192} Flesh Reading Ease: -937.51 ---------------------------------------- Source: ['Dies führt zu weniger bezahlbarem Wohnraum, wachsenden Elendsvierten; Armut und Kriminalität steigen, die Infrastruktur bricht teilweise zusammen.'] Prediction: ['Die Infrastruktur bricht teilweise zusammen.\nDie Infrastruktur bricht teilweise zusammen.\nDie Infrastruktur bricht teilweise zusammen.'] Label: [['Doch dies bedeutet zu wenig bezahlbarer Wohnraum, die Elendsviertel wachsen, Armut und Kriminalität steigen, die Infrastruktur bricht teilweise zusammen.']] Sacrebleu: {'score': 15.229119284848538, 'counts': [5, 4, 3, 2], 'totals': [18, 17, 16, 15], 'precisions': [27.77777777777778, 23.529411764705884, 18.75, 13.333333333333334], 'bp': 0.7574651283969664, 'sys_len': 18, 'ref_len': 23} Bleu: {'bleu': 0.15229119284848538, 'precisions': [0.2777777777777778, 0.23529411764705882, 0.1875, 0.13333333333333333], 'brevity_penalty': 0.7574651283969664, 'length_ratio': 0.782608695652174, 'translation_length': 18, 'reference_length': 23} Rouge: {'rouge1': 0.34285714285714286, 'rouge2': 0.24242424242424243, 'rougeL': 0.34285714285714286, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 39.32643745143744} Flesh Reading Ease: 22.9 ---------------------------------------- Source: ['Die Slums tragen besonders stark zum Ausstoß von Treibhausgasen bei.'] Prediction: ['Die Slums tragen in der Nacht auf Sonntagabend in Treibhausgasen.\nDie Slums tragen besonders stark zum Ausstoß von Treibhausgasen bei.\nDie Slums tragen besonders stark zum Ausstoß von Treibhausgasen bei.'] Label: [['Die Slums der riesigen Städte tragen besonders stark zum Ausstoß von Treibhausgasen bei.']] Sacrebleu: {'score': 26.069430553765898, 'counts': [12, 9, 7, 6], 'totals': [33, 32, 31, 30], 'precisions': [36.36363636363637, 28.125, 22.580645161290324, 20.0], 'bp': 1.0, 'sys_len': 33, 'ref_len': 14} Bleu: {'bleu': 0.260694305537659, 'precisions': [0.36363636363636365, 0.28125, 0.22580645161290322, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 2.357142857142857, 'translation_length': 33, 'reference_length': 14} Rouge: {'rouge1': 0.5, 'rouge2': 0.380952380952381, 'rougeL': 0.5, 'rougeLsum': 0.5} Sari: {'sari': 66.07926065162908} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Die Entwicklung in den Regionen in der Nähe der Städte steht daher an erster Stelle.'] Prediction: ['Die Entwicklung in den Regionen in der Nähe der Städte steht an erster Stelle.\nDie Entwicklung in den Regionen in der Nähe der Städte steht daher an erster Stelle.'] Label: [['Die Entwicklung in den Regionen in der Nähe der Städte und die Lebensbedingungen der Menschen stehen an erster Stelle.']] Sacrebleu: {'score': 37.16044264721395, 'counts': [15, 12, 10, 8], 'totals': [31, 30, 29, 28], 'precisions': [48.38709677419355, 40.0, 34.48275862068966, 28.571428571428573], 'bp': 1.0, 'sys_len': 31, 'ref_len': 20} Bleu: {'bleu': 0.37160442647213937, 'precisions': [0.4838709677419355, 0.4, 0.3448275862068966, 0.2857142857142857], 'brevity_penalty': 1.0, 'length_ratio': 1.55, 'translation_length': 31, 'reference_length': 20} Rouge: {'rouge1': 0.6296296296296297, 'rouge2': 0.5000000000000001, 'rougeL': 0.6296296296296297, 'rougeLsum': 0.5555555555555556} Sari: {'sari': 61.72669922669923} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['Warum muss man sich unbedingt Geschenke kaufen?'] Prediction: ['Geschenke muss man sich unbedingt Geschenke kaufen.\nDer Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund:'] Label: [['Warum muss man unbedingt Geschenke kaufen?']] Sacrebleu: {'score': 3.214108012260109, 'counts': [5, 3, 1, 0], 'totals': [53, 52, 51, 50], 'precisions': [9.433962264150944, 5.769230769230769, 1.9607843137254901, 1.0], 'bp': 1.0, 'sys_len': 53, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.09433962264150944, 0.057692307692307696, 0.0196078431372549, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.571428571428571, 'translation_length': 53, 'reference_length': 7} Rouge: {'rouge1': 0.23255813953488372, 'rouge2': 0.14634146341463414, 'rougeL': 0.23255813953488372, 'rougeLsum': 0.23255813953488372} Sari: {'sari': 17.95787545787546} Flesh Reading Ease: 91.3 ---------------------------------------- Source: ['Das hat einen ganz besonderen Wert für den Beschenkten: Aufmerksamkeit, gemeinsame Zeit und geschenkte Erlebnisse.'] Prediction: ['Der Beschenkten werden aufmerksamkeit, gemeinsame Zeit und geschenkte Erlebnisse beschlossen.\nDas hat einen ganz besonderen Wert für den Beschenkten: Aufmerksamkeit, gemeinsame Zeit und geschenkte Erlebnisse.'] Label: [['Das hat einen ganz besonderen Wert: Aufmerksamkeit, gemeinsame Zeit und geschenkte Erlebnisse.']] Sacrebleu: {'score': 41.39112108175074, 'counts': [15, 13, 11, 9], 'totals': [30, 29, 28, 27], 'precisions': [50.0, 44.827586206896555, 39.285714285714285, 33.333333333333336], 'bp': 1.0, 'sys_len': 30, 'ref_len': 15} Bleu: {'bleu': 0.4139112108175073, 'precisions': [0.5, 0.4482758620689655, 0.39285714285714285, 0.3333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 30, 'reference_length': 15} Rouge: {'rouge1': 0.631578947368421, 'rouge2': 0.5555555555555556, 'rougeL': 0.631578947368421, 'rougeLsum': 0.631578947368421} Sari: {'sari': 61.171436588103255} Flesh Reading Ease: 32.95 ---------------------------------------- Source: ['Die einen lieben sie, die anderen finden sie überflüssig – aber eines ist sicher: Weihnachtsfeiern mit Kolleginnen und Kollegen und Freunden fördern das Miteinander – vorausgesetzt, man ist kreativ genug und belässt es nicht bei einem Plätzchenessen in der Mittagspause.'] Prediction: ['Weihnachtsfeiern mit Kolleginnen und Kollegen fördern das Miteinander.\nDas Miteinander belässt es nicht bei einem Plätzchenessen in der Mittagspause.\nDie Weihnachtsfeiern mit Kolleginnen und Kollegen fördern das Miteinander vorausgesetzt, man ist kreativ genug und belässt es nicht bei einem Plätzchenessen in der Mittagspause.'] Label: [['Weihnachtsfeiern mit Kolleginnen und Kollegen oder mit Freunden fördern das Miteinander.']] Sacrebleu: {'score': 12.514603799146819, 'counts': [10, 7, 5, 3], 'totals': [47, 46, 45, 44], 'precisions': [21.27659574468085, 15.217391304347826, 11.11111111111111, 6.818181818181818], 'bp': 1.0, 'sys_len': 47, 'ref_len': 12} Bleu: {'bleu': 0.12514603799146823, 'precisions': [0.2127659574468085, 0.15217391304347827, 0.1111111111111111, 0.06818181818181818], 'brevity_penalty': 1.0, 'length_ratio': 3.9166666666666665, 'translation_length': 47, 'reference_length': 12} Rouge: {'rouge1': 0.3278688524590165, 'rouge2': 0.23728813559322035, 'rougeL': 0.3278688524590165, 'rougeLsum': 0.2950819672131148} Sari: {'sari': 46.97291329544244} Flesh Reading Ease: 42.85 ---------------------------------------- Source: ['Was sich anbietet, ist zum Beispiel ein gemeinsamer Nachmittag draußen, etwa zum Eisstockschießen mit anschließendem Besuch auf dem Weihnachtsmarkt.'] Prediction: ['Zum Beispiel eines Eisstockschießen wurde ein gemeinsamer Nachmittag draußen, etwa zum Eisstockchießen mit anschließendem Besuch auf dem Weihnachtsmarkt.\nDie Eisstockschießen wurden am Mittwochabend auf dem Weihnachtsmarkt gesucht.'] Label: [['Ein gemeinsamer Nachmittag draußen, etwa zum Eisstockschießen mit anschließendem Besuch auf dem Weihnachtsmarkt, ist sehr beliebt.']] Sacrebleu: {'score': 31.79303998422513, 'counts': [14, 10, 8, 6], 'totals': [30, 29, 28, 27], 'precisions': [46.666666666666664, 34.48275862068966, 28.571428571428573, 22.22222222222222], 'bp': 1.0, 'sys_len': 30, 'ref_len': 19} Bleu: {'bleu': 0.3179303998422513, 'precisions': [0.4666666666666667, 0.3448275862068966, 0.2857142857142857, 0.2222222222222222], 'brevity_penalty': 1.0, 'length_ratio': 1.5789473684210527, 'translation_length': 30, 'reference_length': 19} Rouge: {'rouge1': 0.6274509803921569, 'rouge2': 0.5714285714285714, 'rougeL': 0.5882352941176471, 'rougeLsum': 0.6274509803921569} Sari: {'sari': 48.54453503347546} Flesh Reading Ease: 43.65 ---------------------------------------- Source: ['Trifft man sich mit Freunden, ist es entspannt, wenn alle gemeinsam kochen und sich ein Motto überlegen – rein vegetarisch, fernöstlich, rustikal oder eben weihnachtlich mit internationalen Rezepten.'] Prediction: ['Motto-Motto-Motto-Motto-Motto sind sich in der Schweiz um vegetarisch, fernöstlich, rustikal oder eben weihnachtlich mit internationalen Rezepten.\nDer Motto-Motto ist auch in der Schweiz ein Motto-Motto, das sich um die Motto-Motto-Motto überlegen wird.'] Label: [['Trifft man sich mit Freunden, ist es entspannt, wenn alle gemeinsam kochen – rein vegetarisch, fernöstlich, rustikal oder eben weihnachtlich mit internationalen Rezepten.']] Sacrebleu: {'score': 31.111347149246804, 'counts': [15, 11, 10, 9], 'totals': [37, 36, 35, 34], 'precisions': [40.54054054054054, 30.555555555555557, 28.571428571428573, 26.470588235294116], 'bp': 1.0, 'sys_len': 37, 'ref_len': 28} Bleu: {'bleu': 0.31111347149246804, 'precisions': [0.40540540540540543, 0.3055555555555556, 0.2857142857142857, 0.2647058823529412], 'brevity_penalty': 1.0, 'length_ratio': 1.3214285714285714, 'translation_length': 37, 'reference_length': 28} Rouge: {'rouge1': 0.375, 'rouge2': 0.2903225806451613, 'rougeL': 0.34375000000000006, 'rougeLsum': 0.34375000000000006} Sari: {'sari': 29.574852469828134} Flesh Reading Ease: 29.45 ---------------------------------------- Source: ['Hier werden Dinge, die man eigentlich nicht braucht, schön verpackt, mit einer Nummer versehen und verlost.'] Prediction: ['Die Welt ist ein grosser Nummer.\nDie Welt ist ein grosser Nummer.\nDie Welt ist ein grosser Nummer.'] Label: [['Hier werden Dinge, die man eigentlich nicht braucht, schön verpackt, bekommen eine Nummer und werden verlost.']] Sacrebleu: {'score': 2.159701133933343, 'counts': [2, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [9.523809523809524, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.09523809523809523, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.05, 'translation_length': 21, 'reference_length': 20} Rouge: {'rouge1': 0.11428571428571428, 'rouge2': 0.0, 'rougeL': 0.11428571428571428, 'rougeLsum': 0.11428571428571428} Sari: {'sari': 13.470358903795438} Flesh Reading Ease: 97.95 ---------------------------------------- Source: ['Nichts stimmt so sehr auf die Festtage ein wie der Weihnachtsbaum, den man zusammen mit der Familie aussucht.'] Prediction: ['Ein Weihnachtsbaum wurde auf der Festtage mit der Familie ausgelöst.\nNichts stimmt so sehr auf die Festtage ein wie der Weihnachtsbaum, den man zusammen mit der Familie aussucht.'] Label: [['Zu Weihnachten gehört der Weihnachtsbaum, den man zusammen mit der Familie aussucht.']] Sacrebleu: {'score': 32.00158956950249, 'counts': [11, 10, 9, 8], 'totals': [31, 30, 29, 28], 'precisions': [35.483870967741936, 33.333333333333336, 31.03448275862069, 28.571428571428573], 'bp': 1.0, 'sys_len': 31, 'ref_len': 14} Bleu: {'bleu': 0.32001589569502475, 'precisions': [0.3548387096774194, 0.3333333333333333, 0.3103448275862069, 0.2857142857142857], 'brevity_penalty': 1.0, 'length_ratio': 2.2142857142857144, 'translation_length': 31, 'reference_length': 14} Rouge: {'rouge1': 0.4285714285714286, 'rouge2': 0.4, 'rougeL': 0.4285714285714286, 'rougeLsum': 0.4285714285714286} Sari: {'sari': 55.71647509578545} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ['Ein gemeinsamer Besuch eines Weihnachtskonzertes erhellt die Sinne und erweckt Vorfreude auf die anstehenden Weihnachtsfeiertage.'] Prediction: ['Ein gemeinsamer Besuch eines Weihnachtskonzertes erhellt die Sinne und erweckt Vorfreude auf die anstehenden Weihnachtsfeiertage.\nDie Sinne erweckt Vorfreude auf die anstehenden Weihnachtsfeiertage.'] Label: [['Ein Weihnachtskonzert stimmt besonders schön ein auf die Weihnachtsfeiertage.']] Sacrebleu: {'score': 4.504556737153659, 'counts': [5, 2, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 8.333333333333334, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 25, 'reference_length': 10} Rouge: {'rouge1': 0.24242424242424243, 'rouge2': 0.06451612903225805, 'rougeL': 0.24242424242424243, 'rougeLsum': 0.24242424242424243} Sari: {'sari': 39.14027149321267} Flesh Reading Ease: 22.25 ---------------------------------------- Source: ['Das wusste schon der amerikanische Philosoph Ralph Waldo Emerson.'] Prediction: ['Der amerikanische Philosoph Ralph Waldo Emerson wurde von einem amerikanischen Philosoph ausgewählt.\nEr wurde von einem amerikanischen Philosoph ausgewählt.\nEr wurde von einem amerikanischen Philosoph ausgewählt.'] Label: [['Das sagte der amerikanische Philosoph Ralph Waldo Emerson.']] Sacrebleu: {'score': 12.607162121844206, 'counts': [6, 4, 3, 2], 'totals': [29, 28, 27, 26], 'precisions': [20.689655172413794, 14.285714285714286, 11.11111111111111, 7.6923076923076925], 'bp': 1.0, 'sys_len': 29, 'ref_len': 9} Bleu: {'bleu': 0.12607162121844206, 'precisions': [0.20689655172413793, 0.14285714285714285, 0.1111111111111111, 0.07692307692307693], 'brevity_penalty': 1.0, 'length_ratio': 3.2222222222222223, 'translation_length': 29, 'reference_length': 9} Rouge: {'rouge1': 0.32432432432432434, 'rouge2': 0.2857142857142857, 'rougeL': 0.32432432432432434, 'rougeLsum': 0.32432432432432434} Sari: {'sari': 54.20935545935546} Flesh Reading Ease: 25.05 ---------------------------------------- Source: ['Und so sind die Wörter des Jahres, die die Gesellschaft für deutsche Sprache e. V. (GfdS) alle Jahre wieder auswählt, ein interessanter Rückblick in das gerade vergangene Jahr.'] Prediction: ['Die deutsche Sprache e. V. (GfdS) hat alle Jahre wieder auswählt, ein interessanter Rückblick in das gerade vergangene Jahr.\nDie Gesellschaft für deutsche Sprache e. V. (GfdS) hat alle Jahre wieder auswählt, ein interessanter Rückblick in das gerade vergangene Jahr.'] Label: [['Die Wörter des Jahres, die die Gesellschaft für deutsche Sprache e. V. (GfdS) jedes Jahr auswählt, sind daher ein interessanter Rückblick in das gerade vergangene Jahr.']] Sacrebleu: {'score': 35.772599964624746, 'counts': [25, 19, 16, 14], 'totals': [52, 51, 50, 49], 'precisions': [48.07692307692308, 37.254901960784316, 32.0, 28.571428571428573], 'bp': 1.0, 'sys_len': 52, 'ref_len': 33} Bleu: {'bleu': 0.35772599964624735, 'precisions': [0.4807692307692308, 0.37254901960784315, 0.32, 0.2857142857142857], 'brevity_penalty': 1.0, 'length_ratio': 1.5757575757575757, 'translation_length': 52, 'reference_length': 33} Rouge: {'rouge1': 0.5866666666666667, 'rouge2': 0.4657534246575343, 'rougeL': 0.56, 'rougeLsum': 0.5333333333333333} Sari: {'sari': 39.84317624561527} Flesh Reading Ease: 58.85 ---------------------------------------- Source: ['Postfaktisch bedeutet: Die „gefühlte“ Wahrheit ist für manche Menschen wichtiger als Tatsachen.'] Prediction: ['Die Wahrheit in den USA ist für manche Menschen wichtiger als Tatsachen.\nDie "gefühlte“ Wahrheit ist für manche Menschen wichtiger als Tatsachen.\nDie Wahrheit ist für manche Menschen wichtiger als Tatsachen.'] Label: [['Postfaktisch bedeutet „gefühlte“ Wahrheit.\nSie ist für manche Menschen wichtiger als Tatsachen.']] Sacrebleu: {'score': 20.218647645300866, 'counts': [10, 7, 6, 5], 'totals': [35, 34, 33, 32], 'precisions': [28.571428571428573, 20.58823529411765, 18.181818181818183, 15.625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 14} Bleu: {'bleu': 0.20218647645300866, 'precisions': [0.2857142857142857, 0.20588235294117646, 0.18181818181818182, 0.15625], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 35, 'reference_length': 14} Rouge: {'rouge1': 0.44897959183673464, 'rouge2': 0.3829787234042553, 'rougeL': 0.44897959183673464, 'rougeLsum': 0.44897959183673464} Sari: {'sari': 52.6989921842863} Flesh Reading Ease: 70.25 ---------------------------------------- Source: ['In den politischen und gesellschaftlichen Diskussionen stehen heute oft eher die Emotionen statt Fakten im Mittelpunkt und sogar Lügen werden von einigen Menschen akzeptiert.'] Prediction: ['In den politischen und gesellschaftlichen Diskussionen stehen heute oft eher die Emotionen statt Fakten im Mittelpunkt.\nDiese werden von einigen Menschen akzeptiert.'] Label: [['In den politischen und gesellschaftlichen Diskussionen stehen heute oft die Emotionen statt Fakten im Mittelpunkt.\nEinige Menschen akzeptieren sogar Lügen.']] Sacrebleu: {'score': 58.68136174076831, 'counts': [18, 14, 12, 10], 'totals': [24, 23, 22, 21], 'precisions': [75.0, 60.869565217391305, 54.54545454545455, 47.61904761904762], 'bp': 1.0, 'sys_len': 24, 'ref_len': 22} Bleu: {'bleu': 0.5868136174076833, 'precisions': [0.75, 0.6086956521739131, 0.5454545454545454, 0.47619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 1.0909090909090908, 'translation_length': 24, 'reference_length': 22} Rouge: {'rouge1': 0.7441860465116279, 'rouge2': 0.6341463414634146, 'rougeL': 0.7441860465116279, 'rougeLsum': 0.7441860465116279} Sari: {'sari': 52.5814529322544} Flesh Reading Ease: 40.3 ---------------------------------------- Source: ['Auf Platz 2: Brexit (aus: Britain + Exit).'] Prediction: ['Die EU will noch nicht mit den EU-Stimmen auf den Plan von Brexit aufnehmen.\nDie EU will noch nicht mit den Planen aufnehmen.\nAuch die EU will noch nicht mit den Planen aufnehmen.'] Label: [['Auf Platz 2 steht das Wort Brexit (aus: Britain + Exit).']] Sacrebleu: {'score': 1.2193311110766474, 'counts': [2, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [5.555555555555555, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.05555555555555555, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4, 'translation_length': 36, 'reference_length': 15} Rouge: {'rouge1': 0.0909090909090909, 'rouge2': 0.0, 'rougeL': 0.0909090909090909, 'rougeLsum': 0.0909090909090909} Sari: {'sari': 10.791245791245792} Flesh Reading Ease: 87.1 ---------------------------------------- Source: ['Die Herkunft des Wortes ist ein passendes Beispiel für postfaktische Politik.'] Prediction: ['Die Herkunft des Wortes ist ein passendes Beispiel für postfaktische Politik.\nDie Herkunft des Wortes ist ein passendes Beispiel für die Herkunft des Wortes.'] Label: [['Die Herkunft des Wortes ist ein Beispiel für postfaktische Politik.']] Sacrebleu: {'score': 31.348206659605648, 'counts': [11, 9, 7, 5], 'totals': [26, 25, 24, 23], 'precisions': [42.30769230769231, 36.0, 29.166666666666668, 21.73913043478261], 'bp': 1.0, 'sys_len': 26, 'ref_len': 11} Bleu: {'bleu': 0.31348206659605654, 'precisions': [0.4230769230769231, 0.36, 0.2916666666666667, 0.21739130434782608], 'brevity_penalty': 1.0, 'length_ratio': 2.3636363636363638, 'translation_length': 26, 'reference_length': 11} Rouge: {'rouge1': 0.5945945945945945, 'rouge2': 0.5142857142857143, 'rougeL': 0.5945945945945945, 'rougeLsum': 0.5945945945945945} Sari: {'sari': 69.95280720984044} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Denn mit vielen gezielten Fehlinformationen bekamen die Befürworter des Austritts Großbritanniens die Stimmen in der Bevölkerung.'] Prediction: ['Die Befürworter des Austritts Großbritanniens bekamen die Stimmen in der Bevölkerung.\nDie Befürworter des Austritts Großbritanniens bekamen die Stimmen in der Bevölkerung.'] Label: [['Denn mit vielen falschen Informationen bekamen die Befürworter des Austritts Großbritanniens aus der EU die Stimmen der Bevölkerung.']] Sacrebleu: {'score': 17.729842264695016, 'counts': [12, 7, 3, 1], 'totals': [24, 23, 22, 21], 'precisions': [50.0, 30.434782608695652, 13.636363636363637, 4.761904761904762], 'bp': 1.0, 'sys_len': 24, 'ref_len': 19} Bleu: {'bleu': 0.17729842264695017, 'precisions': [0.5, 0.30434782608695654, 0.13636363636363635, 0.047619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 1.263157894736842, 'translation_length': 24, 'reference_length': 19} Rouge: {'rouge1': 0.5714285714285715, 'rouge2': 0.425531914893617, 'rougeL': 0.5306122448979592, 'rougeLsum': 0.48979591836734687} Sari: {'sari': 45.53210040279006} Flesh Reading Ease: 34.45 ---------------------------------------- Source: ['Er spielt an auf die Veröffentlichung der Panama-Papiere.'] Prediction: ['Ein US-Amerikaner hat seine Veröffentlichung auf die Veröffentlichung der Panama-Papiere verstorben.\nEr spielt an die Veröffentlichung der Panama-Papiere.'] Label: [['Er meint die Veröffentlichung der Panama-Papiere.']] Sacrebleu: {'score': 18.759202316167208, 'counts': [6, 4, 3, 2], 'totals': [20, 19, 18, 17], 'precisions': [30.0, 21.05263157894737, 16.666666666666668, 11.764705882352942], 'bp': 1.0, 'sys_len': 20, 'ref_len': 7} Bleu: {'bleu': 0.18759202316167212, 'precisions': [0.3, 0.21052631578947367, 0.16666666666666666, 0.11764705882352941], 'brevity_penalty': 1.0, 'length_ratio': 2.857142857142857, 'translation_length': 20, 'reference_length': 7} Rouge: {'rouge1': 0.43750000000000006, 'rouge2': 0.3333333333333333, 'rougeL': 0.43750000000000006, 'rougeLsum': 0.43750000000000006} Sari: {'sari': 58.97727272727272} Flesh Reading Ease: 18.9 ---------------------------------------- Source: ['Es geht um Geldwäsche und Steuerbetrug.'] Prediction: ['Der Kanton Bern hat seine Geldwäsche und Steuerbetrug gegeben.\nEs geht um Geldwäsche und Steuerbetrug.'] Label: [['Sie dienen der Geldwäsche und dem Steuerbetrug.']] Sacrebleu: {'score': 6.468490584192431, 'counts': [4, 2, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [23.529411764705884, 12.5, 3.3333333333333335, 1.7857142857142858], 'bp': 1.0, 'sys_len': 17, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.125, 'translation_length': 17, 'reference_length': 8} Rouge: {'rouge1': 0.4, 'rouge2': 0.17391304347826086, 'rougeL': 0.4, 'rougeLsum': 0.4} Sari: {'sari': 45.227272727272734} Flesh Reading Ease: 61.35 ---------------------------------------- Source: ['Einige führende Politiker waren beteiligt und mussten zurücktreten.'] Prediction: ['Einige führende Politiker waren beteiligt und mussten zurücktreten.\nEinige führende Politiker waren beteiligt und mussten zurücktreten.'] Label: [['Einige bekannte Politiker waren beteiligt.']] Sacrebleu: {'score': 9.083627868206413, 'counts': [5, 2, 1, 0], 'totals': [18, 17, 16, 15], 'precisions': [27.77777777777778, 11.764705882352942, 6.25, 3.3333333333333335], 'bp': 1.0, 'sys_len': 18, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.11764705882352941, 0.0625, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 18, 'reference_length': 6} Rouge: {'rouge1': 0.32000000000000006, 'rouge2': 0.17391304347826086, 'rougeL': 0.32000000000000006, 'rougeLsum': 0.32000000000000006} Sari: {'sari': 44.70238095238095} Flesh Reading Ease: 8.2 ---------------------------------------- Source: ['Aber viele Deutsche verlassen auch ihr Land – rund 25.000 jedes Jahr.'] Prediction: ['Die Veranstalter der Schweiz verlassen auch ihr Land.\nAuch im vergangenen Jahr verlassen auch viele Deutsche.\nAuch im Land wurden viele verlassen.'] Label: [['Einige Deutsche verlassen ihr Land – rund 25.000 jedes Jahr.']] Sacrebleu: {'score': 3.9645132534206886, 'counts': [6, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [24.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.24, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.272727272727273, 'translation_length': 25, 'reference_length': 11} Rouge: {'rouge1': 0.3125, 'rouge2': 0.06666666666666667, 'rougeL': 0.25000000000000006, 'rougeLsum': 0.25000000000000006} Sari: {'sari': 16.134259259259256} Flesh Reading Ease: 73.25 ---------------------------------------- Source: ['Eine Veröffentlichung der OECD zeigt: 2011 lebten rund 3,4 Millionen in Deutschland geborene Menschen in einem anderen OECD-Land.'] Prediction: ['Die Veröffentlichung der OECD zeigt: 2011 lebten rund 3,4 Millionen in Deutschland geborene Menschen in einem anderen OECD-Land.\nDie Veröffentlichung der OECD zeigt: 2011 lebten rund 3,4 Millionen in Deutschland geborene Menschen in einem anderen OECD-Land.'] Label: [['Eine Veröffentlichung der OECD (Organisation für wirtschaftliche Zusammenarbeit und Entwicklung) zeigt: 2011 lebten rund 3,4 Millionen in Deutschland geborene Menschen in einem anderen Land.']] Sacrebleu: {'score': 36.42482472579297, 'counts': [18, 15, 13, 11], 'totals': [40, 39, 38, 37], 'precisions': [45.0, 38.46153846153846, 34.21052631578947, 29.72972972972973], 'bp': 1.0, 'sys_len': 40, 'ref_len': 28} Bleu: {'bleu': 0.36424824725792965, 'precisions': [0.45, 0.38461538461538464, 0.34210526315789475, 0.2972972972972973], 'brevity_penalty': 1.0, 'length_ratio': 1.4285714285714286, 'translation_length': 40, 'reference_length': 28} Rouge: {'rouge1': 0.5507246376811594, 'rouge2': 0.47761194029850756, 'rougeL': 0.5507246376811594, 'rougeLsum': 0.5507246376811594} Sari: {'sari': 28.77234231180631} Flesh Reading Ease: 45.0 ---------------------------------------- Source: ['Zu den Motiven, Deutschland den Rücken zu kehren, hat man herausgefunden, dass es für fast 67 Prozent berufliche Gründe waren.'] Prediction: ['Die Rücken in Deutschland waren für fast 67 Prozent berufliche Gründe.\nZu den Motiven, Deutschland den Rücken zu kehren, hat man herausgefunden, dass es für fast 67 Prozent berufliche Gründe waren.'] Label: [['Für fast 67 Prozent der Auswanderer waren es berufliche Gründe, Deutschland zu verlassen.']] Sacrebleu: {'score': 6.280797907983447, 'counts': [11, 4, 1, 0], 'totals': [36, 35, 34, 33], 'precisions': [30.555555555555557, 11.428571428571429, 2.9411764705882355, 1.5151515151515151], 'bp': 1.0, 'sys_len': 36, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.3055555555555556, 0.11428571428571428, 0.029411764705882353, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4, 'translation_length': 36, 'reference_length': 15} Rouge: {'rouge1': 0.46153846153846156, 'rouge2': 0.24, 'rougeL': 0.3846153846153846, 'rougeLsum': 0.3076923076923077} Sari: {'sari': 44.31184431184431} Flesh Reading Ease: 59.2 ---------------------------------------- Source: ['Für über 41 Prozent der Befragten war Unzufriedenheit mit dem Leben in Deutschland der Grund, auszuwandern.'] Prediction: ['Die Schweiz hat einen grossen Unzufriedenheit-Besuch ausgegeben.\nDie Befragten sind über 41 Prozent der Befragten.'] Label: [['Über 41 Prozent der Befragten waren unzufrieden mit dem Leben in Deutschland.']] Sacrebleu: {'score': 15.13851459876605, 'counts': [5, 3, 2, 1], 'totals': [17, 16, 15, 14], 'precisions': [29.41176470588235, 18.75, 13.333333333333334, 7.142857142857143], 'bp': 1.0, 'sys_len': 17, 'ref_len': 13} Bleu: {'bleu': 0.1513851459876605, 'precisions': [0.29411764705882354, 0.1875, 0.13333333333333333, 0.07142857142857142], 'brevity_penalty': 1.0, 'length_ratio': 1.3076923076923077, 'translation_length': 17, 'reference_length': 13} Rouge: {'rouge1': 0.35714285714285715, 'rouge2': 0.30769230769230765, 'rougeL': 0.35714285714285715, 'rougeLsum': 0.35714285714285715} Sari: {'sari': 45.94645550527903} Flesh Reading Ease: 55.5 ---------------------------------------- Source: ['Und fast 47 Prozent erhofften sich mehr Geld, das heißt ein höheres Einkommen.'] Prediction: ['Fast 47 Prozent erhofften sich mehr Geld, das heißt ein höheres Einkommen.\nDie Schweizer Welt hatte sich mit dem Geld eingestuft.'] Label: [['Und fast 47 Prozent wünschten sich ein höheres Einkommen.']] Sacrebleu: {'score': 12.173115521158184, 'counts': [7, 4, 2, 1], 'totals': [24, 23, 22, 21], 'precisions': [29.166666666666668, 17.391304347826086, 9.090909090909092, 4.761904761904762], 'bp': 1.0, 'sys_len': 24, 'ref_len': 10} Bleu: {'bleu': 0.12173115521158184, 'precisions': [0.2916666666666667, 0.17391304347826086, 0.09090909090909091, 0.047619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 2.4, 'translation_length': 24, 'reference_length': 10} Rouge: {'rouge1': 0.4705882352941176, 'rouge2': 0.3125, 'rougeL': 0.4705882352941176, 'rougeLsum': 0.4705882352941176} Sari: {'sari': 14.590117643607345} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['Immer mehr deutsche Studierende zieht es ins Ausland.'] Prediction: ['Immer mehr deutsche Studierende zieht es ins Ausland.\nImmer mehr deutsche Studierende zieht es ins Ausland.'] Label: [['Im Ausland studierenImmer mehr deutsche Studierende gehen ins Ausland.']] Sacrebleu: {'score': 13.973536728747975, 'counts': [7, 4, 2, 0], 'totals': [18, 17, 16, 15], 'precisions': [38.888888888888886, 23.529411764705884, 12.5, 3.3333333333333335], 'bp': 1.0, 'sys_len': 18, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.3888888888888889, 0.23529411764705882, 0.125, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 18, 'reference_length': 10} Rouge: {'rouge1': 0.4800000000000001, 'rouge2': 0.26086956521739135, 'rougeL': 0.4800000000000001, 'rougeLsum': 0.39999999999999997} Sari: {'sari': 49.25925925925927} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Viele studieren in Österreich (31.000), in den Niederlanden (25.000), in Großbritannien (16.000) und in der Schweiz (12.000).Diese internationale Mobilität ist wichtig, denn Auslandsaufenthalte im Studium sind oft wichtige Zusatzqualifikationen für den späteren Beruf.'] Prediction: ['Das Auslandsaufenthalt im Studium sind oft wichtige Zusatzqualifikationen für den späteren Beruf.\nAuslandsaufenthalte im Studium sind oft wichtige Zusatzqualifikationen für den späteren Beruf.'] Label: [['Viele studieren in Österreich (31.000), in den Niederlanden (25.000), in Großbritannien (16.000) und in der Schweiz (12.000).Diese internationale Mobilität ist wichtig.\nAuslandsaufenthalte im Studium sind oft eine wichtige Zusatzqualifikation für den späteren Beruf.']] Sacrebleu: {'score': 14.13542565067315, 'counts': [13, 9, 7, 5], 'totals': [25, 24, 23, 22], 'precisions': [52.0, 37.5, 30.434782608695652, 22.727272727272727], 'bp': 0.41478291168158143, 'sys_len': 25, 'ref_len': 47} Bleu: {'bleu': 0.1413542565067315, 'precisions': [0.52, 0.375, 0.30434782608695654, 0.22727272727272727], 'brevity_penalty': 0.4147829116815813, 'length_ratio': 0.5319148936170213, 'translation_length': 25, 'reference_length': 47} Rouge: {'rouge1': 0.37681159420289856, 'rouge2': 0.26865671641791045, 'rougeL': 0.37681159420289856, 'rougeLsum': 0.37681159420289856} Sari: {'sari': 17.801731051485014} Flesh Reading Ease: 10.55 ---------------------------------------- Source: ['Auslandsaufenthalte im Studium gehören schon an vielen Hochschulen zu den Studiengängen.'] Prediction: ['Auslandsaufenthalte im Studium gehören schon an vielen Hochschulen zu den Studiengängen.\nDie Auslandsaufenthalte im Studium gehören schon an vielen Hochschulen zu den Studiengängen.'] Label: [['Auslandsaufenthalte im Studium gehören an vielen Hochschulen zu den Studiengängen.']] Sacrebleu: {'score': 32.685141385924574, 'counts': [11, 9, 7, 5], 'totals': [25, 24, 23, 22], 'precisions': [44.0, 37.5, 30.434782608695652, 22.727272727272727], 'bp': 1.0, 'sys_len': 25, 'ref_len': 11} Bleu: {'bleu': 0.32685141385924577, 'precisions': [0.44, 0.375, 0.30434782608695654, 0.22727272727272727], 'brevity_penalty': 1.0, 'length_ratio': 2.272727272727273, 'translation_length': 25, 'reference_length': 11} Rouge: {'rouge1': 0.6153846153846153, 'rouge2': 0.5405405405405405, 'rougeL': 0.6153846153846153, 'rougeLsum': 0.6153846153846153} Sari: {'sari': 61.61947387650712} Flesh Reading Ease: 33.95 ---------------------------------------- Source: ['Auch für die Entwicklung der Persönlichkeit bedeuten Auslandsaufenthalte viel, etwa dem Erwerb von Fremdsprachen und interkulturellen Kompetenzen.'] Prediction: ['Auch für die Entwicklung der Persönlichkeit bedeuten Auslandsaufenthalte viel.\nAuslandsaufenthalte bedeuten auch für die Entwicklung der Persönlichkeit viel.'] Label: [['Auch für die Entwicklung der Persönlichkeit ist ein Studium im Ausland wichtig.']] Sacrebleu: {'score': 24.515235346013313, 'counts': [7, 5, 4, 3], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 26.31578947368421, 22.22222222222222, 17.647058823529413], 'bp': 1.0, 'sys_len': 20, 'ref_len': 13} Bleu: {'bleu': 0.24515235346013312, 'precisions': [0.35, 0.2631578947368421, 0.2222222222222222, 0.17647058823529413], 'brevity_penalty': 1.0, 'length_ratio': 1.5384615384615385, 'translation_length': 20, 'reference_length': 13} Rouge: {'rouge1': 0.4444444444444444, 'rouge2': 0.41176470588235287, 'rougeL': 0.4444444444444444, 'rougeLsum': 0.4444444444444444} Sari: {'sari': 58.22249645779058} Flesh Reading Ease: 36.45 ---------------------------------------- Source: ['Endlich mal ein Winter, der seinen Namen verdient!'] Prediction: ['Im Winter verdiente ein Namen-Winter.\nDer Namen verdiente seinen Namen.\nDer Namen verdiente seinen Namen.'] Label: [['Endlich ein Winter, der seinen Namen verdient!']] Sacrebleu: {'score': 5.10809933294318, 'counts': [4, 1, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [22.22222222222222, 5.882352941176471, 3.125, 1.6666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.058823529411764705, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 18, 'reference_length': 9} Rouge: {'rouge1': 0.43478260869565216, 'rouge2': 0.19047619047619044, 'rougeL': 0.43478260869565216, 'rougeLsum': 0.43478260869565216} Sari: {'sari': 16.25} Flesh Reading Ease: 52.15 ---------------------------------------- Source: ['Der Jahresbeginn in Deutschland hatte viel Frost und Schnee im Gepäck – sehr zur Freude der Wintersportfans.'] Prediction: ['Am Wochenende wurde in Deutschland ein Jahrzehntnis gekommen.\nDer erste Mal seit dem Jahresbeginn in Deutschland hatte viel Frost und Schnee im Gepäck.\nDie Schweizer Wintersportfans waren sehr zur Freude der Schweizer.'] Label: [['Der Jahresbeginn in Deutschland brachte viel Frost und Schnee – sehr zur Freude der Wintersportfans.']] Sacrebleu: {'score': 17.278330851481748, 'counts': [14, 8, 5, 2], 'totals': [35, 34, 33, 32], 'precisions': [40.0, 23.529411764705884, 15.151515151515152, 6.25], 'bp': 1.0, 'sys_len': 35, 'ref_len': 16} Bleu: {'bleu': 0.17278330851481746, 'precisions': [0.4, 0.23529411764705882, 0.15151515151515152, 0.0625], 'brevity_penalty': 1.0, 'length_ratio': 2.1875, 'translation_length': 35, 'reference_length': 16} Rouge: {'rouge1': 0.5531914893617021, 'rouge2': 0.35555555555555557, 'rougeL': 0.5106382978723404, 'rougeLsum': 0.5106382978723404} Sari: {'sari': 27.57780489409682} Flesh Reading Ease: 64.0 ---------------------------------------- Source: ['Und endlich kamen auch die Bewohner der flacheren Regionen auf ihre Kosten.'] Prediction: ['Die Bewohner der flacheren Regionen kamen auf ihre Kosten.\nDie Bewohner kamen auf ihre Kosten.'] Label: [['Da kamen auch die Bewohner der flacheren Regionen auf ihre Kosten.']] Sacrebleu: {'score': 29.48993986902436, 'counts': [9, 6, 4, 2], 'totals': [17, 16, 15, 14], 'precisions': [52.94117647058823, 37.5, 26.666666666666668, 14.285714285714286], 'bp': 1.0, 'sys_len': 17, 'ref_len': 12} Bleu: {'bleu': 0.2948993986902436, 'precisions': [0.5294117647058824, 0.375, 0.26666666666666666, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 1.4166666666666667, 'translation_length': 17, 'reference_length': 12} Rouge: {'rouge1': 0.6923076923076923, 'rouge2': 0.5, 'rougeL': 0.6153846153846153, 'rougeLsum': 0.6153846153846153} Sari: {'sari': 39.344707580001696} Flesh Reading Ease: 55.5 ---------------------------------------- Source: ['Doch wenn es keine steilen Skipisten gibt, kann man sich trotzdem auf Skier stellen:'] Prediction: ['Die Schweizer Skirennfahrt ist nicht mehr einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nach dem Start.\nWir haben die besten Videos auf Social Media geteilt, wie du das Video zeigt, wie du das Video zeigt, wie du das Video zeigt, wie du das Video zeigt, wie du das Video zeigt, wie du das Video zeigt, wie du das Video zeigt, wie du das Video zeigt, wie du das Video zeigt, wie du das Video zeigt.'] Label: [['Doch auch ohne steile Skipisten kann man sich auf Skier stellen:']] Sacrebleu: {'score': 0.33514051768764386, 'counts': [1, 0, 0, 0], 'totals': [107, 106, 105, 104], 'precisions': [0.9345794392523364, 0.4716981132075472, 0.23809523809523808, 0.1201923076923077], 'bp': 1.0, 'sys_len': 107, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.009345794392523364, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 8.916666666666666, 'translation_length': 107, 'reference_length': 12} Rouge: {'rouge1': 0.018867924528301886, 'rouge2': 0.0, 'rougeL': 0.018867924528301886, 'rougeLsum': 0.018867924528301886} Sari: {'sari': 24.88206238206238} Flesh Reading Ease: 50.6 ---------------------------------------- Source: ['Skilanglauf ist schon seit vielen Jahren „in“ und ideal, um fit zu bleiben oder zu werden.'] Prediction: ['Skilanglauf ist schon seit vielen Jahren "in“ und ideal, um fit zu bleiben oder zu werden.\nSeit vielen Jahren ist "in“ und ideal, um fit zu bleiben oder zu werden.'] Label: [['Skilanglauf ist schon seit vielen Jahren „in“.\nLanglauf ist ideal, um fit zu bleiben oder zu werden.']] Sacrebleu: {'score': 38.24323271187024, 'counts': [18, 14, 12, 10], 'totals': [36, 35, 34, 33], 'precisions': [50.0, 40.0, 35.294117647058826, 30.303030303030305], 'bp': 1.0, 'sys_len': 36, 'ref_len': 20} Bleu: {'bleu': 0.3824323271187023, 'precisions': [0.5, 0.4, 0.35294117647058826, 0.30303030303030304], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 36, 'reference_length': 20} Rouge: {'rouge1': 0.6808510638297872, 'rouge2': 0.5777777777777777, 'rougeL': 0.6808510638297872, 'rougeLsum': 0.6808510638297872} Sari: {'sari': 46.84585391777173} Flesh Reading Ease: 83.1 ---------------------------------------- Source: ['Das Laufen ist dennoch sehr anstrengend, aber es macht fit.'] Prediction: ['Das Laufen ist dennoch sehr anstrengend, aber es macht fit.\nDas macht fit.'] Label: [['Das Laufen ist dennoch sehr anstrengend.']] Sacrebleu: {'score': 31.314224813827344, 'counts': [7, 5, 4, 3], 'totals': [16, 15, 14, 13], 'precisions': [43.75, 33.333333333333336, 28.571428571428573, 23.076923076923077], 'bp': 1.0, 'sys_len': 16, 'ref_len': 7} Bleu: {'bleu': 0.31314224813827346, 'precisions': [0.4375, 0.3333333333333333, 0.2857142857142857, 0.23076923076923078], 'brevity_penalty': 1.0, 'length_ratio': 2.2857142857142856, 'translation_length': 16, 'reference_length': 7} Rouge: {'rouge1': 0.631578947368421, 'rouge2': 0.5882352941176471, 'rougeL': 0.631578947368421, 'rougeLsum': 0.631578947368421} Sari: {'sari': 61.94392230576441} Flesh Reading Ease: 97.45 ---------------------------------------- Source: ['Kitesurfen im Sommer und Snowkiten im Winter – ein Trend, der sich auch in den letzten Jahren durchgesetzt hat.'] Prediction: ['Kitesurfen im Sommer und Snowkiten im Winter sind ein Trend, der sich auch in den letzten Jahren durchgesetzt hat.\nDas ist ein Trend, der sich auch in den letzten Jahren durchgesetzt hat.'] Label: [['Kitesurfen im Sommer und Snowkiten im Winter – das ist ein weiterer Trend.']] Sacrebleu: {'score': 18.16725573641283, 'counts': [11, 7, 5, 4], 'totals': [36, 35, 34, 33], 'precisions': [30.555555555555557, 20.0, 14.705882352941176, 12.121212121212121], 'bp': 1.0, 'sys_len': 36, 'ref_len': 14} Bleu: {'bleu': 0.1816725573641283, 'precisions': [0.3055555555555556, 0.2, 0.14705882352941177, 0.12121212121212122], 'brevity_penalty': 1.0, 'length_ratio': 2.5714285714285716, 'translation_length': 36, 'reference_length': 14} Rouge: {'rouge1': 0.5, 'rouge2': 0.38095238095238093, 'rougeL': 0.5, 'rougeLsum': 0.5} Sari: {'sari': 42.327094226520565} Flesh Reading Ease: 76.25 ---------------------------------------- Source: ['Allerdings sind hier eher die mutigen Sportler am Start.'] Prediction: ['Die mutigen Sportler sind am Start von der Moto3-Saison am Start.\nAllerdings sind die mutigen Sportler am Start.'] Label: [['Allerdings ist das eher für die mutigen Sportler.']] Sacrebleu: {'score': 7.305267243289862, 'counts': [5, 2, 1, 0], 'totals': [22, 21, 20, 19], 'precisions': [22.727272727272727, 9.523809523809524, 5.0, 2.6315789473684212], 'bp': 1.0, 'sys_len': 22, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.22727272727272727, 0.09523809523809523, 0.05, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4444444444444446, 'translation_length': 22, 'reference_length': 9} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.15384615384615383, 'rougeL': 0.2857142857142857, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 42.61904761904762} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Neben den Rodlern auf ihren Schlitten sieht man häufig Menschen in dicken Gummireifen – neudeutsch „Snowtubing“!'] Prediction: ['Ein neues Video auf Social Media zeigt, wie es sich um einen Rücktritt in der Nacht auf Sonntag geht.\nDie beiden wollen sich in dicken Gummireifen gehen.\nDie beiden wollen sich in dicken Gummireifen bezahlen.'] Label: [['Neben den Rodlern auf ihren Schlitten sieht man häufig Menschen in dicken Gummireifen, man sagt auch „Snowtubing“ dazu.']] Sacrebleu: {'score': 4.175415561574823, 'counts': [6, 2, 1, 0], 'totals': [39, 38, 37, 36], 'precisions': [15.384615384615385, 5.2631578947368425, 2.7027027027027026, 1.3888888888888888], 'bp': 1.0, 'sys_len': 39, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.05263157894736842, 0.02702702702702703, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.95, 'translation_length': 39, 'reference_length': 20} Rouge: {'rouge1': 0.14545454545454545, 'rouge2': 0.07547169811320754, 'rougeL': 0.14545454545454545, 'rougeLsum': 0.14545454545454545} Sari: {'sari': 17.72995522995523} Flesh Reading Ease: 74.7 ---------------------------------------- Source: ['Auch Hundeschlittentouren wie in Alaska sind im Wintersportangebot.'] Prediction: ['In Alaska sind auch Hundeschlittentouren wie in Alaska im Wintersportangebot.\nDie Hundeschlittentouren wie in Alaska sind im Wintersportangebot.'] Label: [['Und auch Hundeschlittentouren wie in Alaska werden angeboten.']] Sacrebleu: {'score': 18.759202316167208, 'counts': [6, 4, 3, 2], 'totals': [20, 19, 18, 17], 'precisions': [30.0, 21.05263157894737, 16.666666666666668, 11.764705882352942], 'bp': 1.0, 'sys_len': 20, 'ref_len': 9} Bleu: {'bleu': 0.18759202316167212, 'precisions': [0.3, 0.21052631578947367, 0.16666666666666666, 0.11764705882352941], 'brevity_penalty': 1.0, 'length_ratio': 2.2222222222222223, 'translation_length': 20, 'reference_length': 9} Rouge: {'rouge1': 0.3846153846153846, 'rouge2': 0.3333333333333333, 'rougeL': 0.3846153846153846, 'rougeLsum': 0.3846153846153846} Sari: {'sari': 54.722222222222214} Flesh Reading Ease: 36.45 ---------------------------------------- Source: ['Inzwischen gibt es sechs Skihallen in Deutschland – mit allem Drum und Dran wie Lift und Skihütten.'] Prediction: ['In Deutschland gibt es sechs Skihallen.\nDie beiden werden mit allem Drum und Dran wie Lift und Skihütten geschlossen.'] Label: [['Inzwischen gibt es in Deutschland sechs Skihallen.']] Sacrebleu: {'score': 8.896962872669691, 'counts': [6, 3, 1, 0], 'totals': [21, 20, 19, 18], 'precisions': [28.571428571428573, 15.0, 5.2631578947368425, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.15, 0.05263157894736842, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.625, 'translation_length': 21, 'reference_length': 8} Rouge: {'rouge1': 0.4444444444444444, 'rouge2': 0.23999999999999996, 'rougeL': 0.29629629629629634, 'rougeLsum': 0.29629629629629634} Sari: {'sari': 37.13325020390237} Flesh Reading Ease: 76.9 ---------------------------------------- Source: ['Hier kann man das ganze Jahr zumindest rodeln, Skifahren oder Snowboarden und sich für den nächsten Winter fit machen.'] Prediction: ['Das nächste Jahr hat man das ganze Jahr zumindest rodeln, Skifahren oder Snowboarden gesichtet.\nNun kann man das nächste Winter fit machen.'] Label: [['Hier kann man das ganze Jahr zumindest rodeln, Skifahren oder Snowboarden.']] Sacrebleu: {'score': 39.72418603247485, 'counts': [12, 10, 9, 7], 'totals': [25, 24, 23, 22], 'precisions': [48.0, 41.666666666666664, 39.130434782608695, 31.818181818181817], 'bp': 1.0, 'sys_len': 25, 'ref_len': 13} Bleu: {'bleu': 0.3972418603247485, 'precisions': [0.48, 0.4166666666666667, 0.391304347826087, 0.3181818181818182], 'brevity_penalty': 1.0, 'length_ratio': 1.9230769230769231, 'translation_length': 25, 'reference_length': 13} Rouge: {'rouge1': 0.5714285714285715, 'rouge2': 0.5454545454545454, 'rougeL': 0.5142857142857142, 'rougeLsum': 0.5714285714285715} Sari: {'sari': 56.138538748832865} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['Kurz vor der Fastenzeit wird im Karneval ausgelassen gefeiert.'] Prediction: ['Im Karneval wird immer mehrfach fast einzelnen Fahrzeuge ausgelassen.\nDie Fahrzeuge wird im Karneval ausgelassen.\nDie Fahrzeuge wird ausgelassen.'] Label: [['Im Karneval wird ausgelassen gefeiert.']] Sacrebleu: {'score': 8.084607176727898, 'counts': [5, 3, 1, 0], 'totals': [22, 21, 20, 19], 'precisions': [22.727272727272727, 14.285714285714286, 5.0, 2.6315789473684212], 'bp': 1.0, 'sys_len': 22, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.22727272727272727, 0.14285714285714285, 0.05, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6666666666666665, 'translation_length': 22, 'reference_length': 6} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.27272727272727276, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 41.16041366041367} Flesh Reading Ease: 45.0 ---------------------------------------- Source: ['Mit Spiel und Tanz, Umzügen, Sitzungen und Kostümen wird die Regierung verspottet.'] Prediction: ['Die Regierung verspottet mit einem neuen Spiel und Tanz, Umzügen, Sitzungen und Kostümen.\nMit Spiel und Tanz, Umzügen, Sitzungen und Kostümen wird die Regierung verspottet.'] Label: [['Mit Spiel und Tanz, Umzügen, Sitzungen und Kostümen werden die Politiker verspottet.']] Sacrebleu: {'score': 31.334523900626223, 'counts': [13, 10, 8, 7], 'totals': [31, 30, 29, 28], 'precisions': [41.935483870967744, 33.333333333333336, 27.586206896551722, 25.0], 'bp': 1.0, 'sys_len': 31, 'ref_len': 15} Bleu: {'bleu': 0.31334523900626216, 'precisions': [0.41935483870967744, 0.3333333333333333, 0.27586206896551724, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 2.066666666666667, 'translation_length': 31, 'reference_length': 15} Rouge: {'rouge1': 0.5581395348837208, 'rouge2': 0.4390243902439025, 'rougeL': 0.5581395348837208, 'rougeLsum': 0.5581395348837208} Sari: {'sari': 60.406223893066} Flesh Reading Ease: 50.5 ---------------------------------------- Source: ['Karneval vereint die Menschen, denn es schafft Geselligkeit durch gemeinsames Singen und Tanzen.'] Prediction: ['Die Menschen in der Schweiz sind sich mit einem grossen Geselligkeit vor Ort.\nDie Menschen sind dabei nicht mehr gefragt, sondern auch nicht mehr ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz'] Label: [['Karneval vereint die Menschen, es bedeutet fröhliches Zusammensein.']] Sacrebleu: {'score': 0.20726423153450854, 'counts': [3, 0, 0, 0], 'totals': [226, 225, 224, 223], 'precisions': [1.3274336283185841, 0.2222222222222222, 0.11160714285714286, 0.05605381165919283], 'bp': 1.0, 'sys_len': 226, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.01327433628318584, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 22.6, 'translation_length': 226, 'reference_length': 10} Rouge: {'rouge1': 0.017167381974248927, 'rouge2': 0.008658008658008656, 'rougeL': 0.017167381974248927, 'rougeLsum': 0.017167381974248927} Sari: {'sari': 34.48717948717949} Flesh Reading Ease: 9.5 ---------------------------------------- Source: ['Beim Verkleiden kann man in eine andere Rolle schlüpfen.'] Prediction: ['Beim Verkleiden kann man in eine andere Rolle schlüpfen.\nDer Verkleiden kann man in eine andere Rolle schlüpfen.'] Label: [['Mit einem Kostüm kann man sogar in eine andere Rolle schlüpfen – für ein paar Stunden oder Tage.']] Sacrebleu: {'score': 21.31456897111116, 'counts': [8, 5, 3, 2], 'totals': [20, 19, 18, 17], 'precisions': [40.0, 26.31578947368421, 16.666666666666668, 11.764705882352942], 'bp': 1.0, 'sys_len': 20, 'ref_len': 19} Bleu: {'bleu': 0.21314568971111159, 'precisions': [0.4, 0.2631578947368421, 0.16666666666666666, 0.11764705882352941], 'brevity_penalty': 1.0, 'length_ratio': 1.0526315789473684, 'translation_length': 20, 'reference_length': 19} Rouge: {'rouge1': 0.4000000000000001, 'rouge2': 0.3157894736842105, 'rougeL': 0.4000000000000001, 'rougeLsum': 0.4000000000000001} Sari: {'sari': 54.942279942279946} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['In der neuen Rolle zeigt man sich anders und sieht auch andere anders – ein Perspektivwechsel findet statt - wenn auch nur für ein paar Tage.'] Prediction: ['In der neuen Rolle zeigt man sich anders und sieht auch andere anders.\nEin Perspektivwechsel findet statt.\nDas ist nicht das erste Mal, das sich in der neuen Rolle zeigt.'] Label: [['In der neuen Rolle zeigt man sich anders und sieht auch andere anders.']] Sacrebleu: {'score': 38.3296803547963, 'counts': [14, 13, 12, 11], 'totals': [34, 33, 32, 31], 'precisions': [41.1764705882353, 39.39393939393939, 37.5, 35.483870967741936], 'bp': 1.0, 'sys_len': 34, 'ref_len': 14} Bleu: {'bleu': 0.3832968035479631, 'precisions': [0.4117647058823529, 0.3939393939393939, 0.375, 0.3548387096774194], 'brevity_penalty': 1.0, 'length_ratio': 2.4285714285714284, 'translation_length': 34, 'reference_length': 14} Rouge: {'rouge1': 0.6046511627906976, 'rouge2': 0.5853658536585366, 'rougeL': 0.6046511627906976, 'rougeLsum': 0.6046511627906976} Sari: {'sari': 65.58113011286385} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['Wolfgang Oelsner, Psychotherapeut und Karnevalsexperte, erklärt, dass sich die Menschen nach Exotik, nach Wandel sehnen.'] Prediction: ['Die Menschen in der Schweiz sind nach Exotik, nach Wandel sehnen.\nDas ist ein Psychotherapeut und Karnevalsexperte.\nDie Menschen sind nach Exotik, nach Wandel sehnen.'] Label: [['Wolfgang Oelsner, Psychotherapeut und Karnevalsexperte, erklärt, dass sich die Menschen nach Wandel sehnen.']] Sacrebleu: {'score': 12.288887055424896, 'counts': [10, 5, 3, 1], 'totals': [30, 29, 28, 27], 'precisions': [33.333333333333336, 17.24137931034483, 10.714285714285714, 3.7037037037037037], 'bp': 1.0, 'sys_len': 30, 'ref_len': 17} Bleu: {'bleu': 0.12288887055424895, 'precisions': [0.3333333333333333, 0.1724137931034483, 0.10714285714285714, 0.037037037037037035], 'brevity_penalty': 1.0, 'length_ratio': 1.7647058823529411, 'translation_length': 30, 'reference_length': 17} Rouge: {'rouge1': 0.41025641025641024, 'rouge2': 0.2702702702702703, 'rougeL': 0.41025641025641024, 'rougeLsum': 0.41025641025641024} Sari: {'sari': 15.683354133575374} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['Als Cowboy oder Prinzessin verkleidet erlebt man diesen Perspektivwechsel.'] Prediction: ['Das erste Mal seit Jahren verkleidet man die Perspektivwechsel.\nAls Cowboy oder Prinzessin verkleidet erlebt man diesen Perspektivwechsel.'] Label: [['Als Cowboy oder Prinzessin verkleidet erlebt man einen Perspektivwechsel.']] Sacrebleu: {'score': 32.26386416030252, 'counts': [9, 7, 5, 4], 'totals': [20, 19, 18, 17], 'precisions': [45.0, 36.8421052631579, 27.77777777777778, 23.529411764705884], 'bp': 1.0, 'sys_len': 20, 'ref_len': 10} Bleu: {'bleu': 0.32263864160302524, 'precisions': [0.45, 0.3684210526315789, 0.2777777777777778, 0.23529411764705882], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 20, 'reference_length': 10} Rouge: {'rouge1': 0.5925925925925926, 'rouge2': 0.48, 'rougeL': 0.5925925925925926, 'rougeLsum': 0.5925925925925926} Sari: {'sari': 60.99059931296774} Flesh Reading Ease: 48.15 ---------------------------------------- Source: ['Die gewohnte Ordnung werde aufgelöst, aber innerhalb bestimmter Spielregeln.'] Prediction: ['Die gewohnte Ordnung der Spieler wird aufgelöst.\nDie gewohnte Ordnung wird aufgelöst, aber innerhalb bestimmter Spielregeln.\nDie gewohnte Ordnung wird aufgelöst, aber innerhalb bestimmter Spielregeln.'] Label: [['Die gewohnte Ordnung werde aufgelöst.']] Sacrebleu: {'score': 5.811055908327921, 'counts': [5, 3, 1, 0], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 10.344827586206897, 3.5714285714285716, 1.8518518518518519], 'bp': 1.0, 'sys_len': 30, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.10344827586206896, 0.03571428571428571, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.0, 'translation_length': 30, 'reference_length': 6} Rouge: {'rouge1': 0.29411764705882354, 'rouge2': 0.18750000000000003, 'rougeL': 0.29411764705882354, 'rougeLsum': 0.29411764705882354} Sari: {'sari': 18.865740740740737} Flesh Reading Ease: 48.85 ---------------------------------------- Source: ['Es zählt nicht, was man normalerweise ist oder verdient.'] Prediction: ['Ein Schweizer hat einen grossen Schritt auf die Suche.\nDie Welt ist ein normalerweise oder verdientes.\nDie Welt ist ein normalerweis.'] Label: [['Es ist nicht wichtig, wer man im Alltag ist oder wie viel Geld man verdient.']] Sacrebleu: {'score': 2.224972978585352, 'counts': [4, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [16.666666666666668, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.411764705882353, 'translation_length': 24, 'reference_length': 17} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.0, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 46.547619047619044} Flesh Reading Ease: 73.55 ---------------------------------------- Source: ['Heute ist Karneval in Städten wie Köln oder Düsseldorf eine einzige Party, und die Kostüme und Masken richten sich nach Filmhits aus Hollywood oder politischer Aktualität.'] Prediction: ['Die Kostüme und Masken richten sich nach Filmhits aus Hollywood oder politischer Aktualität.\nDie Kostüme und Masken richten sich nach Filmhits aus Hollywood oder politischer Aktualität.'] Label: [['Heute ist Karneval in Städten wie Köln oder Düsseldorf eine einzige Party.\nDie Kostüme und Masken orientieren sich oft an Filmhits aus Hollywood.']] Sacrebleu: {'score': 18.105048502088067, 'counts': [11, 6, 4, 2], 'totals': [28, 27, 26, 25], 'precisions': [39.285714285714285, 22.22222222222222, 15.384615384615385, 8.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 25} Bleu: {'bleu': 0.18105048502088059, 'precisions': [0.39285714285714285, 0.2222222222222222, 0.15384615384615385, 0.08], 'brevity_penalty': 1.0, 'length_ratio': 1.12, 'translation_length': 28, 'reference_length': 25} Rouge: {'rouge1': 0.3508771929824561, 'rouge2': 0.21818181818181817, 'rougeL': 0.3508771929824561, 'rougeLsum': 0.3508771929824561} Sari: {'sari': 22.415637967912364} Flesh Reading Ease: 38.3 ---------------------------------------- Source: ['Besonders beliebt sollen Kostüme der Könige aus der Fantasy-Serie „Game of Thrones“ sein. Der allerneueste Trend aber sind Faschingskostüme mit LED-Beleuchtung.'] Prediction: ['Faschingskostüme mit LED-Beleuchtung sind aus der Fantasy-Serie "Game of Thrones" beliebt.\nEs ist der allerneueste Trend, das Faschingskostüme mit LED-Beleuchtung zu sein.'] Label: [['Besonders beliebt sind Kostüme der Könige aus der Fantasy-Serie „Game of Thrones“ und Kostüme mit LED-Beleuchtung.']] Sacrebleu: {'score': 7.7250397735730845, 'counts': [10, 3, 1, 0], 'totals': [27, 26, 25, 24], 'precisions': [37.03703703703704, 11.538461538461538, 4.0, 2.0833333333333335], 'bp': 1.0, 'sys_len': 27, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.37037037037037035, 0.11538461538461539, 0.04, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.588235294117647, 'translation_length': 27, 'reference_length': 17} Rouge: {'rouge1': 0.6250000000000001, 'rouge2': 0.3913043478260869, 'rougeL': 0.5, 'rougeLsum': 0.5416666666666666} Sari: {'sari': 26.692695564054787} Flesh Reading Ease: 40.3 ---------------------------------------- Source: ['Über 80 Prozent aller Einwohner in Deutschland besitzen also ein Zweirad.'] Prediction: ['Die Schweiz hat einen Zweirad für die Schweizer Einwohner geschlossen.\nÜber 80 Prozent aller Einwohner in Deutschland besitzen also ein Zweirad.'] Label: [['So haben über 80 Prozent aller Einwohner in Deutschland ein Zweirad.']] Sacrebleu: {'score': 25.823077599534503, 'counts': [9, 7, 5, 3], 'totals': [23, 22, 21, 20], 'precisions': [39.130434782608695, 31.818181818181817, 23.80952380952381, 15.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 12} Bleu: {'bleu': 0.25823077599534505, 'precisions': [0.391304347826087, 0.3181818181818182, 0.23809523809523808, 0.15], 'brevity_penalty': 1.0, 'length_ratio': 1.9166666666666667, 'translation_length': 23, 'reference_length': 12} Rouge: {'rouge1': 0.5454545454545455, 'rouge2': 0.45161290322580644, 'rougeL': 0.5454545454545455, 'rougeLsum': 0.5454545454545455} Sari: {'sari': 59.30483989694516} Flesh Reading Ease: 64.2 ---------------------------------------- Source: ['Damit ist das Fahrrad beliebter als das Auto – wer hätte das gedacht im Autoland Deutschland.'] Prediction: ['Ein Auto ist im Autoland Deutschland beliebt als das Auto.\nDas Fahrrad ist beliebt als das Auto.'] Label: [['Damit ist das Fahrrad beliebter als das Auto.']] Sacrebleu: {'score': 14.576846149722611, 'counts': [7, 3, 2, 1], 'totals': [19, 18, 17, 16], 'precisions': [36.8421052631579, 16.666666666666668, 11.764705882352942, 6.25], 'bp': 1.0, 'sys_len': 19, 'ref_len': 9} Bleu: {'bleu': 0.1457684614972261, 'precisions': [0.3684210526315789, 0.16666666666666666, 0.11764705882352941, 0.0625], 'brevity_penalty': 1.0, 'length_ratio': 2.111111111111111, 'translation_length': 19, 'reference_length': 9} Rouge: {'rouge1': 0.48, 'rouge2': 0.26086956521739124, 'rougeL': 0.48, 'rougeLsum': 0.48} Sari: {'sari': 37.45298317666739} Flesh Reading Ease: 77.9 ---------------------------------------- Source: ['Ein erstes Modell erfand im Jahr 1817 der Mannheimer Forstbeamte Karl Freiherr von Drais.'] Prediction: ['Im Jahr 1817 erfand ein Mannheimer Forstbeamte Karl Freiherr von Drais ein erstes Modell.\nDer Mannheimer Forstbeamte hatte einen erstes Modell erfand.'] Label: [['Ein erstes Modell erfand im Jahr 1817 Karl Freiherr von Drais aus Mannheim.']] Sacrebleu: {'score': 16.299446731288942, 'counts': [10, 6, 3, 1], 'totals': [24, 23, 22, 21], 'precisions': [41.666666666666664, 26.08695652173913, 13.636363636363637, 4.761904761904762], 'bp': 1.0, 'sys_len': 24, 'ref_len': 14} Bleu: {'bleu': 0.16299446731288944, 'precisions': [0.4166666666666667, 0.2608695652173913, 0.13636363636363635, 0.047619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 1.7142857142857142, 'translation_length': 24, 'reference_length': 14} Rouge: {'rouge1': 0.6285714285714286, 'rouge2': 0.4848484848484849, 'rougeL': 0.39999999999999997, 'rougeLsum': 0.5714285714285714} Sari: {'sari': 45.23148148148148} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Doch damals war man noch weit entfernt von Pedalen, Ketten oder einer Gangschaltung.'] Prediction: ['Ein Unbekannter war noch weit entfernt von Pedalen, Ketten oder einer Gangschaltung.\nDas war man noch weit entfernt von Pedalen, Ketten oder einer Gangschaltung.'] Label: [['Doch damals gab es noch keine Pedale, Ketten oder eine Gangschaltung.']] Sacrebleu: {'score': 6.5418689417544345, 'counts': [6, 3, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [21.428571428571427, 11.11111111111111, 3.8461538461538463, 2.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.1111111111111111, 0.038461538461538464, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1538461538461537, 'translation_length': 28, 'reference_length': 13} Rouge: {'rouge1': 0.2285714285714286, 'rouge2': 0.06060606060606061, 'rougeL': 0.2285714285714286, 'rougeLsum': 0.2285714285714286} Sari: {'sari': 30.109126984126984} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Das Rad von Karl Drais war ein Laufrad aus Holz, auch Draisine genannt nach seinem Erfinder.'] Prediction: ['Das Rad von Karl Drais ist ein Laufrad aus Holz.\nDer Erfinder des Rads ist ein Laufrad aus Holz.\nDer Erfinder des Rads ist ein Laufrad aus Holz.'] Label: [['Das Rad von Karl Drais war ein Laufrad aus Holz.']] Sacrebleu: {'score': 22.455129433835886, 'counts': [10, 8, 6, 4], 'totals': [31, 30, 29, 28], 'precisions': [32.25806451612903, 26.666666666666668, 20.689655172413794, 14.285714285714286], 'bp': 1.0, 'sys_len': 31, 'ref_len': 11} Bleu: {'bleu': 0.2245512943383588, 'precisions': [0.3225806451612903, 0.26666666666666666, 0.20689655172413793, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 2.8181818181818183, 'translation_length': 31, 'reference_length': 11} Rouge: {'rouge1': 0.4736842105263158, 'rouge2': 0.3888888888888889, 'rougeL': 0.4736842105263158, 'rougeLsum': 0.4736842105263158} Sari: {'sari': 56.35242072742073} Flesh Reading Ease: 94.65 ---------------------------------------- Source: ['Fahrräder schonen die Umwelt, denn sie verpesten nicht die Luft mit Abgasen und schädigen nicht durch Lärm.'] Prediction: ['Fahrräder schädigen nicht durch Lärm.\nDie Umwelt schädigen nicht durch Lärm.\nDie Umwelt schädigen nicht durch die Luft mit Abgasen.'] Label: [['Fahrräder schonen die Umwelt, denn sie verschmutzen die Luft nicht mit Abgasen.']] Sacrebleu: {'score': 8.668528067348738, 'counts': [8, 3, 1, 0], 'totals': [23, 22, 21, 20], 'precisions': [34.78260869565217, 13.636363636363637, 4.761904761904762, 2.5], 'bp': 1.0, 'sys_len': 23, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.34782608695652173, 0.13636363636363635, 0.047619047619047616, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6428571428571428, 'translation_length': 23, 'reference_length': 14} Rouge: {'rouge1': 0.46153846153846156, 'rouge2': 0.21621621621621623, 'rougeL': 0.4102564102564103, 'rougeLsum': 0.46153846153846156} Sari: {'sari': 29.202754942258757} Flesh Reading Ease: 79.7 ---------------------------------------- Source: ['Experten schätzen, dass in den großen Städten bis zu 30 Prozent der Fahrten mit dem Auto auf den Radverkehr umgestellt werden könnten.'] Prediction: ['In den großen Städten könnten bis zu 30 Prozent der Fahrten mit dem Auto auf den Radverkehr umgestellt werden.\nExperten schätzen, dass in den großen Städten bis zu 30 Prozent der Fahrten mit dem Auto auf den Radverkehr umgestellt werden könnten.'] Label: [['Experten schätzen: In den großen Städten kann man bis zu 30 Prozent der Fahrten mit dem Rad anstatt mit dem Auto erledigen.']] Sacrebleu: {'score': 24.95535972635078, 'counts': [18, 13, 9, 6], 'totals': [44, 43, 42, 41], 'precisions': [40.90909090909091, 30.232558139534884, 21.428571428571427, 14.634146341463415], 'bp': 1.0, 'sys_len': 44, 'ref_len': 24} Bleu: {'bleu': 0.24955359726350776, 'precisions': [0.4090909090909091, 0.3023255813953488, 0.21428571428571427, 0.14634146341463414], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 44, 'reference_length': 24} Rouge: {'rouge1': 0.547945205479452, 'rouge2': 0.4507042253521127, 'rougeL': 0.4931506849315069, 'rougeLsum': 0.4931506849315069} Sari: {'sari': 54.29998913869881} Flesh Reading Ease: 65.9 ---------------------------------------- Source: ['Wer also mit dem Auto zur Arbeit fährt und wieder nach Hause, spart bei zehn Kilometern täglich jedes Jahr rund 350 Kilogramm CO2-Emissionen.'] Prediction: ['Ein Auto mit dem Auto zur Arbeit fährt und wieder nach Hause, spart bei zehn Kilometern täglich jedes Jahr rund 350 Kilogramm CO2-Emissionen.\nDas Auto spart bei zehn Kilometern täglich jedes Jahr rund 350 Kilogramm CO2-Emissionen.'] Label: [['Wer jeden Tag mit dem Auto zur Arbeit fährt und wieder nach Hause, spart bei zehn Kilometern täglich jedes Jahr rund 350 Kilogramm CO2-Emissionen.']] Sacrebleu: {'score': 56.58287929037332, 'counts': [25, 24, 23, 22], 'totals': [43, 42, 41, 40], 'precisions': [58.13953488372093, 57.142857142857146, 56.09756097560975, 55.0], 'bp': 1.0, 'sys_len': 43, 'ref_len': 28} Bleu: {'bleu': 0.5658287929037327, 'precisions': [0.5813953488372093, 0.5714285714285714, 0.5609756097560976, 0.55], 'brevity_penalty': 1.0, 'length_ratio': 1.5357142857142858, 'translation_length': 43, 'reference_length': 28} Rouge: {'rouge1': 0.7058823529411764, 'rouge2': 0.696969696969697, 'rougeL': 0.7058823529411764, 'rougeLsum': 0.7058823529411764} Sari: {'sari': 62.33660130718954} Flesh Reading Ease: 56.7 ---------------------------------------- Source: ['Durch regelmäßiges Radfahren erhöht sich die Lebenserwartung um 3 bis 14 Monate.'] Prediction: ['Durch regelmäßiges Radfahren erhöht sich die Lebenserwartung um 3 bis 14 Monate.\nDie Lebenserwartung erhöht sich um 3 bis 14 Monate.'] Label: [['Regelmäßiges Radfahren erhöht die Lebenserwartung um 3 bis 14 Monate.']] Sacrebleu: {'score': 32.59889346257789, 'counts': [10, 8, 6, 5], 'totals': [23, 22, 21, 20], 'precisions': [43.47826086956522, 36.36363636363637, 28.571428571428573, 25.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 11} Bleu: {'bleu': 0.3259889346257788, 'precisions': [0.43478260869565216, 0.36363636363636365, 0.2857142857142857, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 2.090909090909091, 'translation_length': 23, 'reference_length': 11} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.5882352941176471, 'rougeL': 0.6666666666666666, 'rougeLsum': 0.6666666666666666} Sari: {'sari': 68.48544973544973} Flesh Reading Ease: 52.5 ---------------------------------------- Source: ['Nur rund fünf Zentimeter groß, ohne Schwanz, und 15 bis 35 Gramm schwer ist die kleine Haselmaus.'] Prediction: ['Nur fünf Zentimeter groß, ohne Schwanz, und 15 bis 35 Gramm schwer ist die kleine Haselmaus.\nDie kleine Haselmaus ist nur fünf Zentimeter groß, ohne Schwanz, und 15 bis 35 Gramm schwer.'] Label: [['Die Haselmaus ist ohne Schwanz nur fünf Zentimeter groß und 15 bis 35 Gramm schwer.']] Sacrebleu: {'score': 24.283216483861978, 'counts': [16, 11, 7, 5], 'totals': [38, 37, 36, 35], 'precisions': [42.10526315789474, 29.72972972972973, 19.444444444444443, 14.285714285714286], 'bp': 1.0, 'sys_len': 38, 'ref_len': 16} Bleu: {'bleu': 0.24283216483861972, 'precisions': [0.42105263157894735, 0.2972972972972973, 0.19444444444444445, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 2.375, 'translation_length': 38, 'reference_length': 16} Rouge: {'rouge1': 0.6399999999999999, 'rouge2': 0.45833333333333326, 'rougeL': 0.56, 'rougeLsum': 0.56} Sari: {'sari': 69.593554965846} Flesh Reading Ease: 82.1 ---------------------------------------- Source: ['Sie schläft den ganzen Winter über und ist meistens nachts unterwegs, um Nüsse, Beeren, Samen und Insekten zu fressen.'] Prediction: ['Die Schweizer Schweizerin hat sich am Sonntagabend einen ganzen Winter überlassen.\nSie schläft den ganzen Winter über und ist meistens nachts unterwegs, um Nüsse, Beeren, Samen und Insekten zu fressen.'] Label: [['Sie ist meistens nachts unterwegs, um Nüsse, Beeren, Samen und Insekten zu fressen.']] Sacrebleu: {'score': 43.83794346185183, 'counts': [17, 15, 14, 13], 'totals': [35, 34, 33, 32], 'precisions': [48.57142857142857, 44.11764705882353, 42.42424242424242, 40.625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 17} Bleu: {'bleu': 0.4383794346185184, 'precisions': [0.4857142857142857, 0.4411764705882353, 0.42424242424242425, 0.40625], 'brevity_penalty': 1.0, 'length_ratio': 2.0588235294117645, 'translation_length': 35, 'reference_length': 17} Rouge: {'rouge1': 0.6086956521739131, 'rouge2': 0.5454545454545454, 'rougeL': 0.6086956521739131, 'rougeLsum': 0.6086956521739131} Sari: {'sari': 60.32724424028771} Flesh Reading Ease: 65.55 ---------------------------------------- Source: ['Da sehr viel natürlicher Lebensraum zerstört ist, etwa durch Gebäude, ist die Haselmaus bedroht.'] Prediction: ['Das Haselmaus ist sehr viel natürlicher Lebensraum zerstört.\nEs ist sehr viel natürlicher Lebensraum zerstört.\nDie Haselmaus bedroht die Haselmaus.'] Label: [['Ihr natürlicher Lebensraum ist häufig zerstört, etwa durch Gebäude.']] Sacrebleu: {'score': 4.141141330484801, 'counts': [5, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [21.73913043478261, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.090909090909091, 'translation_length': 23, 'reference_length': 11} Rouge: {'rouge1': 0.32432432432432434, 'rouge2': 0.1714285714285714, 'rougeL': 0.32432432432432434, 'rougeLsum': 0.2702702702702703} Sari: {'sari': 28.600717115910484} Flesh Reading Ease: 56.3 ---------------------------------------- Source: ['Den Waldkauz sieht man kaum, aber man kann ihn hören und erkennt ihn sofort.'] Prediction: ['Ein Mann hatte sich in der Nacht auf Sonntag mit seinem Waldkauz geschützt.\nEr kann ihn hören und erkennt ihn sofort sofort.\nDie Polizei ermittelt auf den Waldkauz.'] Label: [['Den Waldkauz sieht man kaum.\nMan kann ihn hören:']] Sacrebleu: {'score': 5.072624986933127, 'counts': [5, 2, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [16.129032258064516, 6.666666666666667, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.16129032258064516, 0.06666666666666667, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8181818181818183, 'translation_length': 31, 'reference_length': 11} Rouge: {'rouge1': 0.3, 'rouge2': 0.21052631578947367, 'rougeL': 0.25, 'rougeLsum': 0.3} Sari: {'sari': 27.135818649580116} Flesh Reading Ease: 82.95 ---------------------------------------- Source: ['Mit seinem typischen „Huuh-Hu-Huuh“ ruft er in die Nacht.'] Prediction: ['Ein Mann ruft mit seinem typischen "Huuh-Hu-Huuh" in die Nacht.\nMit seinem typischen "Huuh-Hu-Huuh" ruft er in die Nacht.'] Label: [['Mit seinem „Huuh-Hu-Huuh“ ruft er in die Nacht.']] Sacrebleu: {'score': 20.87037146733082, 'counts': [8, 6, 4, 3], 'totals': [25, 24, 23, 22], 'precisions': [32.0, 25.0, 17.391304347826086, 13.636363636363637], 'bp': 1.0, 'sys_len': 25, 'ref_len': 9} Bleu: {'bleu': 0.20870371467330825, 'precisions': [0.32, 0.25, 0.17391304347826086, 0.13636363636363635], 'brevity_penalty': 1.0, 'length_ratio': 2.7777777777777777, 'translation_length': 25, 'reference_length': 9} Rouge: {'rouge1': 0.6060606060606061, 'rouge2': 0.5161290322580644, 'rougeL': 0.6060606060606061, 'rougeLsum': 0.6060606060606061} Sari: {'sari': 44.332010582010575} Flesh Reading Ease: 71.05 ---------------------------------------- Source: ['Siedlungs- und Straßenbau bedrohen ihren Lebensraum.'] Prediction: ['Im Kanton Graubünden wurden am Sonntag alle Lebensraum geschlossen.\nDie Polizei verhaftete den Lebensraum.'] Label: [['Ihr Lebensraum ist durch Wohnsiedlungen und Straßen bedroht.']] Sacrebleu: {'score': 2.908317710573757, 'counts': [2, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [12.5, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 16, 'reference_length': 9} Rouge: {'rouge1': 0.08333333333333334, 'rouge2': 0.0, 'rougeL': 0.08333333333333334, 'rougeLsum': 0.08333333333333334} Sari: {'sari': 54.99999999999999} Flesh Reading Ease: 44.3 ---------------------------------------- Source: ['Es wächst auf vielen Wiesen, aber kaum jemand nimmt es wahr.'] Prediction: ['Die Schweizer Welt ist ein grosser Wiesen.\nEs wächst auf vielen Wiesen, aber kaum jemand nimmt es wahr.'] Label: [['Es wächst auf vielen Wiesen, aber man übersieht es schnell.']] Sacrebleu: {'score': 29.4467310498826, 'counts': [9, 6, 5, 4], 'totals': [21, 20, 19, 18], 'precisions': [42.857142857142854, 30.0, 26.31578947368421, 22.22222222222222], 'bp': 1.0, 'sys_len': 21, 'ref_len': 12} Bleu: {'bleu': 0.294467310498826, 'precisions': [0.42857142857142855, 0.3, 0.2631578947368421, 0.2222222222222222], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 21, 'reference_length': 12} Rouge: {'rouge1': 0.5333333333333333, 'rouge2': 0.42857142857142855, 'rougeL': 0.5333333333333333, 'rougeLsum': 0.5333333333333333} Sari: {'sari': 55.52579365079365} Flesh Reading Ease: 94.95 ---------------------------------------- Source: ['Dank seiner Glasfassade erinnert das 110 Meter hohe Gebäude an einen Kristall.'] Prediction: ['Dank seiner Glasfassade erinnert das 110 Meter hohe Gebäude an einen Kristall.\nDas 110 Meter hohe Gebäude erinnert das 110 Meter hohe Gebäude an einen Kristall.'] Label: [['Die Fassade der Elbphilharmonie ist aus Glas und erinnert an einen Kristall.']] Sacrebleu: {'score': 8.839374326825924, 'counts': [5, 3, 2, 1], 'totals': [28, 27, 26, 25], 'precisions': [17.857142857142858, 11.11111111111111, 7.6923076923076925, 4.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 13} Bleu: {'bleu': 0.08839374326825923, 'precisions': [0.17857142857142858, 0.1111111111111111, 0.07692307692307693, 0.04], 'brevity_penalty': 1.0, 'length_ratio': 2.1538461538461537, 'translation_length': 28, 'reference_length': 13} Rouge: {'rouge1': 0.1951219512195122, 'rouge2': 0.10256410256410255, 'rougeL': 0.1951219512195122, 'rougeLsum': 0.1951219512195122} Sari: {'sari': 45.375550375550375} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Beeindruckend sind auch die Eckdaten der Elbphilharmonie – inzwischen liebevoll „Elphi“ genannt: zwei Konzertsäle, ein Hotel, 45 Luxus-Appartements zu rund 35.000 Euro pro Quadratmeter, ein Parkhaus, 26 Etagen und 120.000 Quadratmeter Nutzfläche.'] Prediction: ['Inzwischen liebevoll "Elphi" sind inzwischen liebevoll "Elphi" zwei Konzertsäle, ein Hotel, 45 Luxus-Appartements zu rund 35.000 Euro pro Quadratmeter, ein Parkhaus, 26 Etagen und 120.000 Quadratmeter Nutzfläche.\nDie Eckdaten der Elbphilharmonie sind auch die Eckdaten der Elbphilharmonie genannt: zwei Konzertsäle, ein Hotel, 45 Luxus-Appartements zu rund 35.000 Euro pro Quadratmeter, ein Parkhaus, 26 Etagen und 120.000 Quadratmeter Nutzfläche.'] Label: [['Beeindruckend sind auch die Eckdaten der Elbphilharmonie: zwei Konzertsäle, ein Hotel, 45 Luxus-Appartements, ein Parkhaus, 26 Etagen und 120.000 Quadratmeter Nutzfläche.']] Sacrebleu: {'score': 29.7024373787075, 'counts': [26, 23, 20, 17], 'totals': [73, 72, 71, 70], 'precisions': [35.61643835616438, 31.944444444444443, 28.169014084507044, 24.285714285714285], 'bp': 1.0, 'sys_len': 73, 'ref_len': 27} Bleu: {'bleu': 0.29702437378707497, 'precisions': [0.3561643835616438, 0.3194444444444444, 0.28169014084507044, 0.24285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 2.7037037037037037, 'translation_length': 73, 'reference_length': 27} Rouge: {'rouge1': 0.5161290322580645, 'rouge2': 0.4615384615384615, 'rougeL': 0.5161290322580645, 'rougeLsum': 0.5161290322580645} Sari: {'sari': 53.263276504126054} Flesh Reading Ease: 47.45 ---------------------------------------- Source: ['Die Bauzeit lag bei zehn Jahren.'] Prediction: ['Die Bauzeit lag bei zehn Jahren.\nDie Bauzeit lag bei zehn Jahren.'] Label: [['Es dauerte zehn Jahre bis das Konzerthaus fertig war.']] Sacrebleu: {'score': 3.377156414337854, 'counts': [2, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [14.285714285714286, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 14, 'reference_length': 10} Rouge: {'rouge1': 0.09523809523809525, 'rouge2': 0.0, 'rougeL': 0.09523809523809525, 'rougeLsum': 0.09523809523809525} Sari: {'sari': 37.03703703703704} Flesh Reading Ease: 97.95 ---------------------------------------- Source: ['Das Herzstück der Elbphilharmonie ist der große Konzertsaal.'] Prediction: ['Das Herzstück der Elbphilharmonie ist der große Konzertsaal.\nDie Elbphilharmonie ist eine große Konzertsaal.\nDie Veranstalterinnen und Veranstalter der Elbphilharmonie sind die besten Staffel der Kinos.'] Label: [['Der wichtigste Raum der Elbphilharmonie ist der große Konzertsaal.']] Sacrebleu: {'score': 19.59280139287723, 'counts': [7, 6, 5, 4], 'totals': [29, 28, 27, 26], 'precisions': [24.137931034482758, 21.428571428571427, 18.51851851851852, 15.384615384615385], 'bp': 1.0, 'sys_len': 29, 'ref_len': 10} Bleu: {'bleu': 0.1959280139287724, 'precisions': [0.2413793103448276, 0.21428571428571427, 0.18518518518518517, 0.15384615384615385], 'brevity_penalty': 1.0, 'length_ratio': 2.9, 'translation_length': 29, 'reference_length': 10} Rouge: {'rouge1': 0.4102564102564103, 'rouge2': 0.3243243243243243, 'rougeL': 0.358974358974359, 'rougeLsum': 0.358974358974359} Sari: {'sari': 61.23015873015872} Flesh Reading Ease: 42.6 ---------------------------------------- Source: ['Die Orgel ist mitten zwischen den Zuschauern platziert. Ihre 4.765 Pfeifen brauchen daher eine Spezialbeschichtung.'] Prediction: ['Die Orgel ist mitten zwischen den Zuschauern platziert.\nIhre 4.765 Pfeifen brauchen eine Spezialbeschichtung.'] Label: [['Die Orgel ist mitten zwischen den Zuschauern platziert und hat 4.765 Orgelpfeifen.']] Sacrebleu: {'score': 46.825687910244035, 'counts': [10, 7, 6, 5], 'totals': [16, 15, 14, 13], 'precisions': [62.5, 46.666666666666664, 42.857142857142854, 38.46153846153846], 'bp': 1.0, 'sys_len': 16, 'ref_len': 13} Bleu: {'bleu': 0.4682568791024402, 'precisions': [0.625, 0.4666666666666667, 0.42857142857142855, 0.38461538461538464], 'brevity_penalty': 1.0, 'length_ratio': 1.2307692307692308, 'translation_length': 16, 'reference_length': 13} Rouge: {'rouge1': 0.7142857142857142, 'rouge2': 0.6153846153846153, 'rougeL': 0.7142857142857142, 'rougeLsum': 0.7142857142857142} Sari: {'sari': 56.4625850340136} Flesh Reading Ease: 50.15 ---------------------------------------- Source: ['Und damit nichts die Konzerterlebnisse stört– kein Tuten der Schiffe, kein Brummen der Dieselmaschinen – wurde der 12.500 Tonnen schwere Saal vom restlichen Gebäude getrennt.'] Prediction: ['Der 12.500 Tonnen schwere Saal wurde vom restlichen Gebäude getrennt.\nDie Konzerterlebnisse stört nichts die Konzerterlebnisse.\nDer 12.500 Tonnen schwere Saal wurde vom restlichen Gebäude getrennt.'] Label: [['Der 12.500 Tonnen schwere Saal ist vom restlichen Gebäude getrennt, damit keine Geräusche von außen die Konzerte stören können.']] Sacrebleu: {'score': 21.21642520847466, 'counts': [11, 7, 5, 3], 'totals': [29, 28, 27, 26], 'precisions': [37.93103448275862, 25.0, 18.51851851851852, 11.538461538461538], 'bp': 1.0, 'sys_len': 29, 'ref_len': 21} Bleu: {'bleu': 0.2121642520847466, 'precisions': [0.3793103448275862, 0.25, 0.18518518518518517, 0.11538461538461539], 'brevity_penalty': 1.0, 'length_ratio': 1.380952380952381, 'translation_length': 29, 'reference_length': 21} Rouge: {'rouge1': 0.46428571428571425, 'rouge2': 0.33333333333333326, 'rougeL': 0.46428571428571425, 'rougeLsum': 0.46428571428571425} Sari: {'sari': 58.63715877004325} Flesh Reading Ease: 54.3 ---------------------------------------- Source: ['Genügend Arbeitsplätze für alle: Das ist die Voraussetzung für nachhaltiges und inklusives Wirtschaftswachstum.'] Prediction: ['Die Voraussetzung für nachhaltiges und inklusives Wirtschaftswachstum ist die Voraussetzung für nachhaltiges und inklusives Wirtschaftswachstum.\nGenügend Arbeitsplätze für alle: Das ist die Voraussetzung für nachhaltiges und inklusives Wirtschaftswachstum.'] Label: [['Genügend Arbeitsplätze für alle: Das ist die Voraussetzung für nachhaltiges Wirtschaftswachstum.']] Sacrebleu: {'score': 34.17097644229324, 'counts': [13, 11, 9, 8], 'totals': [31, 30, 29, 28], 'precisions': [41.935483870967744, 36.666666666666664, 31.03448275862069, 28.571428571428573], 'bp': 1.0, 'sys_len': 31, 'ref_len': 13} Bleu: {'bleu': 0.34170976442293244, 'precisions': [0.41935483870967744, 0.36666666666666664, 0.3103448275862069, 0.2857142857142857], 'brevity_penalty': 1.0, 'length_ratio': 2.3846153846153846, 'translation_length': 31, 'reference_length': 13} Rouge: {'rouge1': 0.6122448979591837, 'rouge2': 0.5531914893617021, 'rougeL': 0.6122448979591837, 'rougeLsum': 0.6122448979591837} Sari: {'sari': 70.17715617715618} Flesh Reading Ease: 19.75 ---------------------------------------- Source: ['Nach der Arbeitsmarktprognose 2030 für Deutschland wird es auf dem Arbeitsmarkt große Probleme geben, denn es werden viele Fachkräfte fehlen.'] Prediction: ['Die Prognose 2030 für Deutschland wird auf dem Arbeitsmarkt große Probleme geben, denn es werden viele Fachkräfte fehlen.\nDie Prognose 2030 für Deutschland wird auf dem Arbeitsmarkt große Probleme geben, denn es werden viele Fachkräfte fehlen.'] Label: [['Der demografische Wandel bedeutet für Deutschland große Probleme.\nDenn wenn die jetzigen Fachkräfte im Ruhestand sind, werden viele Fachkräfte fehlen.']] Sacrebleu: {'score': 11.846592694382013, 'counts': [12, 6, 3, 2], 'totals': [40, 39, 38, 37], 'precisions': [30.0, 15.384615384615385, 7.894736842105263, 5.405405405405405], 'bp': 1.0, 'sys_len': 40, 'ref_len': 23} Bleu: {'bleu': 0.11846592694382017, 'precisions': [0.3, 0.15384615384615385, 0.07894736842105263, 0.05405405405405406], 'brevity_penalty': 1.0, 'length_ratio': 1.7391304347826086, 'translation_length': 40, 'reference_length': 23} Rouge: {'rouge1': 0.45454545454545453, 'rouge2': 0.28125, 'rougeL': 0.4242424242424242, 'rougeLsum': 0.36363636363636365} Sari: {'sari': 48.04940157881334} Flesh Reading Ease: 56.7 ---------------------------------------- Source: ['In Deutschland könnten daher in den kommenden 15 Jahren 5,8 bis 7,7 Millionen Arbeitskräfte fehlen, zeigt eine Studie der Boston Consulting Group.'] Prediction: ['Deutschland könnte in den kommenden 15 Jahren 5,8 bis 7,7 Millionen Arbeitskräfte fehlen.\nIn den kommenden 15 Jahren könnten 5,8 bis 7,7 Millionen Arbeitskräfte fehlen.'] Label: [['In Deutschland könnten in 15 Jahren 5,8 bis 7,7 Millionen Arbeitskräfte fehlen.\nDas zeigt eine Studie der Boston Consulting Group.']] Sacrebleu: {'score': 32.508335831521066, 'counts': [14, 8, 7, 6], 'totals': [27, 26, 25, 24], 'precisions': [51.851851851851855, 30.76923076923077, 28.0, 25.0], 'bp': 1.0, 'sys_len': 27, 'ref_len': 22} Bleu: {'bleu': 0.32508335831521057, 'precisions': [0.5185185185185185, 0.3076923076923077, 0.28, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.2272727272727273, 'translation_length': 27, 'reference_length': 22} Rouge: {'rouge1': 0.5614035087719298, 'rouge2': 0.43636363636363634, 'rougeL': 0.4912280701754386, 'rougeLsum': 0.5614035087719298} Sari: {'sari': 36.71717010205411} Flesh Reading Ease: 50.5 ---------------------------------------- Source: ['Tatsache ist aber auch: Die Digitalisierung ist nicht mehr aufzuhalten und wird einige Arbeitsplätze kosten.'] Prediction: ['Die Digitalisierung ist nicht mehr aufzuhalten und wird einige Arbeitsplätze kosten.\nDie Digitalisierung ist nicht mehr aufzuhalten und wird einige Arbeitsplätze kosten.'] Label: [['Tatsache ist aber auch: Die Digitalisierung ist nicht mehr aufzuhalten.\nSie wird einige Arbeitsplätze kosten.']] Sacrebleu: {'score': 35.59739463323481, 'counts': [13, 9, 7, 5], 'totals': [24, 23, 22, 21], 'precisions': [54.166666666666664, 39.130434782608695, 31.818181818181817, 23.80952380952381], 'bp': 1.0, 'sys_len': 24, 'ref_len': 18} Bleu: {'bleu': 0.35597394633234813, 'precisions': [0.5416666666666666, 0.391304347826087, 0.3181818181818182, 0.23809523809523808], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 24, 'reference_length': 18} Rouge: {'rouge1': 0.6, 'rouge2': 0.47368421052631576, 'rougeL': 0.6, 'rougeLsum': 0.5499999999999999} Sari: {'sari': 22.563995215311007} Flesh Reading Ease: 34.45 ---------------------------------------- Source: ['Dies ist eines der Ergebnisse einer Prognose von PwC und dem Wifor-Institut.'] Prediction: ['Eine Prognose von PwC und dem Wifor-Institut zeigt, dass ein der Ergebnisse einer Prognose von PwC und dem Wifor-Institut ist.\nDie Prognose ist eines der Ergebnisse einer Prognose von PwC und dem Wifor-Institut.'] Label: [['Dies ist eines der Ergebnisse einer Prognose von PwC und des WifOR-Instituts.']] Sacrebleu: {'score': 22.079740700879782, 'counts': [10, 8, 7, 6], 'totals': [36, 35, 34, 33], 'precisions': [27.77777777777778, 22.857142857142858, 20.58823529411765, 18.181818181818183], 'bp': 1.0, 'sys_len': 36, 'ref_len': 13} Bleu: {'bleu': 0.2207974070087978, 'precisions': [0.2777777777777778, 0.22857142857142856, 0.20588235294117646, 0.18181818181818182], 'brevity_penalty': 1.0, 'length_ratio': 2.769230769230769, 'translation_length': 36, 'reference_length': 13} Rouge: {'rouge1': 0.40816326530612246, 'rouge2': 0.3404255319148936, 'rougeL': 0.40816326530612246, 'rougeLsum': 0.40816326530612246} Sari: {'sari': 26.64452495974235} Flesh Reading Ease: 52.35 ---------------------------------------- Source: ['Und Digitalisierung und Zuwanderung können den demografischen Wandel zwar abschwächen, aber auf lange Sicht nicht ausgleichen.'] Prediction: ['Das demografische Wandel ist auf lange Sicht nicht ausgleichen.\nDas ist ein demografischer Wandel, das auf lange Sicht nicht ausgleichen kann.\nDas ist ein demografischer Wandel, der auf lange Sicht nicht ausgleichen kann.'] Label: [['Digitalisierung und Zuwanderung können den demografischen Wandel zwar abschwächen, aber auf lange Sicht nicht ausgleichen.']] Sacrebleu: {'score': 12.829843029207526, 'counts': [8, 5, 4, 3], 'totals': [38, 37, 36, 35], 'precisions': [21.05263157894737, 13.513513513513514, 11.11111111111111, 8.571428571428571], 'bp': 1.0, 'sys_len': 38, 'ref_len': 17} Bleu: {'bleu': 0.12829843029207522, 'precisions': [0.21052631578947367, 0.13513513513513514, 0.1111111111111111, 0.08571428571428572], 'brevity_penalty': 1.0, 'length_ratio': 2.235294117647059, 'translation_length': 38, 'reference_length': 17} Rouge: {'rouge1': 0.24000000000000002, 'rouge2': 0.16666666666666666, 'rougeL': 0.24000000000000002, 'rougeLsum': 0.24000000000000002} Sari: {'sari': 18.29783199829639} Flesh Reading Ease: 69.55 ---------------------------------------- Source: ['Die Analyse zeigt, dass die Digitalisierung ein großes Potential für die Produktivität der Wirtschaft hat.'] Prediction: ['Die Digitalisierung hat ein großes Potential für die Produktivität der Wirtschaft hat.\nDie Analyse zeigt, dass die Digitalisierung ein großes Potential für die Produktivität der Wirtschaft hat.'] Label: [['Die Digitalisierung bietet also große Chancen für den Arbeitsmarkt der Zukunft.']] Sacrebleu: {'score': 3.1221929756173616, 'counts': [5, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 30, 'reference_length': 12} Rouge: {'rouge1': 0.26086956521739135, 'rouge2': 0.09090909090909091, 'rougeL': 0.26086956521739135, 'rougeLsum': 0.26086956521739135} Sari: {'sari': 38.04935767410413} Flesh Reading Ease: 43.65 ---------------------------------------- Source: ['Aber die Digitalisierung verlangt hohe Qualifikationen.'] Prediction: ['Die Schweizer Quali-Forscherinnen und -Quali-Forscher sind sich in der Schweiz zu einer Qualifikationen gekommen.\nDie Schweizer Quali-Forscher sind sich in der Schweiz zu einer Qualifikation gekommen.'] Label: [['Die Digitalisierung verlangt hohe Qualifikationen.']] Sacrebleu: {'score': 1.7574239156849023, 'counts': [3, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [10.714285714285714, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.10714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.666666666666667, 'translation_length': 28, 'reference_length': 6} Rouge: {'rouge1': 0.1176470588235294, 'rouge2': 0.0, 'rougeL': 0.1176470588235294, 'rougeLsum': 0.1176470588235294} Sari: {'sari': 12.777777777777777} Flesh Reading Ease: 38.3 ---------------------------------------- Source: ['Der demografische Wandel bedeutet für Deutschland, dass nur eine gute fundierte Bildung und ein Ausbau der beruflichen Weiterbildung die Zukunft sichert.'] Prediction: ['Die Zukunft des demografischen Wandels in Deutschland sichert nur eine gute Fundierte Bildung und ein Ausbau der beruflichen Weiterbildung die Zukunft.\nDie Bildungs-Bildung und eine Ausbau der beruflichen Weiterbildung sichert für Deutschland, dass nur eine gute fundierte Bildung und ein Ausbau der beruflichen Weiterbildung die Zukunft sichert.'] Label: [['Der demografische Wandel bedeutet für Deutschland, dass nur eine gute Bildung und ein Ausbau der beruflichen Weiterbildung die Zukunft sichert.']] Sacrebleu: {'score': 30.58786378128652, 'counts': [18, 16, 14, 12], 'totals': [50, 49, 48, 47], 'precisions': [36.0, 32.6530612244898, 29.166666666666668, 25.53191489361702], 'bp': 1.0, 'sys_len': 50, 'ref_len': 22} Bleu: {'bleu': 0.30587863781286534, 'precisions': [0.36, 0.32653061224489793, 0.2916666666666667, 0.2553191489361702], 'brevity_penalty': 1.0, 'length_ratio': 2.272727272727273, 'translation_length': 50, 'reference_length': 22} Rouge: {'rouge1': 0.5142857142857143, 'rouge2': 0.4411764705882353, 'rougeL': 0.5142857142857143, 'rougeLsum': 0.5142857142857143} Sari: {'sari': 27.463933115483556} Flesh Reading Ease: 33.65 ---------------------------------------- Source: ['Die Vereinbarkeit von Familie und Beruf, die bessere berufliche Integration von Migranten sowie die verbesserte Anerkennung von Qualifikationen sind weitere Anforderungen, die Deutschlands Zukunft sichern helfen.'] Prediction: ['Die Vereinbarkeit von Familie und Beruf, die bessere berufliche Integration von Migranten sowie die verbesserte Anerkennung von Qualifikationen sind, sind weitere Anforderungen, die Deutschlands Zukunft sichern helfen.\nDie Vereinbarkeit von Familie und Beruf, die bessere berufliche Integration von Migranten sowie die verbesserte Anerkennung von Qualifikationen sind weitere Anforderungen, die Deutschlands Zukunft sichern helfen, sichern helfen.'] Label: [['Familie und Beruf müssen sich vereinbaren lassen, Migranten müssen besser integriert und ihre Qualifikationen anerkannt werden.']] Sacrebleu: {'score': 2.735074532708668, 'counts': [8, 2, 1, 0], 'totals': [63, 62, 61, 60], 'precisions': [12.698412698412698, 3.225806451612903, 1.639344262295082, 0.8333333333333334], 'bp': 1.0, 'sys_len': 63, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.12698412698412698, 0.03225806451612903, 0.01639344262295082, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 63, 'reference_length': 18} Rouge: {'rouge1': 0.16438356164383564, 'rouge2': 0.05633802816901408, 'rougeL': 0.16438356164383564, 'rougeLsum': 0.136986301369863} Sari: {'sari': 38.75031310010854} Flesh Reading Ease: 6.25 ---------------------------------------- Source: ['Der Festtag wurde populär und gelangte nach Europa. Nach Großbritannien und Skandinavien griffen auch die Deutschen die Idee auf.'] Prediction: ['Die Deutschen haben einen Festtag für die Schweizer Feste gefunden.\nDie Feste wurde populär und gelangte nach Europa.\nDie Deutschen griffen die Idee auf.'] Label: [['Der Festtag gelangte nach Europa und über Großbritannien und Skandinavien nach Deutschland.']] Sacrebleu: {'score': 6.143498010483918, 'counts': [6, 2, 1, 0], 'totals': [27, 26, 25, 24], 'precisions': [22.22222222222222, 7.6923076923076925, 4.0, 2.0833333333333335], 'bp': 1.0, 'sys_len': 27, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.07692307692307693, 0.04, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.076923076923077, 'translation_length': 27, 'reference_length': 13} Rouge: {'rouge1': 0.2564102564102564, 'rouge2': 0.10810810810810811, 'rougeL': 0.20512820512820515, 'rougeLsum': 0.20512820512820515} Sari: {'sari': 31.239637652092522} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['1923 organisierte der Verband Deutscher Blumengeschäftsinhaber eine Aktion mit Plakaten, auf denen stand „Ehret die Mutter“ – ganz unpolitisch einfach nur als Tag der Blumenwünsche.'] Prediction: ['Die Verband Deutscher Blumengeschäftsinhaber organisierte eine Aktion mit Plakaten für eine Blumenwünsche.\nDie Aktion wurde von der Verband Deutscher Blumengeschäftsinhaber auf denen stand "Ehret die Mutter“ ganz unpolitisch einfach nur als Tag der Blumenwünsche.'] Label: [['1923 organisierte der Verband Deutscher Blumengeschäftsinhaber eine Aktion mit Plakaten, auf denen stand „Ehret die Mutter“.\nEs war ein Tag der Blumenwünsche.']] Sacrebleu: {'score': 23.443677523946914, 'counts': [19, 12, 7, 3], 'totals': [37, 36, 35, 34], 'precisions': [51.351351351351354, 33.333333333333336, 20.0, 8.823529411764707], 'bp': 1.0, 'sys_len': 37, 'ref_len': 25} Bleu: {'bleu': 0.23443677523946913, 'precisions': [0.5135135135135135, 0.3333333333333333, 0.2, 0.08823529411764706], 'brevity_penalty': 1.0, 'length_ratio': 1.48, 'translation_length': 37, 'reference_length': 25} Rouge: {'rouge1': 0.6349206349206349, 'rouge2': 0.49180327868852464, 'rougeL': 0.5714285714285714, 'rougeLsum': 0.6031746031746031} Sari: {'sari': 26.466960912910253} Flesh Reading Ease: 34.3 ---------------------------------------- Source: ['Die Nationalsozialisten machten aus dem Muttertag einen Tag der Heldinnen, die möglichst viele Nachkommen gebären sollten, um den Fortbestand des Volkes zu sichern – oder einfach für die grausame Tatsache, dass man Soldaten brauchte.'] Prediction: ['Die Nationalsozialisten machten aus dem Muttertag einen Tag der Heldinnen, die möglichst viele Nachkommen gebären sollten, um den Fortbestand des Volkes zu sichern.\nDie Nationalsozialisten machten aus dem Muttertag einen Tag der Heldinnen, die möglichst viele Nachkommen gebären sollten, um den Fortbestand des Volkes zu sichern.'] Label: [['Die Nationalsozialisten machten aus dem Muttertag einen Tag der Heldinnen.\nGeehrt werden sollten die Frauen, die möglichst viele Nachkommen gebären, denn man brauchte Soldaten.']] Sacrebleu: {'score': 27.145462349785312, 'counts': [21, 14, 12, 10], 'totals': [52, 51, 50, 49], 'precisions': [40.38461538461539, 27.45098039215686, 24.0, 20.408163265306122], 'bp': 1.0, 'sys_len': 52, 'ref_len': 28} Bleu: {'bleu': 0.2714546234978531, 'precisions': [0.40384615384615385, 0.27450980392156865, 0.24, 0.20408163265306123], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 52, 'reference_length': 28} Rouge: {'rouge1': 0.5, 'rouge2': 0.40540540540540543, 'rougeL': 0.5, 'rougeLsum': 0.47368421052631576} Sari: {'sari': 54.331309693151795} Flesh Reading Ease: 40.0 ---------------------------------------- Source: ['Nach dem Zweiten Weltkrieg und dem Ende des Nationalsozialismus wurde der Muttertag daher zunächst nicht mehr gefeiert.'] Prediction: ['Der Muttertag wurde nicht mehr gefeiert.\nDer Muttertag wurde nicht mehr gefeiert.'] Label: [['Nach dem Zweiten Weltkrieg und dem Ende des Nationalsozialismus wurde der Muttertag zunächst nicht mehr gefeiert.']] Sacrebleu: {'score': 15.880025377556462, 'counts': [6, 3, 2, 1], 'totals': [14, 13, 12, 11], 'precisions': [42.857142857142854, 23.076923076923077, 16.666666666666668, 9.090909090909092], 'bp': 0.8071177470053894, 'sys_len': 14, 'ref_len': 17} Bleu: {'bleu': 0.15880025377556453, 'precisions': [0.42857142857142855, 0.23076923076923078, 0.16666666666666666, 0.09090909090909091], 'brevity_penalty': 0.8071177470053892, 'length_ratio': 0.8235294117647058, 'translation_length': 14, 'reference_length': 17} Rouge: {'rouge1': 0.41379310344827586, 'rouge2': 0.2222222222222222, 'rougeL': 0.41379310344827586, 'rougeLsum': 0.3448275862068966} Sari: {'sari': 26.5963787674314} Flesh Reading Ease: 68.7 ---------------------------------------- Source: ['Der Muttertag löst regelmäßig Diskussionen aus.'] Prediction: ['Der Muttertag löst regelmäßig Diskussionen aus.\nDie Muttertag löst regelmäßig Diskussionen aus.'] Label: [['Der Muttertag wird immer wieder diskutiert.']] Sacrebleu: {'score': 6.285596338261262, 'counts': [3, 1, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [21.428571428571427, 7.6923076923076925, 4.166666666666667, 2.272727272727273], 'bp': 1.0, 'sys_len': 14, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.07692307692307693, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 14, 'reference_length': 7} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.1, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 40.71428571428572} Flesh Reading Ease: 27.75 ---------------------------------------- Source: ['Warum schenkt man einer Mutter nur an einem Tag Blumen, wenn die Blumen-Werbung daran erinnert?'] Prediction: ['Eine Mutter schenkt nur an einem Tag Blumen, wenn die Blumen-Werbung daran erinnert?\nDie Mutter schenkt man nur an einem Tag Blumen, wenn die Blumen-Werbung daran erinnert?'] Label: [['Warum schenkt man einer Mutter nur an einem Tag Blumen?']] Sacrebleu: {'score': 13.750902305262409, 'counts': [9, 5, 3, 2], 'totals': [31, 30, 29, 28], 'precisions': [29.032258064516128, 16.666666666666668, 10.344827586206897, 7.142857142857143], 'bp': 1.0, 'sys_len': 31, 'ref_len': 11} Bleu: {'bleu': 0.13750902305262408, 'precisions': [0.2903225806451613, 0.16666666666666666, 0.10344827586206896, 0.07142857142857142], 'brevity_penalty': 1.0, 'length_ratio': 2.8181818181818183, 'translation_length': 31, 'reference_length': 11} Rouge: {'rouge1': 0.4102564102564103, 'rouge2': 0.2702702702702703, 'rougeL': 0.358974358974359, 'rougeLsum': 0.358974358974359} Sari: {'sari': 14.59859584859585} Flesh Reading Ease: 67.05 ---------------------------------------- Source: ['Schließlich ist sie tagtäglich für ihre Kinder da.'] Prediction: ['Eine Kinder-Kindergängerin ist tagtäglich für ihre Kinder da.\nSie ist tagtäglich für ihre Kinder da.'] Label: [['Sie ist schließlich immer für einen da.']] Sacrebleu: {'score': 6.839596061560946, 'counts': [5, 2, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [29.41176470588235, 12.5, 3.3333333333333335, 1.7857142857142858], 'bp': 1.0, 'sys_len': 17, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.29411764705882354, 0.125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.125, 'translation_length': 17, 'reference_length': 8} Rouge: {'rouge1': 0.33333333333333326, 'rouge2': 0.14285714285714288, 'rougeL': 0.33333333333333326, 'rougeLsum': 0.33333333333333326} Sari: {'sari': 35.24531024531024} Flesh Reading Ease: 55.5 ---------------------------------------- Source: ['So ergab eine Umfrage des Meinungsforschungsinstituts YouGov in Deutschland: 80 Prozent der Erwachsenen schenken ihrer Mutter etwas zu Muttertag.'] Prediction: ['Eine Umfrage des Meinungsforschungsinstituts YouGov in Deutschland zeigt, 80 Prozent der Erwachsenen schenken ihrer Mutter etwas zu Muttertag.'] Label: [['So ergab eine Umfrage des Meinungsforschungsinstituts YouGov: 80 Prozent der Erwachsenen schenken ihrer Mutter etwas zu Muttertag.']] Sacrebleu: {'score': 63.832403259199225, 'counts': [15, 13, 11, 9], 'totals': [20, 19, 18, 17], 'precisions': [75.0, 68.42105263157895, 61.111111111111114, 52.94117647058823], 'bp': 1.0, 'sys_len': 20, 'ref_len': 19} Bleu: {'bleu': 0.6383240325919926, 'precisions': [0.75, 0.6842105263157895, 0.6111111111111112, 0.5294117647058824], 'brevity_penalty': 1.0, 'length_ratio': 1.0526315789473684, 'translation_length': 20, 'reference_length': 19} Rouge: {'rouge1': 0.8571428571428571, 'rouge2': 0.787878787878788, 'rougeL': 0.8571428571428571, 'rougeLsum': 0.8571428571428571} Sari: {'sari': 37.424466002052206} Flesh Reading Ease: 33.3 ---------------------------------------- Source: ['18 Prozent der Befragten dagegen sehen keinen Grund, den Muttertag besonders zu feiern.'] Prediction: ['18 Prozent der Befragten dagegen sehen keinen Grund, den Muttertag besonders zu feiern.\nDie Muttertag-Befragten sind 18 Prozent der Befragten dagegen.'] Label: [['18 Prozent dagegen sehen keinen Grund, den Muttertag besonders zu feiern.']] Sacrebleu: {'score': 44.82516224331324, 'counts': [13, 11, 9, 8], 'totals': [24, 23, 22, 21], 'precisions': [54.166666666666664, 47.82608695652174, 40.90909090909091, 38.095238095238095], 'bp': 1.0, 'sys_len': 24, 'ref_len': 13} Bleu: {'bleu': 0.44825162243313244, 'precisions': [0.5416666666666666, 0.4782608695652174, 0.4090909090909091, 0.38095238095238093], 'brevity_penalty': 1.0, 'length_ratio': 1.8461538461538463, 'translation_length': 24, 'reference_length': 13} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.5806451612903225, 'rougeL': 0.6666666666666666, 'rougeLsum': 0.6666666666666666} Sari: {'sari': 61.8896103896104} Flesh Reading Ease: 52.5 ---------------------------------------- Source: ['Zu den ersten ökologischen Gebäuden im europäischen Raum gehörten die Pfahlbauten der Jungsteinzeit und Bronzezeit zwischen ca. 4.300 v. Chr. und 800 v. Chr. Diese waren bis ins letzte Detail nachhaltig:'] Prediction: ['Die Pfahlbauten der Jungsteinzeit und Bronzezeit zwischen ca.\n4.300 v. Chr.\nund 800 v. Chr.\nwaren bis ins letzte Detail nachhaltig.\nDie Pfahlbauten der Jungsteinzeit und Bronzezeit zwischen ca.\n4.300 v. Chr.\nund 800 v. Chr.\nwaren bis ins letzte Detail nachhaltig.'] Label: [['Zu den ersten ökologischen Gebäuden im europäischen Raum gehörten die Pfahlbauten der Jungsteinzeit und Bronzezeit (ca.\n4.300 v. Chr.\nund 800 v.\nChr.).\nSie waren komplett nachhaltig:']] Sacrebleu: {'score': 29.366443442676, 'counts': [21, 16, 14, 12], 'totals': [54, 53, 52, 51], 'precisions': [38.888888888888886, 30.18867924528302, 26.923076923076923, 23.529411764705884], 'bp': 1.0, 'sys_len': 54, 'ref_len': 36} Bleu: {'bleu': 0.29366443442676016, 'precisions': [0.3888888888888889, 0.3018867924528302, 0.2692307692307692, 0.23529411764705882], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 54, 'reference_length': 36} Rouge: {'rouge1': 0.4533333333333333, 'rouge2': 0.35616438356164387, 'rougeL': 0.4533333333333333, 'rougeLsum': 0.4533333333333333} Sari: {'sari': 29.36445616340862} Flesh Reading Ease: 85.25 ---------------------------------------- Source: ['Ausgerechnet ein Wolkenkratzer mit viel Glas und Stahl war eines der ersten ökologischen Gebäude (Green Building) in Deutschland:'] Prediction: ['Ein Wolkenkratzer mit viel Glas und Stahl war eines der ersten ökologischen Gebäude (Green Building) in Deutschland.\nEr war mit viel Glas und Stahl ausgerechnet worden.'] Label: [['Ein Wolkenkratzer mit viel Glas und Stahl war eines der ersten ökologischen Gebäude (Green Building) in Deutschland:']] Sacrebleu: {'score': 61.32513183209773, 'counts': [19, 18, 17, 16], 'totals': [30, 29, 28, 27], 'precisions': [63.333333333333336, 62.06896551724138, 60.714285714285715, 59.25925925925926], 'bp': 1.0, 'sys_len': 30, 'ref_len': 20} Bleu: {'bleu': 0.6132513183209775, 'precisions': [0.6333333333333333, 0.6206896551724138, 0.6071428571428571, 0.5925925925925926], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 30, 'reference_length': 20} Rouge: {'rouge1': 0.8, 'rouge2': 0.7906976744186047, 'rougeL': 0.8, 'rougeLsum': 0.8} Sari: {'sari': 44.700820950820955} Flesh Reading Ease: 67.55 ---------------------------------------- Source: ['Der britische Architekt Sir Norman Foster, Träger des Nachhaltigkeitspreises 2012 für Architektur und Baukunst, hat bei diesem Gebäude vor allem den Energiebedarf im Blick gehabt.'] Prediction: ['Der britische Architekt Sir Norman Foster hat einen Energiebedarf im Blick gehabt.\nDer Träger des Nachhaltigkeitspreises 2012 für Architektur und Baukunst, hat bei diesem Gebäude vor allem den Energiebedarf im Blick gehabt.'] Label: [['Der britische Architekt Sir Norman Foster, Träger des Nachhaltigkeitspreises 2012 für Architektur und Baukunst, hat bei diesem Gebäude den Energiebedarf intelligent gelöst.']] Sacrebleu: {'score': 49.788578774473876, 'counts': [22, 18, 15, 13], 'totals': [35, 34, 33, 32], 'precisions': [62.857142857142854, 52.94117647058823, 45.45454545454545, 40.625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 25} Bleu: {'bleu': 0.4978857877447389, 'precisions': [0.6285714285714286, 0.5294117647058824, 0.45454545454545453, 0.40625], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 35, 'reference_length': 25} Rouge: {'rouge1': 0.7540983606557377, 'rouge2': 0.6779661016949153, 'rougeL': 0.7540983606557377, 'rougeLsum': 0.7540983606557377} Sari: {'sari': 25.79931536157467} Flesh Reading Ease: 52.85 ---------------------------------------- Source: ['So gibt es dank der doppelten Außenfassade Frischluft, eine Klimaanlage wird kaum gebraucht.'] Prediction: ['Eine Klimaanlage wird kaum gebraucht.\nDie doppelten Außenfassade Frischluft wird kaum gebraucht.\nDie Klimaanlage wird kaum gebraucht.'] Label: [['Durch die doppelte Außenfassade gibt es Frischluft, eine Klimaanlage wird kaum gebraucht.']] Sacrebleu: {'score': 19.49624907951977, 'counts': [7, 4, 3, 2], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 21.05263157894737, 16.666666666666668, 11.764705882352942], 'bp': 1.0, 'sys_len': 20, 'ref_len': 14} Bleu: {'bleu': 0.19496249079519765, 'precisions': [0.35, 0.21052631578947367, 0.16666666666666666, 0.11764705882352941], 'brevity_penalty': 1.0, 'length_ratio': 1.4285714285714286, 'translation_length': 20, 'reference_length': 14} Rouge: {'rouge1': 0.5806451612903226, 'rouge2': 0.3448275862068966, 'rougeL': 0.5161290322580646, 'rougeLsum': 0.5806451612903226} Sari: {'sari': 50.35954785954786} Flesh Reading Ease: 45.6 ---------------------------------------- Source: ['Im Gebäude selbst gibt es neun Gärten.'] Prediction: ['Im Gebäude selbst gibt es neun Gärten.\nIm Gebäude selbst gibt es neun Gärten.'] Label: [['Im Gebäude gibt es neun Gärten.']] Sacrebleu: {'score': 26.33201939239632, 'counts': [7, 5, 3, 2], 'totals': [16, 15, 14, 13], 'precisions': [43.75, 33.333333333333336, 21.428571428571427, 15.384615384615385], 'bp': 1.0, 'sys_len': 16, 'ref_len': 7} Bleu: {'bleu': 0.26332019392396333, 'precisions': [0.4375, 0.3333333333333333, 0.21428571428571427, 0.15384615384615385], 'brevity_penalty': 1.0, 'length_ratio': 2.2857142857142856, 'translation_length': 16, 'reference_length': 7} Rouge: {'rouge1': 0.6153846153846153, 'rouge2': 0.5, 'rougeL': 0.6153846153846153, 'rougeLsum': 0.6153846153846153} Sari: {'sari': 66.7063492063492} Flesh Reading Ease: 91.1 ---------------------------------------- Source: ['Es bedeutet aber auch: die Natur zu schonen und wenig Fläche zu verbrauchen.'] Prediction: ['Die Natur zu schonen und wenig Fläche zu verbrauchen ist auch nicht nur wenig.\nDie Natur bedeutet aber auch auch: Die Natur zu schonen und wenig Fläche zu verbrauchen.'] Label: [['Wichtig beim Green Building ist es die Natur zu schonen und wenig Fläche zu verbrauchen.']] Sacrebleu: {'score': 24.979117342213524, 'counts': [10, 8, 7, 6], 'totals': [32, 31, 30, 29], 'precisions': [31.25, 25.806451612903224, 23.333333333333332, 20.689655172413794], 'bp': 1.0, 'sys_len': 32, 'ref_len': 16} Bleu: {'bleu': 0.24979117342213525, 'precisions': [0.3125, 0.25806451612903225, 0.23333333333333334, 0.20689655172413793], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 32, 'reference_length': 16} Rouge: {'rouge1': 0.4680851063829787, 'rouge2': 0.4, 'rougeL': 0.4680851063829787, 'rougeLsum': 0.425531914893617} Sari: {'sari': 54.7609440184423} Flesh Reading Ease: 71.9 ---------------------------------------- Source: ['Ein Kriterium ist ein geringer Energieverbrauch, ein weiterer Aspekt sind möglichst geringe Transportkosten und kurze Transportwege der Bauteile.'] Prediction: ['Ein Kriterium ist ein geringer Energieverbrauch.\nEs ist ein geringer Energieverbrauch, ein weiterer Aspekt sind möglichst geringe Transportkosten und kurze Transportwege der Bauteile.'] Label: [['Ein Kriterium ist ein geringer Energieverbrauch.\nVon Bedeutung sind auch möglichst geringe Transportkosten und kurze Transportwege der Bauteile.']] Sacrebleu: {'score': 53.11613208274919, 'counts': [17, 14, 12, 10], 'totals': [26, 25, 24, 23], 'precisions': [65.38461538461539, 56.0, 50.0, 43.47826086956522], 'bp': 1.0, 'sys_len': 26, 'ref_len': 20} Bleu: {'bleu': 0.5311613208274918, 'precisions': [0.6538461538461539, 0.56, 0.5, 0.43478260869565216], 'brevity_penalty': 1.0, 'length_ratio': 1.3, 'translation_length': 26, 'reference_length': 20} Rouge: {'rouge1': 0.744186046511628, 'rouge2': 0.6341463414634146, 'rougeL': 0.744186046511628, 'rougeLsum': 0.744186046511628} Sari: {'sari': 64.32728436269078} Flesh Reading Ease: 39.8 ---------------------------------------- Source: ['Das bedeutet zum Beispiel, dass 20 Prozent weniger Wärme verbraucht werden soll, wobei der Anteil an erneuerbaren Energieformen erhöht wird.'] Prediction: ['20 Prozent weniger Wärme werden in der Schweiz verbraucht.\nDiese sollen 20 Prozent weniger Wärme verbraucht werden.\nDie Anteilen sollen an erneuerbaren Energieformen erhöht werden.'] Label: [['Das bedeutet zum Beispiel, dass 20 Prozent weniger Wärme verbraucht werden soll.\nDabei soll der Anteil an erneuerbaren Energieformen erhöht werden.']] Sacrebleu: {'score': 34.19664738551678, 'counts': [14, 10, 8, 6], 'totals': [28, 27, 26, 25], 'precisions': [50.0, 37.03703703703704, 30.76923076923077, 24.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 24} Bleu: {'bleu': 0.3419664738551679, 'precisions': [0.5, 0.37037037037037035, 0.3076923076923077, 0.24], 'brevity_penalty': 1.0, 'length_ratio': 1.1666666666666667, 'translation_length': 28, 'reference_length': 24} Rouge: {'rouge1': 0.5490196078431373, 'rouge2': 0.44897959183673464, 'rougeL': 0.5098039215686274, 'rougeLsum': 0.5490196078431373} Sari: {'sari': 36.416608309990664} Flesh Reading Ease: 54.7 ---------------------------------------- Source: ['Unsere Mode soll schön bunt, knitterfrei oder wasserabstoßend sein. Aber umweltbewusst und nachhaltig ist sie nicht – ganz zu schweigen von den Bedingungen, unter denen sie in vielen Entwicklungsländern hergestellt wird.'] Prediction: ['Unsere Mode soll schön bunt, knitterfrei oder wasserabstoßend sein.\nAber umweltbewusst und nachhaltig ist sie nicht.\nDie Bedingungen sind in vielen Entwicklungsländern hergestellt.'] Label: [['Schön bunt soll sie sein, unsere Mode, aber umweltbewusst und nachhaltig ist sie nicht.\nSchlimm sind auch oft die Bedingungen, unter denen die Mode in vielen Entwicklungsländern hergestellt wird.']] Sacrebleu: {'score': 26.640911656223448, 'counts': [19, 9, 7, 5], 'totals': [27, 26, 25, 24], 'precisions': [70.37037037037037, 34.61538461538461, 28.0, 20.833333333333332], 'bp': 0.7716229467154109, 'sys_len': 27, 'ref_len': 34} Bleu: {'bleu': 0.2664091165622345, 'precisions': [0.7037037037037037, 0.34615384615384615, 0.28, 0.20833333333333334], 'brevity_penalty': 0.7716229467154109, 'length_ratio': 0.7941176470588235, 'translation_length': 27, 'reference_length': 34} Rouge: {'rouge1': 0.7719298245614036, 'rouge2': 0.509090909090909, 'rougeL': 0.631578947368421, 'rougeLsum': 0.6666666666666667} Sari: {'sari': 49.69546060723294} Flesh Reading Ease: 55.3 ---------------------------------------- Source: ['Einige Hersteller zeigen jedoch, dass es auch anders geht.'] Prediction: ['Einige Hersteller zeigen jedoch, dass es auch anders geht.\nSie zeigen jedoch, dass es auch anders geht.'] Label: [['Aber einige Hersteller zeigen, dass es auch anders geht.']] Sacrebleu: {'score': 30.603689509300892, 'counts': [9, 7, 5, 4], 'totals': [21, 20, 19, 18], 'precisions': [42.857142857142854, 35.0, 26.31578947368421, 22.22222222222222], 'bp': 1.0, 'sys_len': 21, 'ref_len': 11} Bleu: {'bleu': 0.3060368950930089, 'precisions': [0.42857142857142855, 0.35, 0.2631578947368421, 0.2222222222222222], 'brevity_penalty': 1.0, 'length_ratio': 1.9090909090909092, 'translation_length': 21, 'reference_length': 11} Rouge: {'rouge1': 0.6153846153846153, 'rouge2': 0.5, 'rougeL': 0.6153846153846153, 'rougeLsum': 0.6153846153846153} Sari: {'sari': 60.899470899470906} Flesh Reading Ease: 77.9 ---------------------------------------- Source: ['Öko-Mode, auch Eco-Fashion genannt, lässt sich kurz so beschreiben: frei von Schadstoffen, sozialverträglich produziert, umweltgerecht.'] Prediction: ['Öko-Mode ist ein neues Luxus-Fashion-Fashion-Fashion-Franchisier.\nDie neue Franchisierung über 20 Minuten zeigt sich in der Schweiz.\nDie Schweizer Franchisierung Öko-Mode wird in der Schweiz umweltgerecht.'] Label: [['Öko-Mode, auch Eco-Fashion genannt, ist frei von Schadstoffen.\nSie wird sozialverträglich produziert und ist umweltgerecht.']] Sacrebleu: {'score': 3.5148478313698046, 'counts': [6, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [21.428571428571427, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4736842105263157, 'translation_length': 28, 'reference_length': 19} Rouge: {'rouge1': 0.24489795918367346, 'rouge2': 0.0425531914893617, 'rougeL': 0.20408163265306123, 'rougeLsum': 0.24489795918367346} Sari: {'sari': 27.457676052877293} Flesh Reading Ease: 48.85 ---------------------------------------- Source: ['Das heißt zum Beispiel, dass bestimmte Standards zum Schutz der Näherinnen eingehalten werden, keine umweltschädlichen Chemikalien verwendet werden oder die Wolle aus kontrolliert biologischer Tierhaltung kommt.'] Prediction: ['Ein Beispiel der Näherinnen und Näherinnen zeigt, dass es bestimmte Standards zum Schutz der Näherinnen eingehalten werden, keine umweltschädlichen Chemikalien verwendet werden oder die Wolle aus kontrolliert biologischer Tierhaltung kommt.\nDas heißt zum Beispiel, dass bestimmte Standards zum Schutz der Näherinnen eingehalten werden, keine umweltschädlichen Chemikalien verwendet werden oder die Wolle aus kontrolliert biologischer Tierhaltung kommt.'] Label: [['Das heißt zum Beispiel, dass bestimmte Standards zum Schutz der Näherinnen gelten, keine umweltschädlichen Chemikalien verwendet werden oder die Wolle aus kontrolliert biologischer Tierhaltung kommt.']] Sacrebleu: {'score': 39.50313193599984, 'counts': [27, 25, 23, 21], 'totals': [62, 61, 60, 59], 'precisions': [43.54838709677419, 40.98360655737705, 38.333333333333336, 35.59322033898305], 'bp': 1.0, 'sys_len': 62, 'ref_len': 28} Bleu: {'bleu': 0.3950313193599983, 'precisions': [0.43548387096774194, 0.4098360655737705, 0.38333333333333336, 0.3559322033898305], 'brevity_penalty': 1.0, 'length_ratio': 2.2142857142857144, 'translation_length': 62, 'reference_length': 28} Rouge: {'rouge1': 0.5934065934065934, 'rouge2': 0.5617977528089888, 'rougeL': 0.5934065934065934, 'rougeLsum': 0.5934065934065934} Sari: {'sari': 64.39425231162217} Flesh Reading Ease: 23.3 ---------------------------------------- Source: ['Bio-Baumwolle, Leinen, Hanf und Lyocell sind die bekanntesten Textilien, aus denen Öko-Mode produziert wird.'] Prediction: ['Die bekanntesten Textilien der Schweiz sind Bio-Baumwolle, Leinen, Hanf und Lyocell.\nBio-Baumwolle, Leinen, Hanf und Lyocell sind die bekanntesten Produktionen, aus denen Öko-Mode produziert wird.'] Label: [['Bio-Baumwolle, Leinen, Hanf und Lyocell sind häufig die Textilien, aus denen Öko-Mode gemacht wird.']] Sacrebleu: {'score': 31.454352182114505, 'counts': [16, 11, 8, 6], 'totals': [32, 31, 30, 29], 'precisions': [50.0, 35.483870967741936, 26.666666666666668, 20.689655172413794], 'bp': 1.0, 'sys_len': 32, 'ref_len': 18} Bleu: {'bleu': 0.31454352182114503, 'precisions': [0.5, 0.3548387096774194, 0.26666666666666666, 0.20689655172413793], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 32, 'reference_length': 18} Rouge: {'rouge1': 0.6222222222222222, 'rouge2': 0.4186046511627907, 'rougeL': 0.5777777777777777, 'rougeLsum': 0.5777777777777777} Sari: {'sari': 44.42805383022774} Flesh Reading Ease: 44.65 ---------------------------------------- Source: ['IVN zertifiziert BEST“ und „Naturleder IVN zertifiziert“ vom Internationalen Verband der Naturtextilwirtschaft (IVN).'] Prediction: ['Der Internationalen Verband der Naturtextilwirtschaft (IVN) hat einen neuen Namen entwickelt.\nDer Namen entwickelt das Entscheid der Entscheidung des IVN-Verbandes.\nDas entstand der Internationalen Verband der Naturtextilwirtschaft (IVN).'] Label: [['IVN zertifiziert BEST“ und „Naturleder IVN zertifiziert“ vom Internationalen Verband der Naturtextilwirtschaft (IVN).Die']] Sacrebleu: {'score': 19.693038554176056, 'counts': [9, 7, 6, 5], 'totals': [35, 34, 33, 32], 'precisions': [25.714285714285715, 20.58823529411765, 18.181818181818183, 15.625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 17} Bleu: {'bleu': 0.1969303855417605, 'precisions': [0.2571428571428571, 0.20588235294117646, 0.18181818181818182, 0.15625], 'brevity_penalty': 1.0, 'length_ratio': 2.0588235294117645, 'translation_length': 35, 'reference_length': 17} Rouge: {'rouge1': 0.32558139534883723, 'rouge2': 0.1951219512195122, 'rougeL': 0.32558139534883723, 'rougeLsum': 0.23255813953488377} Sari: {'sari': 20.932659932659938} Flesh Reading Ease: 30.3 ---------------------------------------- Source: ['Sie versprechen strengste Anforderungen weltweit an nachhaltig produzierte Textilien und Lederwaren. Hier geht es um die gesamte Produktionskette.'] Prediction: ['Die gesamte Produktionskette versprechen strengste Anforderungen weltweit an nachhaltig produzierte Textilien und Lederwaren.\nDie gesamte Produktionskette geht es um die gesamte Produktionskette.'] Label: [['strengen Anforderungen der Siegel an nachhaltig produzierte Textilien und Lederwaren umfassen die gesamte Produktion.']] Sacrebleu: {'score': 23.05089862656664, 'counts': [10, 6, 4, 3], 'totals': [24, 23, 22, 21], 'precisions': [41.666666666666664, 26.08695652173913, 18.181818181818183, 14.285714285714286], 'bp': 1.0, 'sys_len': 24, 'ref_len': 15} Bleu: {'bleu': 0.23050898626566632, 'precisions': [0.4166666666666667, 0.2608695652173913, 0.18181818181818182, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 24, 'reference_length': 15} Rouge: {'rouge1': 0.5000000000000001, 'rouge2': 0.35294117647058826, 'rougeL': 0.5000000000000001, 'rougeLsum': 0.5000000000000001} Sari: {'sari': 50.890667683120505} Flesh Reading Ease: 5.2 ---------------------------------------- Source: ['Sie beginnt bei den Naturfasern bis zum fertigen Produkt und umfasst Umweltstandards, verbietet gefährliche Chemikalien und sorgt für faire Sozialstandards.'] Prediction: ['Die Naturfasern sind bis zum fertigen Produkt und umfasst Umweltstandards.\nSie werden für faire Sozialstandards gesorgt.'] Label: [['Sie beginnt bei den Naturfasern bis zum fertigen Produkt.\nDazu gehören auch Umweltstandards und Sozialstandards.\nGefährliche Chemikalien sind verboten.']] Sacrebleu: {'score': 14.169028445914154, 'counts': [12, 3, 2, 1], 'totals': [18, 17, 16, 15], 'precisions': [66.66666666666667, 17.647058823529413, 12.5, 6.666666666666667], 'bp': 0.800737402916808, 'sys_len': 18, 'ref_len': 22} Bleu: {'bleu': 0.14169028445914159, 'precisions': [0.6666666666666666, 0.17647058823529413, 0.125, 0.06666666666666667], 'brevity_penalty': 0.8007374029168082, 'length_ratio': 0.8181818181818182, 'translation_length': 18, 'reference_length': 22} Rouge: {'rouge1': 0.5263157894736842, 'rouge2': 0.16666666666666663, 'rougeL': 0.36842105263157887, 'rougeLsum': 0.4736842105263158} Sari: {'sari': 32.34940984940985} Flesh Reading Ease: 55.0 ---------------------------------------- Source: ['Ein beliebter Badeort mit vielen Stränden und Wassersport ist Deutschlands größter See, der Bodensee, ganz im Süden.'] Prediction: ['Deutschlands ist ein beliebter Badeort mit vielen Stränden und Wassersport.\nEs ist ein beliebter See, der Bodensee, ganz im Süden.'] Label: [['Ein beliebter Badeort mit vielen Stränden und Wassersport ist Deutschlands größter See, der Bodensee, ganz im Süden.2016']] Sacrebleu: {'score': 58.68136174076831, 'counts': [18, 14, 12, 10], 'totals': [24, 23, 22, 21], 'precisions': [75.0, 60.869565217391305, 54.54545454545455, 47.61904761904762], 'bp': 1.0, 'sys_len': 24, 'ref_len': 21} Bleu: {'bleu': 0.5868136174076833, 'precisions': [0.75, 0.6086956521739131, 0.5454545454545454, 0.47619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 24, 'reference_length': 21} Rouge: {'rouge1': 0.8372093023255814, 'rouge2': 0.6829268292682926, 'rougeL': 0.7906976744186046, 'rougeLsum': 0.7441860465116279} Sari: {'sari': 29.00946565557571} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['2016 gab es in Deutschland 2.292 Badegewässer, die meisten sind Seen.'] Prediction: ['Die meisten Badegewässer sind Seen.\n2016 gab es in Deutschland 2.292 Badegewässer.'] Label: [['gab es in Deutschland 2.292 Badegewässer, die meisten sind Seen.']] Sacrebleu: {'score': 45.72313446186435, 'counts': [10, 7, 5, 3], 'totals': [14, 13, 12, 11], 'precisions': [71.42857142857143, 53.84615384615385, 41.666666666666664, 27.272727272727273], 'bp': 1.0, 'sys_len': 14, 'ref_len': 12} Bleu: {'bleu': 0.45723134461864345, 'precisions': [0.7142857142857143, 0.5384615384615384, 0.4166666666666667, 0.2727272727272727], 'brevity_penalty': 1.0, 'length_ratio': 1.1666666666666667, 'translation_length': 14, 'reference_length': 12} Rouge: {'rouge1': 0.888888888888889, 'rouge2': 0.7200000000000001, 'rougeL': 0.5925925925925926, 'rougeLsum': 0.7407407407407408} Sari: {'sari': 31.69337606837607} Flesh Reading Ease: 62.85 ---------------------------------------- Source: ['Sie werden nach einer in ganz Europa gültigen Richtlinie überwacht.'] Prediction: ['Die Schweizer Grenze ist in Europa gültig.\nSie werden nach einer in ganz Europa gültigen Richtlinie überwacht.\nSie werden nach einer in ganz Europa gültigen Richtlinie überwacht.'] Label: [['Sie werden überwacht, dazu gibt es eine europäische Richtlinie.']] Sacrebleu: {'score': 3.1221929756173616, 'counts': [5, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.727272727272727, 'translation_length': 30, 'reference_length': 11} Rouge: {'rouge1': 0.2, 'rouge2': 0.05263157894736842, 'rougeL': 0.2, 'rougeLsum': 0.15} Sari: {'sari': 40.05681818181818} Flesh Reading Ease: 54.0 ---------------------------------------- Source: ['Die Untersuchungen achten dabei vor allem auf zwei Darmbakterien, die krank machen.'] Prediction: ['Zwei Darmbakterien, die krank machen, wurden in der Schweiz untersucht.\nSie wurden dabei auf einen Darmbakterien entdeckt.\nDie Untersuchungen auf zwei Darmbakterien sind krank.'] Label: [['Die Untersuchungen achten dabei vor allem auf Darmbakterien, die krank machen.']] Sacrebleu: {'score': 15.146316523107297, 'counts': [10, 5, 3, 2], 'totals': [29, 28, 27, 26], 'precisions': [34.48275862068966, 17.857142857142858, 11.11111111111111, 7.6923076923076925], 'bp': 1.0, 'sys_len': 29, 'ref_len': 13} Bleu: {'bleu': 0.15146316523107298, 'precisions': [0.3448275862068966, 0.17857142857142858, 0.1111111111111111, 0.07692307692307693], 'brevity_penalty': 1.0, 'length_ratio': 2.230769230769231, 'translation_length': 29, 'reference_length': 13} Rouge: {'rouge1': 0.4571428571428572, 'rouge2': 0.24242424242424243, 'rougeL': 0.34285714285714286, 'rougeLsum': 0.4571428571428572} Sari: {'sari': 22.76231012118109} Flesh Reading Ease: 55.0 ---------------------------------------- Source: ['Fast alle geprüften Badegewässer – 98 Prozent – erfüllen die Anforderungen der EU-Richtlinie.'] Prediction: ['Die EU-Richtlinie erfüllt fast alle geprüften Badegewässer die Anforderungen der EU-Richtlinie.\nFast alle geprüften Badegewässer erfüllen die Anforderungen der EU-Richtlinie.'] Label: [['Fast alle geprüften Badegewässer – 98 Prozent – erfüllen die EU-Richtlinie.']] Sacrebleu: {'score': 14.610534486579725, 'counts': [8, 5, 2, 1], 'totals': [22, 21, 20, 19], 'precisions': [36.36363636363637, 23.80952380952381, 10.0, 5.2631578947368425], 'bp': 1.0, 'sys_len': 22, 'ref_len': 12} Bleu: {'bleu': 0.14610534486579724, 'precisions': [0.36363636363636365, 0.23809523809523808, 0.1, 0.05263157894736842], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 22, 'reference_length': 12} Rouge: {'rouge1': 0.5238095238095238, 'rouge2': 0.45000000000000007, 'rougeL': 0.5238095238095238, 'rougeLsum': 0.5238095238095238} Sari: {'sari': 18.15776815776816} Flesh Reading Ease: 12.05 ---------------------------------------- Source: ['Im nordöstlichen Bundesland Mecklenburg-Vorpommern, wo es sehr viele Seen gibt, sind die Bedingungen für die Umwelt besonders gut.'] Prediction: ['Im nordöstlichen Bundesland Mecklenburg-Vorpommern sind die Bedingungen für die Umwelt besonders gut.\nDie Bedingungen für die Umwelt sind besonders gut.'] Label: [['Im Bundesland Mecklenburg-Vorpommern im Nord-Osten gibt es sehr viele Seen.\nHier sind die Bedingungen für die Umwelt besonders gut.']] Sacrebleu: {'score': 40.90273937983042, 'counts': [13, 9, 7, 6], 'totals': [22, 21, 20, 19], 'precisions': [59.09090909090909, 42.857142857142854, 35.0, 31.57894736842105], 'bp': 1.0, 'sys_len': 22, 'ref_len': 21} Bleu: {'bleu': 0.40902739379830433, 'precisions': [0.5909090909090909, 0.42857142857142855, 0.35, 0.3157894736842105], 'brevity_penalty': 1.0, 'length_ratio': 1.0476190476190477, 'translation_length': 22, 'reference_length': 21} Rouge: {'rouge1': 0.6086956521739131, 'rouge2': 0.5, 'rougeL': 0.5652173913043478, 'rougeLsum': 0.5652173913043478} Sari: {'sari': 48.97153561346389} Flesh Reading Ease: 47.15 ---------------------------------------- Source: ['Es sind die Düngemittel, die Sorgen bereiten.'] Prediction: ['Die Düngemittel sind die Sorgen bereiten.\nEs sind die Düngemittel, die Sorgen bereiten.'] Label: [['Hier macht der Stickstoff aus Düngemitteln Probleme.']] Sacrebleu: {'score': 2.445593937240363, 'counts': [1, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [6.25, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 16, 'reference_length': 8} Rouge: {'rouge1': 0.08695652173913045, 'rouge2': 0.0, 'rougeL': 0.08695652173913045, 'rougeLsum': 0.08695652173913045} Sari: {'sari': 35.18518518518518} Flesh Reading Ease: 62.35 ---------------------------------------- Source: ['Die Stickstoffe führen zu einem starken Wachstum von Algen.'] Prediction: ['Die Stickstoffe in Algen ist eine starke Wachstumfahrt.\nDie Stoffe führen zu einem starken Wachstum von Algen.\nDie Stoffe führen zu einem starken Wachstum von Algen.'] Label: [['Das führt zu einem starken Wachstum von Algen.']] Sacrebleu: {'score': 19.59280139287723, 'counts': [7, 6, 5, 4], 'totals': [29, 28, 27, 26], 'precisions': [24.137931034482758, 21.428571428571427, 18.51851851851852, 15.384615384615385], 'bp': 1.0, 'sys_len': 29, 'ref_len': 9} Bleu: {'bleu': 0.1959280139287724, 'precisions': [0.2413793103448276, 0.21428571428571427, 0.18518518518518517, 0.15384615384615385], 'brevity_penalty': 1.0, 'length_ratio': 3.2222222222222223, 'translation_length': 29, 'reference_length': 9} Rouge: {'rouge1': 0.3783783783783784, 'rouge2': 0.2857142857142857, 'rougeL': 0.3783783783783784, 'rougeLsum': 0.3783783783783784} Sari: {'sari': 62.32210055739468} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['Diese nehmen den Wasserlebewesen den Sauerstoff.'] Prediction: ['Die Wasserlebewesen in der Schweiz sind gestorben.\nDie Wasserlebewesen nehmen den Sauerstoff.'] Label: [['Dadurch haben die Lebewesen im Wasser nicht genug Sauerstoff.']] Sacrebleu: {'score': 5.679677445135579, 'counts': [2, 1, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [14.285714285714286, 7.6923076923076925, 4.166666666666667, 2.272727272727273], 'bp': 1.0, 'sys_len': 14, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.07692307692307693, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 14, 'reference_length': 10} Rouge: {'rouge1': 0.1904761904761905, 'rouge2': 0.0, 'rougeL': 0.1904761904761905, 'rougeLsum': 0.1904761904761905} Sari: {'sari': 51.78571428571429} Flesh Reading Ease: 39.45 ---------------------------------------- Source: ['Im Jahr 2016 waren über 53,4 Millionen deutsche Urlauber insgesamt 1,7 Milliarden Reisetage unterwegs.'] Prediction: ['Die deutsche Urlauber waren im Jahr 2016 über 53,4 Millionen deutsche Urlauber insgesamt 1,7 Milliarden Reisetage unterwegs.\nIm Jahr 2016 waren über 53,4 Millionen deutsche Urlauber insgesamt 1,7 Milliarden Reisetage unterwegs.'] Label: [['Im Jahr 2016 waren 53,4 Millionen deutsche Urlauber insgesamt 1,7 Milliarden Reisetage unterwegs.']] Sacrebleu: {'score': 34.20291337705514, 'counts': [14, 12, 10, 8], 'totals': [33, 32, 31, 30], 'precisions': [42.42424242424242, 37.5, 32.25806451612903, 26.666666666666668], 'bp': 1.0, 'sys_len': 33, 'ref_len': 14} Bleu: {'bleu': 0.3420291337705514, 'precisions': [0.42424242424242425, 0.375, 0.3225806451612903, 0.26666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 2.357142857142857, 'translation_length': 33, 'reference_length': 14} Rouge: {'rouge1': 0.6, 'rouge2': 0.5416666666666667, 'rougeL': 0.6, 'rougeLsum': 0.6} Sari: {'sari': 62.98466151539615} Flesh Reading Ease: 35.8 ---------------------------------------- Source: ['Dazu gehören Kurzreisen und Städtereisen, Sonnen- und Badeurlaube und auch Schiffsreisen.'] Prediction: ['Dazu gehören Kurzreisen und Städtereisen, Sonnen und Badeurlaube und auch Schiffsreisen.\nDas ist der erste Mal in der Schweiz.\nDie Welt ist derzeit nicht mehr, sondern auch der erste Mal in der Schweiz.'] Label: [['Dazu gehören Kurzreisen in Städte, Badeurlaube und Schiffsreisen.']] Sacrebleu: {'score': 5.645847715611223, 'counts': [9, 4, 1, 0], 'totals': [38, 37, 36, 35], 'precisions': [23.68421052631579, 10.81081081081081, 2.7777777777777777, 1.4285714285714286], 'bp': 1.0, 'sys_len': 38, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.23684210526315788, 0.10810810810810811, 0.027777777777777776, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.8, 'translation_length': 38, 'reference_length': 10} Rouge: {'rouge1': 0.39999999999999997, 'rouge2': 0.18604651162790695, 'rougeL': 0.3555555555555555, 'rougeLsum': 0.39999999999999997} Sari: {'sari': 48.04003866503866} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['über 70 Prozent dieser Reisen fanden mit dem Auto oder Wohnmobil statt.'] Prediction: ['70 Prozent der Prozent der Reisen fanden mit dem Auto oder Wohnmobil statt.\nDie Reisen fanden mit dem Auto oder Wohnmobil statt.'] Label: [['Weit über 70 Prozent dieser Reisen fanden mit dem Auto oder Wohnmobil statt.']] Sacrebleu: {'score': 35.73352482107137, 'counts': [11, 9, 7, 6], 'totals': [24, 23, 22, 21], 'precisions': [45.833333333333336, 39.130434782608695, 31.818181818181817, 28.571428571428573], 'bp': 1.0, 'sys_len': 24, 'ref_len': 14} Bleu: {'bleu': 0.3573352482107136, 'precisions': [0.4583333333333333, 0.391304347826087, 0.3181818181818182, 0.2857142857142857], 'brevity_penalty': 1.0, 'length_ratio': 1.7142857142857142, 'translation_length': 24, 'reference_length': 14} Rouge: {'rouge1': 0.5714285714285714, 'rouge2': 0.4848484848484849, 'rougeL': 0.5714285714285714, 'rougeLsum': 0.5714285714285714} Sari: {'sari': 27.513227513227513} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['Bei Auslandsreisen nehmen 55 Prozent das Flugzeug.'] Prediction: ['Die Auslandsreisen nehmen 55 Prozent das Flugzeug.\nBei Auslandsreisen nehmen 55 Prozent das Flugzeug.'] Label: [['Bei Reisen ins Ausland fliegen 55 Prozent mit dem Flugzeug.']] Sacrebleu: {'score': 7.3140318268287645, 'counts': [5, 2, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [31.25, 13.333333333333334, 3.5714285714285716, 1.9230769230769231], 'bp': 1.0, 'sys_len': 16, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.3125, 0.13333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4545454545454546, 'translation_length': 16, 'reference_length': 11} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.09090909090909093, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 43.44729344729345} Flesh Reading Ease: 61.85 ---------------------------------------- Source: ['Pro Person und pro Kilometer stößt ein Flugzeug 211 Gramm klimaschädliches Kohlendioxid aus.'] Prediction: ['Ein Flugzeug mit 211 Gramm klimaschädliches Kohlendioxid ausgeführt wurde für eine Person und pro Kilometer eine positive Phase.\nDie Pro Person und pro Kilometer stößen 211 Gramm klimaschädliches Kohlendioxid aus.'] Label: [['Pro Person und pro Kilometer produziert ein Flugzeug 211 Gramm Kohlendioxid.\nDas schadet dem Klima.']] Sacrebleu: {'score': 13.983656710391779, 'counts': [11, 5, 3, 2], 'totals': [32, 31, 30, 29], 'precisions': [34.375, 16.129032258064516, 10.0, 6.896551724137931], 'bp': 1.0, 'sys_len': 32, 'ref_len': 17} Bleu: {'bleu': 0.13983656710391773, 'precisions': [0.34375, 0.16129032258064516, 0.1, 0.06896551724137931], 'brevity_penalty': 1.0, 'length_ratio': 1.8823529411764706, 'translation_length': 32, 'reference_length': 17} Rouge: {'rouge1': 0.4, 'rouge2': 0.25, 'rougeL': 0.32, 'rougeLsum': 0.4} Sari: {'sari': 47.62477718360071} Flesh Reading Ease: 42.15 ---------------------------------------- Source: ['Zum Vergleich: Ein Pkw produziert 142 Gramm, die Bahn im Fernverkehr 41 Gramm.'] Prediction: ['Ein Pkw produziert 142 Gramm, die Bahn im Fernverkehr 41 Gramm.\nDie Bahn produziert 142 Gramm, die Bahn im Fernverkehr 41 Gramm.'] Label: [['Zum Vergleich: Ein Pkw produziert 142 Gramm, die Bahn 41 Gramm.']] Sacrebleu: {'score': 31.348206659605648, 'counts': [11, 9, 7, 5], 'totals': [26, 25, 24, 23], 'precisions': [42.30769230769231, 36.0, 29.166666666666668, 21.73913043478261], 'bp': 1.0, 'sys_len': 26, 'ref_len': 14} Bleu: {'bleu': 0.31348206659605654, 'precisions': [0.4230769230769231, 0.36, 0.2916666666666667, 0.21739130434782608], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 26, 'reference_length': 14} Rouge: {'rouge1': 0.5454545454545455, 'rouge2': 0.45161290322580644, 'rougeL': 0.5454545454545455, 'rougeLsum': 0.5454545454545455} Sari: {'sari': 31.50871459694989} Flesh Reading Ease: 87.1 ---------------------------------------- Source: ['Nach NABU-Informationen stoßen Kreuzfahrtschiffe täglich rund 450 Kilogramm Rußpartikel, 5.250 Kilogramm Stickoxide und 7.500 Kilogramm Schwefeldioxide aus.'] Prediction: ['In der Nähe von Kreuzfahrtschiffe in der Nähe von Basel wurden rund 450 Kilogramm Rußpartikel, 5.250 Kilogramm Stickoxide und 7.500 Kilogramm Schwefeldioxide ausgegeben.\nDie Nachricht aus dem Kreuzfahrtschiffe wurde nun aufgefunden.'] Label: [['Nach NABU-Informationen stoßen Kreuzfahrtschiffe rund 450 Kilogramm Rußpartikel aus.\nDazu kommen 5.250 Kilogramm Stickoxide und 7.500 Kilogramm Schwefeldioxide – jeden Tag.']] Sacrebleu: {'score': 25.5255037045342, 'counts': [15, 9, 7, 5], 'totals': [34, 33, 32, 31], 'precisions': [44.11764705882353, 27.272727272727273, 21.875, 16.129032258064516], 'bp': 1.0, 'sys_len': 34, 'ref_len': 23} Bleu: {'bleu': 0.25525503704534197, 'precisions': [0.4411764705882353, 0.2727272727272727, 0.21875, 0.16129032258064516], 'brevity_penalty': 1.0, 'length_ratio': 1.4782608695652173, 'translation_length': 34, 'reference_length': 23} Rouge: {'rouge1': 0.5245901639344263, 'rouge2': 0.4067796610169492, 'rougeL': 0.49180327868852464, 'rougeLsum': 0.49180327868852464} Sari: {'sari': 43.949792443111235} Flesh Reading Ease: 49.35 ---------------------------------------- Source: ['Das Problem ist, dass Passagierschiffe meist keine Filteranlagen haben und die Umwelt erheblich belasten.'] Prediction: ['Passagierschiffe meist keine Filteranlagen.\nDie Umwelt belasten die Umwelt.'] Label: [['Das Problem ist, dass Passagierschiffe meist keine Filteranlagen haben.']] Sacrebleu: {'score': 24.808415001701817, 'counts': [5, 3, 2, 1], 'totals': [11, 10, 9, 8], 'precisions': [45.45454545454545, 30.0, 22.22222222222222, 12.5], 'bp': 1.0, 'sys_len': 11, 'ref_len': 11} Bleu: {'bleu': 0.24808415001701817, 'precisions': [0.45454545454545453, 0.3, 0.2222222222222222, 0.125], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 11, 'reference_length': 11} Rouge: {'rouge1': 0.4444444444444444, 'rouge2': 0.375, 'rougeL': 0.4444444444444444, 'rougeLsum': 0.4444444444444444} Sari: {'sari': 36.186664212980006} Flesh Reading Ease: 35.1 ---------------------------------------- Source: ['Das Umweltbundesamt appelliert an das Bewusstsein der Reisenden: Gibt es eine Alternative zum Flugzeug oder zum Auto?'] Prediction: ['Das Umweltbundesamt appelliert an das Bewusstsein der Reisenden: Gibt es eine Alternative zum Flugzeug oder zum Auto?\nDie Reisenden sind das Umweltbundesamt appelliert an das Bewusstsein der Reisenden: Gibt es eine Alternative zum Flugzeug oder zum Auto?'] Label: [['Das Umweltbundesamt appelliert: Gibt es eine Alternative zum Flugzeug oder zum Auto?']] Sacrebleu: {'score': 27.269476720480956, 'counts': [14, 12, 10, 8], 'totals': [41, 40, 39, 38], 'precisions': [34.146341463414636, 30.0, 25.641025641025642, 21.05263157894737], 'bp': 1.0, 'sys_len': 41, 'ref_len': 14} Bleu: {'bleu': 0.27269476720480956, 'precisions': [0.34146341463414637, 0.3, 0.2564102564102564, 0.21052631578947367], 'brevity_penalty': 1.0, 'length_ratio': 2.9285714285714284, 'translation_length': 41, 'reference_length': 14} Rouge: {'rouge1': 0.489795918367347, 'rouge2': 0.4255319148936171, 'rougeL': 0.489795918367347, 'rougeLsum': 0.489795918367347} Sari: {'sari': 58.790541954383755} Flesh Reading Ease: 44.5 ---------------------------------------- Source: ['Einige Reiseanbieter bieten inzwischen umweltfreundliche Reisen an.'] Prediction: ['Einige Reiseanbieter bieten inzwischen umweltfreundliche Reisen an.\nEinige Reiseanbieter bieten inzwischen umweltfreundliche Reisen an.'] Label: [['Einige Reiseanbieter bieten umweltfreundliche Reisen an.']] Sacrebleu: {'score': 22.14250071345737, 'counts': [7, 5, 3, 1], 'totals': [16, 15, 14, 13], 'precisions': [43.75, 33.333333333333336, 21.428571428571427, 7.6923076923076925], 'bp': 1.0, 'sys_len': 16, 'ref_len': 7} Bleu: {'bleu': 0.2214250071345737, 'precisions': [0.4375, 0.3333333333333333, 0.21428571428571427, 0.07692307692307693], 'brevity_penalty': 1.0, 'length_ratio': 2.2857142857142856, 'translation_length': 16, 'reference_length': 7} Rouge: {'rouge1': 0.6, 'rouge2': 0.4444444444444444, 'rougeL': 0.6, 'rougeLsum': 0.6} Sari: {'sari': 64.72222222222223} Flesh Reading Ease: -2.51 ---------------------------------------- Source: ['Der Brasilianer Claudemir Jeronimo Baretto – besser bekannt als Cacau – spielte für Deutschland 281 Mal in der Bundesliga und 22 Mal in der deutschen Nationalmannschaft.'] Prediction: ['Der Brasilianer Claudemir Jeronimo Baretto spielte für Deutschland 281 Mal in der Bundesliga und 22 Mal in der deutschen Nationalmannschaft.\nDer Brasilianer Claudemir Jeronimo Baretto spielte für Deutschland 281 Mal in der Bundesliga und 22 Mal in der deutschen Nationalmannschaft.'] Label: [['Der Brasilianer Claudemir Jeronimo Baretto – besser bekannt als Cacau – spielte für Deutschland 281 Mal in der Bundesliga Fußball.\n22 Mal spielte er in der deutschen Nationalmannschaft.']] Sacrebleu: {'score': 34.49071268844682, 'counts': [22, 16, 12, 9], 'totals': [42, 41, 40, 39], 'precisions': [52.38095238095238, 39.02439024390244, 30.0, 23.076923076923077], 'bp': 1.0, 'sys_len': 42, 'ref_len': 30} Bleu: {'bleu': 0.34490712688446806, 'precisions': [0.5238095238095238, 0.3902439024390244, 0.3, 0.23076923076923078], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 42, 'reference_length': 30} Rouge: {'rouge1': 0.6, 'rouge2': 0.47058823529411764, 'rougeL': 0.6, 'rougeLsum': 0.5714285714285714} Sari: {'sari': 23.436272197561223} Flesh Reading Ease: 31.3 ---------------------------------------- Source: ['Seine Aufgabe: Menschen mit Migrationshintergrund in Deutschland noch besser zu integrieren.'] Prediction: ['Migrationshintergrund in Deutschland ist noch nicht mehr zu integrieren.\nDie Aufgabe: Menschen mit Migrationshintergrund in Deutschland noch besser zu integrieren.'] Label: [['Seine Aufgabe: Integration von Menschen mit Migrationshintergrund in Deutschland.']] Sacrebleu: {'score': 18.331704949485054, 'counts': [8, 5, 3, 2], 'totals': [23, 22, 21, 20], 'precisions': [34.78260869565217, 22.727272727272727, 14.285714285714286, 10.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 11} Bleu: {'bleu': 0.18331704949485053, 'precisions': [0.34782608695652173, 0.22727272727272727, 0.14285714285714285, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 2.090909090909091, 'translation_length': 23, 'reference_length': 11} Rouge: {'rouge1': 0.41379310344827586, 'rouge2': 0.2962962962962963, 'rougeL': 0.41379310344827586, 'rougeLsum': 0.41379310344827586} Sari: {'sari': 26.186232068585007} Flesh Reading Ease: 35.45 ---------------------------------------- Source: ['Und dabei hilft der Fußball.'] Prediction: ['Die Corona-Pandemie hat einen neuen Corona-Jahr ausgelöst.\nDie Corona-Pandemie hat einen neuen Corona-Jahr ausgelöst.\nDie Corona-Pandemie hat einen neuen Jahr ausgelöst.'] Label: [['Dabei hilft der Fußball.']] Sacrebleu: {'score': 1.5732934811145336, 'counts': [1, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [4.166666666666667, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.041666666666666664, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.8, 'translation_length': 24, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 10.972222222222223} Flesh Reading Ease: 32.6 ---------------------------------------- Source: ['Davon haben 2,1 Millionen einen Migrationshintergrund.'] Prediction: ['Davon haben 2,1 Millionen Menschen einen Migrationshintergrund.\nDie Migrationshintergrund wurde von 2,1 Millionen Franken verloren.\nDie Migrationshintergrund wurde von der EU nicht erlaubt.'] Label: [['2,1 Millionen haben einen Migrationshintergrund.']] Sacrebleu: {'score': 7.076972675308512, 'counts': [6, 3, 1, 0], 'totals': [26, 25, 24, 23], 'precisions': [23.076923076923077, 12.0, 4.166666666666667, 2.1739130434782608], 'bp': 1.0, 'sys_len': 26, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.12, 0.041666666666666664, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.333333333333333, 'translation_length': 26, 'reference_length': 6} Rouge: {'rouge1': 0.3870967741935484, 'rouge2': 0.20689655172413793, 'rougeL': 0.3225806451612903, 'rougeLsum': 0.3225806451612903} Sari: {'sari': 51.4423076923077} Flesh Reading Ease: 31.9 ---------------------------------------- Source: ['Im Jahr 2016 haben ungefähr 40.000 Ausländer eine Spielberechtigung beantragt.'] Prediction: ['40.000 Spieler haben im Jahr 2016 eine Spielberechtigung beantragt.\nDie Schweiz hatte ungefähr 40.000 Spieler eine Spielberechtigung beantragt.'] Label: [['Im Jahr 2016 haben ungefähr 40.000 Ausländer eine Spielerlaubnis beantragt.']] Sacrebleu: {'score': 7.126955677090929, 'counts': [8, 3, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [40.0, 15.789473684210526, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.4, 0.15789473684210525, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8181818181818181, 'translation_length': 20, 'reference_length': 11} Rouge: {'rouge1': 0.588235294117647, 'rouge2': 0.3125, 'rougeL': 0.5294117647058824, 'rougeLsum': 0.5294117647058824} Sari: {'sari': 17.883597883597886} Flesh Reading Ease: 51.15 ---------------------------------------- Source: ['Für viele Flüchtlinge, besonders die Kinder, bietet sich hier eine Chance.'] Prediction: ['Für viele Flüchtlinge, besonders die Kinder, bietet sich hier eine Chance.\nDie Flüchtlinge bieten sich hier eine Chance.'] Label: [['Hier bekommen viele Flüchtlinge, besonders die Kinder, eine Chance.']] Sacrebleu: {'score': 32.3384287069116, 'counts': [10, 8, 6, 4], 'totals': [22, 21, 20, 19], 'precisions': [45.45454545454545, 38.095238095238095, 30.0, 21.05263157894737], 'bp': 1.0, 'sys_len': 22, 'ref_len': 12} Bleu: {'bleu': 0.32338428706911604, 'precisions': [0.45454545454545453, 0.38095238095238093, 0.3, 0.21052631578947367], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 22, 'reference_length': 12} Rouge: {'rouge1': 0.5806451612903225, 'rouge2': 0.41379310344827586, 'rougeL': 0.5161290322580645, 'rougeLsum': 0.5161290322580645} Sari: {'sari': 56.92891649413389} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Fast 3.000 Vereine beteiligen sich bereits an der Kampagne „2:0 für ein Willkommen“, ein Programm der Deutschen Kinder- und Jugendstiftung.'] Prediction: ['Die Deutschen Kinder und Jugendstiftung hat einen 2:0-Sieg auf den Kampagnen der Kampagne "2:0 für ein Willkommen" verloren.\nFast 3.000 Vereine beteiligen sich bereits an der Kampagne "2:0 für ein Willkommen".'] Label: [['Fast 3.000 Vereine beteiligen sich schon an der Kampagne „2:0 für ein Willkommen“.\nDas ist ein Programm der Deutschen Kinder- und Jugendstiftung.']] Sacrebleu: {'score': 17.58574585123422, 'counts': [19, 10, 6, 3], 'totals': [45, 44, 43, 42], 'precisions': [42.22222222222222, 22.727272727272727, 13.953488372093023, 7.142857142857143], 'bp': 1.0, 'sys_len': 45, 'ref_len': 26} Bleu: {'bleu': 0.17585745851234216, 'precisions': [0.4222222222222222, 0.22727272727272727, 0.13953488372093023, 0.07142857142857142], 'brevity_penalty': 1.0, 'length_ratio': 1.7307692307692308, 'translation_length': 45, 'reference_length': 26} Rouge: {'rouge1': 0.6666666666666667, 'rouge2': 0.5245901639344263, 'rougeL': 0.47619047619047616, 'rougeLsum': 0.6349206349206348} Sari: {'sari': 26.65702439861671} Flesh Reading Ease: 59.2 ---------------------------------------- Source: ['Hier kooperiert ein Verein der Bundesliga oder 2. Bundesliga mit lokalen Bildungsträgern, Initiativen oder auch Amateurvereinen.'] Prediction: ['Die Bundesliga ist ein Verein der Bundesliga oder 2.\nBundesliga mit lokalen Bildungsträgern, Initiativen oder auch Amateurvereinen.\nDie Partie ist ein Verein der Bundesliga oder 2.\nBundesliga mit lokalen Bildungsträgern, Initiativen oder auch Amateurvereinen.'] Label: [['Hier kooperiert ein Verein der Bundesliga oder 2.\nBundesliga mit Partnern wie Bildungsträgern oder Amateurvereinen.']] Sacrebleu: {'score': 21.756113121575748, 'counts': [13, 9, 7, 6], 'totals': [40, 39, 38, 37], 'precisions': [32.5, 23.076923076923077, 18.42105263157895, 16.216216216216218], 'bp': 1.0, 'sys_len': 40, 'ref_len': 17} Bleu: {'bleu': 0.21756113121575746, 'precisions': [0.325, 0.23076923076923078, 0.18421052631578946, 0.16216216216216217], 'brevity_penalty': 1.0, 'length_ratio': 2.3529411764705883, 'translation_length': 40, 'reference_length': 17} Rouge: {'rouge1': 0.46153846153846156, 'rouge2': 0.32, 'rougeL': 0.46153846153846156, 'rougeLsum': 0.46153846153846156} Sari: {'sari': 21.488225629791895} Flesh Reading Ease: 42.8 ---------------------------------------- Source: ['Es gibt Trainingsangebote oder regelmäßige Fußballturniere.'] Prediction: ['Fussballturniere sind in der Schweiz nicht mehr aufgefordert.\nSie werden nur noch nicht mehr aufgefordert.\nSie werden auch auf den Trainingsangebote oder regelmäßige Turniere ausgegeben.'] Label: [['Es gibt Fußballtraining oder regelmäßige Fußballturniere.']] Sacrebleu: {'score': 2.955622941561161, 'counts': [3, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [10.714285714285714, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.10714285714285714, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 28, 'reference_length': 7} Rouge: {'rouge1': 0.17142857142857146, 'rouge2': 0.12121212121212122, 'rougeL': 0.17142857142857146, 'rougeLsum': 0.17142857142857146} Sari: {'sari': 20.277777777777782} Flesh Reading Ease: 54.7 ---------------------------------------- Source: ['Seit Herbst 2015 können Kinder von Flüchtlingen zwischen acht und 14 Jahren an einem wöchentlichen Training teilnehmen.'] Prediction: ['Seit Herbst 2015 können Kinder von Flüchtlingen zwischen acht und 14 Jahren an einem wöchentlichen Training teilnehmen.\nSeit Herbst 2015 können Kinder von Flüchtlingen an einem wöchentlichen Training teilnehmen.'] Label: [['Seit Herbst 2015 können Kinder von Flüchtlingen zwischen acht und 14 Jahren jede Woche an einem Training teilnehmen.']] Sacrebleu: {'score': 42.02844224346278, 'counts': [17, 14, 11, 9], 'totals': [31, 30, 29, 28], 'precisions': [54.83870967741935, 46.666666666666664, 37.93103448275862, 32.142857142857146], 'bp': 1.0, 'sys_len': 31, 'ref_len': 19} Bleu: {'bleu': 0.42028442243462777, 'precisions': [0.5483870967741935, 0.4666666666666667, 0.3793103448275862, 0.32142857142857145], 'brevity_penalty': 1.0, 'length_ratio': 1.631578947368421, 'translation_length': 31, 'reference_length': 19} Rouge: {'rouge1': 0.6545454545454545, 'rouge2': 0.5660377358490566, 'rougeL': 0.6545454545454545, 'rougeLsum': 0.6545454545454545} Sari: {'sari': 61.995576605791655} Flesh Reading Ease: 60.2 ---------------------------------------- Source: ['Sie kicken gemeinsam mit Kindern eines Partnervereins des 1. FC Köln.'] Prediction: ['Die Schweizer Frauen sind mit Kindern eines Partnervereins des 1.\nFC Köln.\nSie wurde mit Kindern eines Partnervereins verkündet.\nSie war mit Kindern eines 1.\nFC Köln gemeinsam mit Kindern eines Partnervereins.'] Label: [['Sie spielen gemeinsam mit Kindern eines Partnervereins des 1.\nFC Köln.']] Sacrebleu: {'score': 27.17162668121463, 'counts': [12, 10, 9, 8], 'totals': [37, 36, 35, 34], 'precisions': [32.432432432432435, 27.77777777777778, 25.714285714285715, 23.529411764705884], 'bp': 1.0, 'sys_len': 37, 'ref_len': 13} Bleu: {'bleu': 0.27171626681214645, 'precisions': [0.32432432432432434, 0.2777777777777778, 0.2571428571428571, 0.23529411764705882], 'brevity_penalty': 1.0, 'length_ratio': 2.8461538461538463, 'translation_length': 37, 'reference_length': 13} Rouge: {'rouge1': 0.4680851063829787, 'rouge2': 0.39999999999999997, 'rougeL': 0.3829787234042553, 'rougeLsum': 0.4680851063829787} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Bei der Initiative engagieren sich auch 180 deutsche Unternehmen für eine Integration von Flüchtlingen in den deutschen Arbeitsmarkt.'] Prediction: ['180 deutsche Unternehmen sind bei der Initiative für eine Integration von Flüchtlingen in den deutschen Arbeitsmarkt.\nSie haben sich bei der Initiative für eine Integration von Flüchtlingen in den deutschen Arbeitsmarkt gegeben.'] Label: [['Es beteiligen sich auch 180 deutsche Unternehmen.\nSie engagieren sich für die Integration von Flüchtlingen in den deutschen Arbeitsmarkt.']] Sacrebleu: {'score': 26.206781850907316, 'counts': [15, 10, 7, 5], 'totals': [34, 33, 32, 31], 'precisions': [44.11764705882353, 30.303030303030305, 21.875, 16.129032258064516], 'bp': 1.0, 'sys_len': 34, 'ref_len': 21} Bleu: {'bleu': 0.2620678185090731, 'precisions': [0.4411764705882353, 0.30303030303030304, 0.21875, 0.16129032258064516], 'brevity_penalty': 1.0, 'length_ratio': 1.619047619047619, 'translation_length': 34, 'reference_length': 21} Rouge: {'rouge1': 0.5263157894736842, 'rouge2': 0.36363636363636365, 'rougeL': 0.5263157894736842, 'rougeLsum': 0.5263157894736842} Sari: {'sari': 43.694486420299114} Flesh Reading Ease: 47.0 ---------------------------------------- Source: ['Besonders lange und vielseitig frühstücken die Deutschen am Wochenende – sie lieben ihr „Sonntagsfrühstück“.'] Prediction: ['Am Wochenende wurde die deutsche Staatsanwaltschaft in Deutschland verraten.\nDie Deutschen haben ihr "Sonntagsfrühstück" gemacht.\nDie beiden waren am Wochenende in der Nacht auf Sonntagabend auf Sonntagabend geschützt.'] Label: [['Besonders lange frühstücken die Deutschen am Wochenende.\nSie lieben ihr „Sonntagsfrühstück“.']] Sacrebleu: {'score': 3.072311854373273, 'counts': [7, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [21.21212121212121, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.21212121212121213, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5384615384615383, 'translation_length': 33, 'reference_length': 13} Rouge: {'rouge1': 0.34782608695652173, 'rouge2': 0.22727272727272724, 'rougeL': 0.26086956521739135, 'rougeLsum': 0.34782608695652173} Sari: {'sari': 24.878593628593627} Flesh Reading Ease: 53.7 ---------------------------------------- Source: ['69 Prozent der Deutschen wünschen sich bei einem ausgiebigen Sonntagsfrühstück ein Ei.'] Prediction: ['Die Schweiz hat einen ausgiebigen Sonntagsfrühstück eingestuft.\nIm Deutschland wünschen sich 70 Prozent der Deutschen ein Ei.'] Label: [['69 Prozent der Deutschen wünschen sich beim Sonntagsfrühstück ein Ei.']] Sacrebleu: {'score': 14.830451601748624, 'counts': [9, 5, 2, 0], 'totals': [19, 18, 17, 16], 'precisions': [47.36842105263158, 27.77777777777778, 11.764705882352942, 3.125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.47368421052631576, 0.2777777777777778, 0.11764705882352941, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7272727272727273, 'translation_length': 19, 'reference_length': 11} Rouge: {'rouge1': 0.6666666666666667, 'rouge2': 0.4516129032258065, 'rougeL': 0.30303030303030304, 'rougeLsum': 0.4848484848484849} Sari: {'sari': 36.97089947089947} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['Ein Brötchen ist ein kleines Brot, es kann aus Weißmehl oder Vollkorn bestehen oder auch süß sein.'] Prediction: ['Ein Brötchen ist ein kleines Brot.\nEs kann aus Weißmehl oder Vollkorn bestehen oder auch süß sein.\nDas ist ein kleines Brot.'] Label: [['Ein Brötchen ist ein kleines Brot.\nEs kann aus Weißmehl oder Vollkorn bestehen oder auch süß sein.']] Sacrebleu: {'score': 74.40006427141951, 'counts': [19, 18, 17, 16], 'totals': [25, 24, 23, 22], 'precisions': [76.0, 75.0, 73.91304347826087, 72.72727272727273], 'bp': 1.0, 'sys_len': 25, 'ref_len': 19} Bleu: {'bleu': 0.7440006427141954, 'precisions': [0.76, 0.75, 0.7391304347826086, 0.7272727272727273], 'brevity_penalty': 1.0, 'length_ratio': 1.3157894736842106, 'translation_length': 25, 'reference_length': 19} Rouge: {'rouge1': 0.8837209302325582, 'rouge2': 0.878048780487805, 'rougeL': 0.8837209302325582, 'rougeLsum': 0.8837209302325582} Sari: {'sari': 83.33333333333334} Flesh Reading Ease: 96.65 ---------------------------------------- Source: ['Liest man die Statistiken, so wird Müsli immer beliebter, jedenfalls wenn man den Umsatz betrachtet:'] Prediction: ['Einige Statistiker sind immer beliebt, wenn sie den Umsatz betrachtet.\nDie Statistiken sind liest man die Statistiken, so wird Müsli immer beliebter, jedenfalls wenn man den Umsatz betrachtet.'] Label: [['Müsli wird immer beliebter, wenn man den Umsatz betrachtet:']] Sacrebleu: {'score': 15.452910528400496, 'counts': [10, 7, 4, 2], 'totals': [33, 32, 31, 30], 'precisions': [30.303030303030305, 21.875, 12.903225806451612, 6.666666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 11} Bleu: {'bleu': 0.15452910528400496, 'precisions': [0.30303030303030304, 0.21875, 0.12903225806451613, 0.06666666666666667], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 33, 'reference_length': 11} Rouge: {'rouge1': 0.5128205128205129, 'rouge2': 0.3243243243243243, 'rougeL': 0.4615384615384615, 'rougeLsum': 0.4615384615384615} Sari: {'sari': 16.777151230668622} Flesh Reading Ease: 54.85 ---------------------------------------- Source: ['Sieben Jahre zuvor lag der Umsatz noch bei 275 Millionen Euro.'] Prediction: ['Der Umsatz der Schweizer Grenze hat einen grossen Umsatz von 275 Millionen Euro.\nDie Umsätze der Schweizer Grenze sind noch nicht mehr.\nDie Umsätze sind noch nicht mehr.'] Label: [['Sieben Jahre zuvor lag der Umsatz bei 275 Millionen Euro.']] Sacrebleu: {'score': 8.30932758331526, 'counts': [6, 3, 2, 1], 'totals': [31, 30, 29, 28], 'precisions': [19.35483870967742, 10.0, 6.896551724137931, 3.5714285714285716], 'bp': 1.0, 'sys_len': 31, 'ref_len': 11} Bleu: {'bleu': 0.08309327583315261, 'precisions': [0.1935483870967742, 0.1, 0.06896551724137931, 0.03571428571428571], 'brevity_penalty': 1.0, 'length_ratio': 2.8181818181818183, 'translation_length': 31, 'reference_length': 11} Rouge: {'rouge1': 0.25, 'rouge2': 0.15789473684210528, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 26.83786121286121} Flesh Reading Ease: 82.95 ---------------------------------------- Source: ['Erfunden wurde es vor über 100 Jahren in der Schweiz von Dr. Bircher-Benner, der eine „Apfeldiätspeise“ für seine Patienten entwickelt hat.'] Prediction: ['Eine Apfeldiätspeise für seine Patienten wurde in der Schweiz entwickelt.\nEs wurde eine "Apfeldiätspeise" entwickelt.\nEs wurde eine "Apfeldiätspeise" für seine Patienten entwickelt.'] Label: [['Erfunden wurde es vor über 100 Jahren in der Schweiz von Dr. Bircher-Benner.\nEr erfand eine „Apfeldiätspeise“ für seine Patienten.']] Sacrebleu: {'score': 9.043840764552035, 'counts': [11, 4, 2, 0], 'totals': [30, 29, 28, 27], 'precisions': [36.666666666666664, 13.793103448275861, 7.142857142857143, 1.8518518518518519], 'bp': 1.0, 'sys_len': 30, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.36666666666666664, 0.13793103448275862, 0.07142857142857142, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3043478260869565, 'translation_length': 30, 'reference_length': 23} Rouge: {'rouge1': 0.47058823529411764, 'rouge2': 0.32653061224489793, 'rougeL': 0.4313725490196078, 'rougeLsum': 0.4313725490196078} Sari: {'sari': 19.845422995324615} Flesh Reading Ease: 37.75 ---------------------------------------- Source: ['Heute kennen die Varianten keine Grenzen, es gibt unendlich viele Fertigmischungen zu kaufen.'] Prediction: ['Die Grenzen in der Schweiz sind unendlich viele Fertigmischungen zu kaufen.\nDie Grenzen kennen keine Grenzen, es gibt unendlich viele Fertigmischungen zu kaufen.'] Label: [['Heute gibt es viele Fertigmischungen zu kaufen.']] Sacrebleu: {'score': 14.710052131359536, 'counts': [7, 4, 3, 2], 'totals': [26, 25, 24, 23], 'precisions': [26.923076923076923, 16.0, 12.5, 8.695652173913043], 'bp': 1.0, 'sys_len': 26, 'ref_len': 8} Bleu: {'bleu': 0.14710052131359536, 'precisions': [0.2692307692307692, 0.16, 0.125, 0.08695652173913043], 'brevity_penalty': 1.0, 'length_ratio': 3.25, 'translation_length': 26, 'reference_length': 8} Rouge: {'rouge1': 0.4, 'rouge2': 0.21428571428571427, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 46.98412698412698} Flesh Reading Ease: 57.35 ---------------------------------------- Source: ['Aber die Zutaten sind immer Getreide wie Haferflocken. Hinzu kommen Trockenobst und Nüsse.'] Prediction: ['Die Zutaten sind immer Getreide wie Haferflocken.\nTrockenobst und Nüsse kommen aufgrund der Hafer-Zutaten.\nTrockenobst und Nüsse kommen aufgrund der Hafer-Zutaten immer Getreide wie Trockenobst und Trockenobst.'] Label: [['Aber die Zutaten sind immer Getreide wie Haferflocken, hinzu kommen Trockenobst und Nüsse.']] Sacrebleu: {'score': 20.4708197395452, 'counts': [11, 7, 5, 3], 'totals': [30, 29, 28, 27], 'precisions': [36.666666666666664, 24.137931034482758, 17.857142857142858, 11.11111111111111], 'bp': 1.0, 'sys_len': 30, 'ref_len': 15} Bleu: {'bleu': 0.2047081973954519, 'precisions': [0.36666666666666664, 0.2413793103448276, 0.17857142857142858, 0.1111111111111111], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 30, 'reference_length': 15} Rouge: {'rouge1': 0.5333333333333333, 'rouge2': 0.41860465116279066, 'rougeL': 0.5333333333333333, 'rougeLsum': 0.48888888888888893} Sari: {'sari': 32.91662104101834} Flesh Reading Ease: 42.3 ---------------------------------------- Source: ['Fast hätte „Toni Erdmann“ es geschafft: Die tragisch-komische Geschichte einer Vater-Tochter Beziehung war für die Goldene Palme in Cannes (2016) und den Oscar (2017) nominiert.'] Prediction: ['Toni Erdmann (24) ist eine tragisch-komische Geschichte für die Goldene Palme in Cannes (2016) und den Oscar (2017) nominiert.\nDie tragisch-komische Geschichte einer Vater-Tochter Beziehung war für die Goldene Palme in Cannes (2016) und den Oscar (2017) nominiert.\nDie tragisch-komische Geschichte einer Vater-Tochter Beziehung war für die Goldene Palme in Cannes (2016) und den Oscar (2017) nominiert.'] Label: [['Der Film „Toni Erdmann“, eine tragisch-komische Geschichte über einen Vater und seine Tochter, war für die Goldene Palme in Cannes (2016) und für den Oscar (2017) nominiert.']] Sacrebleu: {'score': 22.791969512731956, 'counts': [23, 18, 15, 12], 'totals': [74, 73, 72, 71], 'precisions': [31.08108108108108, 24.65753424657534, 20.833333333333332, 16.901408450704224], 'bp': 1.0, 'sys_len': 74, 'ref_len': 34} Bleu: {'bleu': 0.22791969512731958, 'precisions': [0.3108108108108108, 0.2465753424657534, 0.20833333333333334, 0.16901408450704225], 'brevity_penalty': 1.0, 'length_ratio': 2.176470588235294, 'translation_length': 74, 'reference_length': 34} Rouge: {'rouge1': 0.5263157894736842, 'rouge2': 0.3655913978494624, 'rougeL': 0.5052631578947369, 'rougeLsum': 0.4631578947368421} Sari: {'sari': 58.92057149987636} Flesh Reading Ease: 49.85 ---------------------------------------- Source: ['FilmNach einer Studie des Bundeswirtschaftsministeriums (BMWI) erwirtschaftet die deutsche Filmindustrie 13,6 Milliarden Euro im Jahr und sie beschäftigt 161.000 Menschen.'] Prediction: ['Die deutsche Filmindustrie erwirtschaftet 13,6 Milliarden Euro im Jahr.\nDie deutsche Filmindustrie beschäftigt 161.000 Menschen.\nDie deutsche Filmindustrie erwirtschaftet 13,6 Milliarden Euro im Jahr und sie beschäftigt 161.000 Menschen.'] Label: [['FilmNach einer Studie des Bundeswirtschaftsministeriums (BMWI) erwirtschaftet die deutsche Filmindustrie 13,6 Milliarden Euro im Jahr - das ist die Bruttowertschöpfung.\nIn dieser Branche arbeiten 161.000 Menschen.']] Sacrebleu: {'score': 16.7045425494737, 'counts': [12, 7, 4, 2], 'totals': [32, 31, 30, 29], 'precisions': [37.5, 22.580645161290324, 13.333333333333334, 6.896551724137931], 'bp': 1.0, 'sys_len': 32, 'ref_len': 30} Bleu: {'bleu': 0.167045425494737, 'precisions': [0.375, 0.22580645161290322, 0.13333333333333333, 0.06896551724137931], 'brevity_penalty': 1.0, 'length_ratio': 1.0666666666666667, 'translation_length': 32, 'reference_length': 30} Rouge: {'rouge1': 0.4444444444444445, 'rouge2': 0.29508196721311475, 'rougeL': 0.41269841269841273, 'rougeLsum': 0.38095238095238093} Sari: {'sari': 14.87900987900988} Flesh Reading Ease: 41.6 ---------------------------------------- Source: ['Denn sie hat große wirtschaftliche Bedeutung.'] Prediction: ['Eine Frau hat große wirtschaftliche Bedeutung.\nSie hat große wirtschaftliche Bedeutung.'] Label: [['Die Filmindustrie hat eine große wirtschaftliche Bedeutung.']] Sacrebleu: {'score': 20.448007360218387, 'counts': [5, 3, 2, 1], 'totals': [13, 12, 11, 10], 'precisions': [38.46153846153846, 25.0, 18.181818181818183, 10.0], 'bp': 1.0, 'sys_len': 13, 'ref_len': 8} Bleu: {'bleu': 0.2044800736021839, 'precisions': [0.38461538461538464, 0.25, 0.18181818181818182, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 1.625, 'translation_length': 13, 'reference_length': 8} Rouge: {'rouge1': 0.5714285714285714, 'rouge2': 0.3157894736842105, 'rougeL': 0.4761904761904762, 'rougeLsum': 0.4761904761904762} Sari: {'sari': 60.21464646464647} Flesh Reading Ease: 45.8 ---------------------------------------- Source: ['Jeder Euro Wertschöpfung, der aus der Filmwirtschaft kommt, bedeutet zusätzlich 1,60 Euro an Wertschöpfung in der gesamten Volkswirtschaft.'] Prediction: ['Die Filmwirtschaft kommt zusätzlich 1,60 Euro an Wertschöpfung.\nDie Filmwirtschaft kommt zusätzlich 1,60 Euro an Wertschöpfung.\nDie Filmwirtschaft kommt zusätzlich 1,60 Euro an Wertschöpfung.'] Label: [['Denn jeder Euro Wertschöpfung, der aus der Filmwirtschaft kommt, bedeutet zusätzlich 1,60 Euro an Wertschöpfung in der gesamten Volkswirtschaft.']] Sacrebleu: {'score': 16.336470131023155, 'counts': [10, 5, 3, 2], 'totals': [27, 26, 25, 24], 'precisions': [37.03703703703704, 19.23076923076923, 12.0, 8.333333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 22} Bleu: {'bleu': 0.16336470131023162, 'precisions': [0.37037037037037035, 0.19230769230769232, 0.12, 0.08333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.2272727272727273, 'translation_length': 27, 'reference_length': 22} Rouge: {'rouge1': 0.4642857142857143, 'rouge2': 0.3333333333333333, 'rougeL': 0.4642857142857143, 'rougeLsum': 0.35714285714285715} Sari: {'sari': 12.64907135874878} Flesh Reading Ease: 60.85 ---------------------------------------- Source: ['Das ist zum Beispiel die Verwertung der Filme außerhalb der Kinos, etwa auf DVD oder über die Filmfestspiele wie der Berlinale.'] Prediction: ['Die Kinos werden am Freitagabend für die Berlinale ein grosses Format veröffentlicht.\nDas ist zum Beispiel die Verwertung der Filme außerhalb der Kinos, etwa auf DVD oder über die Filmfestspiele wie der Berlinale.'] Label: [['Das ist zum Beispiel die Verwertung der Filme außerhalb der Kinos, etwa auf DVD.\nEs gibt mehrere bekannte Filmfestspiele wie die Berlinale.']] Sacrebleu: {'score': 44.55098936943481, 'counts': [21, 17, 13, 12], 'totals': [36, 35, 34, 33], 'precisions': [58.333333333333336, 48.57142857142857, 38.23529411764706, 36.36363636363637], 'bp': 1.0, 'sys_len': 36, 'ref_len': 25} Bleu: {'bleu': 0.44550989369434807, 'precisions': [0.5833333333333334, 0.4857142857142857, 0.38235294117647056, 0.36363636363636365], 'brevity_penalty': 1.0, 'length_ratio': 1.44, 'translation_length': 36, 'reference_length': 25} Rouge: {'rouge1': 0.6440677966101694, 'rouge2': 0.5614035087719298, 'rougeL': 0.6101694915254238, 'rougeLsum': 0.6440677966101694} Sari: {'sari': 61.58418615078386} Flesh Reading Ease: 58.2 ---------------------------------------- Source: ['Es profitieren zum Beispiel die Gastronomie und der Einzelhandel.'] Prediction: ['Die Gastronomie und der Einzelhandel profitieren zum Beispiel die Gastronomie und der Einzelhandel.\nDie Gastronomie und der Einzelhandel profitieren zum Beispiel die Gastronomie und der Einzelhandel.'] Label: [['Es profitieren die Gastronomie und der Einzelhandel.']] Sacrebleu: {'score': 17.098323692758395, 'counts': [7, 5, 4, 3], 'totals': [28, 27, 26, 25], 'precisions': [25.0, 18.51851851851852, 15.384615384615385, 12.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 8} Bleu: {'bleu': 0.17098323692758394, 'precisions': [0.25, 0.18518518518518517, 0.15384615384615385, 0.12], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 28, 'reference_length': 8} Rouge: {'rouge1': 0.36363636363636365, 'rouge2': 0.25806451612903225, 'rougeL': 0.36363636363636365, 'rougeLsum': 0.36363636363636365} Sari: {'sari': 49.43128766658179} Flesh Reading Ease: 26.6 ---------------------------------------- Source: ['Deutschland ist auch bekannt für seine Filmtechnik.'] Prediction: ['Die Schweizer Filmtechnik ist bekannt für seine Filmtechnik.\nDie Schweizer Filmtechnik ist auch bekannt für seine Filmtechnik.'] Label: [['Deutschland ist außerdem bekannt für seine Filmtechnik.']] Sacrebleu: {'score': 19.835441454182888, 'counts': [6, 4, 3, 2], 'totals': [19, 18, 17, 16], 'precisions': [31.57894736842105, 22.22222222222222, 17.647058823529413, 12.5], 'bp': 1.0, 'sys_len': 19, 'ref_len': 8} Bleu: {'bleu': 0.1983544145418289, 'precisions': [0.3157894736842105, 0.2222222222222222, 0.17647058823529413, 0.125], 'brevity_penalty': 1.0, 'length_ratio': 2.375, 'translation_length': 19, 'reference_length': 8} Rouge: {'rouge1': 0.42857142857142855, 'rouge2': 0.30769230769230765, 'rougeL': 0.42857142857142855, 'rougeLsum': 0.42857142857142855} Sari: {'sari': 41.67568542568542} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['Viele Spezialtechniken aus den Produktionen werden auch in anderen Branchen verwendet. Ein Beispiel sind Spezialkameras, die bei komplizierten medizinischen Eingriffen beste Bilder liefern.'] Prediction: ['Spezialtechniken aus den Produktionen werden auch in anderen Branchen verwendet.\nEin Beispiel sind Spezialkameras, die bei komplizierten medizinischen Eingriffen beste Bilder liefern.'] Label: [['Viele Spezialtechniken aus dem Film werden auch in anderen Branchen verwendet, darunter Spezialkameras bei komplizierten medizinischen Operationen.']] Sacrebleu: {'score': 27.274191069381917, 'counts': [14, 8, 5, 3], 'totals': [25, 24, 23, 22], 'precisions': [56.0, 33.333333333333336, 21.73913043478261, 13.636363636363637], 'bp': 1.0, 'sys_len': 25, 'ref_len': 19} Bleu: {'bleu': 0.27274191069381915, 'precisions': [0.56, 0.3333333333333333, 0.21739130434782608, 0.13636363636363635], 'brevity_penalty': 1.0, 'length_ratio': 1.3157894736842106, 'translation_length': 25, 'reference_length': 19} Rouge: {'rouge1': 0.6153846153846153, 'rouge2': 0.4324324324324324, 'rougeL': 0.6153846153846153, 'rougeLsum': 0.6153846153846153} Sari: {'sari': 23.096882764830127} Flesh Reading Ease: 22.75 ---------------------------------------- Source: ['Über Listen haben die Parteien vorher festgelegt, welche Personen sie über die Zweitstimme ins Parlament schicken möchten.'] Prediction: ['Die Parteien haben sich über die Zweitstimme ins Parlament gegen die Stimme gegen die Stimme gegen die Stimme festgelegt.\nDie Parteien haben vorher festgelegt, welche Personen sie über die Zweitstimme ins Parlament schicken möchten.'] Label: [['Die Parteien haben vorher festgelegt, welche Personen sie über die Zweitstimme ins Parlament schicken möchten.']] Sacrebleu: {'score': 43.569668251032134, 'counts': [17, 16, 15, 14], 'totals': [37, 36, 35, 34], 'precisions': [45.945945945945944, 44.44444444444444, 42.857142857142854, 41.1764705882353], 'bp': 1.0, 'sys_len': 37, 'ref_len': 17} Bleu: {'bleu': 0.43569668251032145, 'precisions': [0.4594594594594595, 0.4444444444444444, 0.42857142857142855, 0.4117647058823529], 'brevity_penalty': 1.0, 'length_ratio': 2.176470588235294, 'translation_length': 37, 'reference_length': 17} Rouge: {'rouge1': 0.6274509803921569, 'rouge2': 0.6122448979591837, 'rougeL': 0.6274509803921569, 'rougeLsum': 0.6274509803921569} Sari: {'sari': 74.25722425722427} Flesh Reading Ease: 51.85 ---------------------------------------- Source: ['Ob Angela Merkel zum vierten Mal als Bundeskanzlerin gewählt wird oder ob Martin Schulz, ihr Herausforderer, gewinnt, das entscheiden die Bürger nur indirekt.'] Prediction: ['Die Bürger sind nicht nur indirekt.\nSie wollen sich nur eine neue Partie auf die EU-Bundeskanzlerin gewählt werden.\nDie Bürger sind nur eine Partie, die sie sind nur eine Partie, sondern eine Partie der Schweiz.'] Label: [['Wird Angela Merkel zum vierten Mal als Bundeskanzlerin gewählt?\nOder wird Martin Schulz gewinnen?\nDas entscheiden die Bürger nur indirekt.']] Sacrebleu: {'score': 4.066870399856363, 'counts': [6, 2, 1, 0], 'totals': [40, 39, 38, 37], 'precisions': [15.0, 5.128205128205129, 2.6315789473684212, 1.3513513513513513], 'bp': 1.0, 'sys_len': 40, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.05128205128205128, 0.02631578947368421, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7391304347826086, 'translation_length': 40, 'reference_length': 23} Rouge: {'rouge1': 0.2622950819672131, 'rouge2': 0.1694915254237288, 'rougeL': 0.2295081967213115, 'rougeLsum': 0.2622950819672131} Sari: {'sari': 24.90830455184675} Flesh Reading Ease: 74.7 ---------------------------------------- Source: ['Erst die gewählten Mitglieder des Bundestages stimmen dann für den Bundeskanzler oder die Kanzlerin. Insgesamt 42 Parteien nehmen an der Wahl 2017 teil.'] Prediction: ['42 Parteien nehmen an der Wahl 2017 teil.\nInsgesamt 42 Parteien nehmen an der Wahl 2017 teil.'] Label: [['Erst die gewählten Mitglieder des Bundestages stimmen dann für den Bundeskanzler oder die Kanzlerin.42 Parteien nehmen an der Wahl 2017 teil.']] Sacrebleu: {'score': 33.50796439305594, 'counts': [10, 8, 7, 6], 'totals': [19, 18, 17, 16], 'precisions': [52.63157894736842, 44.44444444444444, 41.1764705882353, 37.5], 'bp': 0.7686205265937358, 'sys_len': 19, 'ref_len': 24} Bleu: {'bleu': 0.33507964393055945, 'precisions': [0.5263157894736842, 0.4444444444444444, 0.4117647058823529, 0.375], 'brevity_penalty': 0.7686205265937356, 'length_ratio': 0.7916666666666666, 'translation_length': 19, 'reference_length': 24} Rouge: {'rouge1': 0.39024390243902435, 'rouge2': 0.358974358974359, 'rougeL': 0.39024390243902435, 'rougeLsum': 0.39024390243902435} Sari: {'sari': 26.901692080653234} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['Die wichtigsten Parteien sind CDU/CSU, SPD, Bündnis 90/Die Grünen und die FDP.Noch Der Wahlkampf ist ein Kampf um die Stimmen der Wähler.'] Prediction: ['Die wichtigsten Parteien sind CDU/CSU, SPD, Bündnis 90/Die Grünen und die FDP.\nNoch Der Wahlkampf ist ein Kampf um die Stimmen der Wähler.'] Label: [['Die wichtigsten Parteien sind CDU/CSU, SPD, Bündnis 90/Die Grünen und die FDP.Der Wahlkampf ist ein Kampf um die Stimmen der Wähler.']] Sacrebleu: {'score': 91.27592114472296, 'counts': [30, 28, 26, 24], 'totals': [31, 30, 29, 28], 'precisions': [96.7741935483871, 93.33333333333333, 89.65517241379311, 85.71428571428571], 'bp': 1.0, 'sys_len': 31, 'ref_len': 30} Bleu: {'bleu': 0.9127592114472296, 'precisions': [0.967741935483871, 0.9333333333333333, 0.896551724137931, 0.8571428571428571], 'brevity_penalty': 1.0, 'length_ratio': 1.0333333333333334, 'translation_length': 31, 'reference_length': 30} Rouge: {'rouge1': 0.9818181818181818, 'rouge2': 0.9433962264150944, 'rougeL': 0.9818181818181818, 'rougeLsum': 0.9818181818181818} Sari: {'sari': 73.43976761805081} Flesh Reading Ease: 80.75 ---------------------------------------- Source: ['Gott sah, dass es gut war.'] Prediction: ['Die Schweizer Welt ist ein Paar, der sich mit dem Mann auf dem Königstück geschlossen hat.\nDie Schweizer Welt ist ein Paar, der sich mit dem Mann auf dem Königstück geschlossen hat.\nDie Schweizer Welt ist ein Paar, der sich mit dem Mann auf dem Königstück geschlossen hat.'] Label: [['Gott sah: Das ist gut.']] Sacrebleu: {'score': 0.8010354164744189, 'counts': [2, 0, 0, 0], 'totals': [54, 53, 52, 51], 'precisions': [3.7037037037037037, 0.9433962264150944, 0.4807692307692308, 0.24509803921568626], 'bp': 1.0, 'sys_len': 54, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.037037037037037035, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.714285714285714, 'translation_length': 54, 'reference_length': 7} Rouge: {'rouge1': 0.03389830508474576, 'rouge2': 0.0, 'rougeL': 0.03389830508474576, 'rougeLsum': 0.03389830508474576} Sari: {'sari': 48.346560846560834} Flesh Reading Ease: 87.95 ---------------------------------------- Source: ['Dann trennte Gott zwischen die Helligkeit und von der Finsternis.'] Prediction: ['Die Welt ist ein grosser Gott.\nDas ist der erste Gott im Alter von 99 Jahren.\nDie Welt ist ein grosser Gott.'] Label: [['Dann trennte Gott das Licht und die Dunkelheit.']] Sacrebleu: {'score': 1.7911710595643588, 'counts': [2, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [8.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.08, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7777777777777777, 'translation_length': 25, 'reference_length': 9} Rouge: {'rouge1': 0.19999999999999998, 'rouge2': 0.07142857142857142, 'rougeL': 0.19999999999999998, 'rougeLsum': 0.06666666666666667} Sari: {'sari': 40.73491323491324} Flesh Reading Ease: 102.5 ---------------------------------------- Source: ['Da entstand Helligkeit.'] Prediction: ['Die Schweizer Welt ist auf der Suche nach dem Coronavirus gestorben.\nDa entstand Helligkeit, wurde der Virus aufgefunden.\nDie Schweizer Welt ist nicht bekannt, sondern auch auch auch auch auch auf der Suche.'] Label: [['Und es wurde hell.']] Sacrebleu: {'score': 1.1524538390587937, 'counts': [2, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [5.2631578947368425, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.05263157894736842, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.6, 'translation_length': 38, 'reference_length': 5} Rouge: {'rouge1': 0.054054054054054064, 'rouge2': 0.0, 'rougeL': 0.054054054054054064, 'rougeLsum': 0.054054054054054064} Sari: {'sari': 45.72463768115942} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['Gott nannte die Helligkeit „Tag “, die Finsternis aber nannte er „Nacht “.'] Prediction: ['Die "Tag"-Staffel wurde am Freitagabend von 20 Minuten auf dem 20.\nSwiss TV auf dem 20.\nDezember bekannt.\nDie beiden waren nach dem Finsternis nach dem Tag über den Schweizerin geschlossen.\nDie beiden waren nach dem Finsternis nach dem Tag geschlossen.'] Label: [['Und Gott nannte das Licht Tag.\nUnd Gott nannte die Dunkelheit Nacht.']] Sacrebleu: {'score': 0.9798555761147508, 'counts': [3, 0, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [6.122448979591836, 1.0416666666666667, 0.5319148936170213, 0.2717391304347826], 'bp': 1.0, 'sys_len': 49, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.061224489795918366, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 49, 'reference_length': 14} Rouge: {'rouge1': 0.07407407407407407, 'rouge2': 0.0, 'rougeL': 0.07407407407407407, 'rougeLsum': 0.07407407407407407} Sari: {'sari': 42.28225478225478} Flesh Reading Ease: 76.1 ---------------------------------------- Source: ['Gott nannte das Trockene „Erde “ und den Ort des Wassers nannte er „Meer “.'] Prediction: ['Ein junger Mann wurde im Alter von 99 Jahren verletzt.\nEr wurde dabei von einem Trocken aufgefunden.\nEr wurde dabei von einem Wassern entdeckt.'] Label: [['Gott sagte: Die trockene Stelle nenne ich Erde.\nUnd Gott sagte: Das Wasser nenne ich Meer.']] Sacrebleu: {'score': 1.6504045595709425, 'counts': [2, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [7.407407407407407, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.07407407407407407, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.35, 'translation_length': 27, 'reference_length': 20} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 57.936507936507944} Flesh Reading Ease: 72.55 ---------------------------------------- Source: ['Gott erschuf die großen Meereslebewesen und all die verschiedenen Lebewesen, die im Wasser schwärmen und all die verschiedenen geflügelten Tiere.'] Prediction: ['Die großen Meereslebewesen, die im Wasser schwärmen, sind immer wieder geflügelt.\nDie großen Meereslebewesen, die im Wasser schwärmen, sind all die verschiedenen geflügelten Tiere.\nDie Tiere sind aufgrund der großen Meereslebewesen, die im Wasser schwärmen.'] Label: [['Und so geschah es: Da gab es große Lebe·wesen im Meer.\nViele Fische und andere Meeres·wesen.\nUnd viele verschiedene Vögel am Himmel.']] Sacrebleu: {'score': 1.205256842736819, 'counts': [4, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [9.30232558139535, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.09302325581395349, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6538461538461537, 'translation_length': 43, 'reference_length': 26} Rouge: {'rouge1': 0.057971014492753624, 'rouge2': 0.0, 'rougeL': 0.057971014492753624, 'rougeLsum': 0.057971014492753624} Sari: {'sari': 34.027777777777786} Flesh Reading Ease: 45.45 ---------------------------------------- Source: ['Im Anfang von Gottes Schöpfung von Himmel und Erde war die Erde nicht und nichts: Dunkelheit war über der Oberfläche der Tiefe und ein Wind Gottes stürmte über der Oberfläche des Wassers.'] Prediction: ['Im Anfang von Gottes Schöpfung von Himmel und Erde ist die Erde nicht und nichts.\nIm Anfang von Gottes Schöpfung von Himmel und Erde war die Erde nicht und nichts.\nIm Anfang von Gottes Schöpfung von Himmel und Erde war die Erde nicht und nichts.'] Label: [['So hat Gott die Welt gemacht: Am Anfang gab es die Erde noch nicht.\nEs gab nur Wasser und Dunkelheit.\nEs war dunkel über dem Wasser.\nGott war ein Sturm.\nDer Sturm fegte über dem Wasser.']] Sacrebleu: {'score': 2.3294227591923544, 'counts': [11, 1, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [22.916666666666668, 2.127659574468085, 1.0869565217391304, 0.5555555555555556], 'bp': 1.0, 'sys_len': 48, 'ref_len': 42} Bleu: {'bleu': 0.0, 'precisions': [0.22916666666666666, 0.02127659574468085, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 48, 'reference_length': 42} Rouge: {'rouge1': 0.1904761904761905, 'rouge2': 0.024390243902439022, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 35.35072447998839} Flesh Reading Ease: 83.1 ---------------------------------------- Source: ['Es wurde Abend und es wurde Morgen: Ein „Tag “.'] Prediction: ['Ein Tag auf dem 20.\nJuni wurde in der Nacht auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Sonntag auf Son'] Label: [['Es wurde Abend.\nUnd es wurde Tag: Der 1.\nTag war zu Ende.']] Sacrebleu: {'score': 0.2535755130800907, 'counts': [3, 0, 0, 0], 'totals': [185, 184, 183, 182], 'precisions': [1.6216216216216217, 0.2717391304347826, 0.1366120218579235, 0.06868131868131869], 'bp': 1.0, 'sys_len': 185, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.016216216216216217, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 10.882352941176471, 'translation_length': 185, 'reference_length': 17} Rouge: {'rouge1': 0.030456852791878174, 'rouge2': 0.0, 'rougeL': 0.02030456852791878, 'rougeLsum': 0.030456852791878174} Sari: {'sari': 37.40530303030303} Flesh Reading Ease: 0.25 ---------------------------------------- Source: ['Es wurde Abend und es wurde Morgen: Ein zweiter Tag.'] Prediction: ['Im Tessin wurde ein zweiter Tag ein zweiter Tag verkündet.\nEs wurde Abend und es wurde Morgen: Ein zweiter Tag.'] Label: [['Es wurde Abend.\nUnd es wurde Morgen: Der 2.\nTag war zu Ende.']] Sacrebleu: {'score': 16.299446731288935, 'counts': [10, 5, 3, 1], 'totals': [23, 22, 21, 20], 'precisions': [43.47826086956522, 22.727272727272727, 14.285714285714286, 5.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 17} Bleu: {'bleu': 0.16299446731288944, 'precisions': [0.43478260869565216, 0.22727272727272727, 0.14285714285714285, 0.05], 'brevity_penalty': 1.0, 'length_ratio': 1.3529411764705883, 'translation_length': 23, 'reference_length': 17} Rouge: {'rouge1': 0.47058823529411764, 'rouge2': 0.37499999999999994, 'rougeL': 0.47058823529411764, 'rougeLsum': 0.47058823529411764} Sari: {'sari': 54.08850408850409} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['Gott nannte das Schalenförmige „Himmel “.'] Prediction: ['Ein Schalenförmige wurde in den vergangenen Tagen von der Polizei verhaftet.\nDie Polizei hatte das Schalenförmige "Himmel “ entdeckt.'] Label: [['Gott sagte: Himmel.']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.4, 'translation_length': 22, 'reference_length': 5} Rouge: {'rouge1': 0.08695652173913045, 'rouge2': 0.0, 'rougeL': 0.08695652173913045, 'rougeLsum': 0.08695652173913045} Sari: {'sari': 50.92592592592592} Flesh Reading Ease: 42.3 ---------------------------------------- Source: ['So geschah es.'] Prediction: ['Die Welt ist eine neue Woche, das in der Schweiz zu kämpfen.\nDie Welt ist eine neue Woche, das in der Schweiz zu kämpfen.\nDie Welt ist eine Woche nicht mehr, sondern auch eine Woche zu kämpfen.'] Label: [['Die Schale ist der Himmel.']] Sacrebleu: {'score': 1.205256842736819, 'counts': [4, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [9.30232558139535, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.09302325581395349, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.166666666666667, 'translation_length': 43, 'reference_length': 6} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 68.93939393939394} Flesh Reading Ease: 91.65 ---------------------------------------- Source: ['Dann sprach Gott: Das Wasser soll sich von unter dem Himmel weg an einen Ort sammeln und Trockenes soll zum Vorschein kommen.'] Prediction: ['Dann sprach Gott: Das Wasser soll sich von unter dem Himmel weg an einen Ort sammeln und Trockenes soll zum Vorschein kommen.\nDas Wasser soll sich von unter dem Himmel weg an einen Ort sammeln und Trockenes soll zum Vorschein kommen.'] Label: [['Da sagte Gott: Das Wasser unter dem Himmel soll sich sammeln.\nDas Wasser soll eine Stelle frei lassen.\nDie Stelle soll trocken sein.']] Sacrebleu: {'score': 14.499467512563468, 'counts': [16, 9, 5, 2], 'totals': [44, 43, 42, 41], 'precisions': [36.36363636363637, 20.930232558139537, 11.904761904761905, 4.878048780487805], 'bp': 1.0, 'sys_len': 44, 'ref_len': 27} Bleu: {'bleu': 0.14499467512563471, 'precisions': [0.36363636363636365, 0.20930232558139536, 0.11904761904761904, 0.04878048780487805], 'brevity_penalty': 1.0, 'length_ratio': 1.6296296296296295, 'translation_length': 44, 'reference_length': 27} Rouge: {'rouge1': 0.40625, 'rouge2': 0.22580645161290322, 'rougeL': 0.34375000000000006, 'rougeLsum': 0.34375000000000006} Sari: {'sari': 48.178913711286846} Flesh Reading Ease: 83.45 ---------------------------------------- Source: ['Es wurde Abend und es wurde Morgen:'] Prediction: ['Im Alter von 99 Jahren wurde es am Freitag zu einem Interview mit dem 20.\nMärz 2020 veröffentlicht.\nIm Interview wurde die Runde von der Leiche nach dem Interview veröffentlicht.\nDie beiden waren im Alter von 99 Jahren gestorben.'] Label: [['Es wurde Abend.\nUnd es wurde Morgen:']] Sacrebleu: {'score': 1.205256842736819, 'counts': [4, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [9.30232558139535, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.09302325581395349, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.777777777777778, 'translation_length': 43, 'reference_length': 9} Rouge: {'rouge1': 0.12244897959183672, 'rouge2': 0.0, 'rougeL': 0.12244897959183672, 'rougeLsum': 0.12244897959183672} Sari: {'sari': 14.353146853146853} Flesh Reading Ease: 70.75 ---------------------------------------- Source: ['Es wurde Abend und es wurde Morgen: Ein dritter Tag.'] Prediction: ['Ein dritter Tag: Es wurde Abend und es wurde Morgen: Ein dritter Tag.\nEs wurde Abend und es wurde Morgen: Ein dritter Tag.'] Label: [['Es wurde Abend.\nUnd es wurde Morgen: Der 3.\nTag war zu Ende.']] Sacrebleu: {'score': 13.217947626377288, 'counts': [10, 5, 3, 1], 'totals': [28, 27, 26, 25], 'precisions': [35.714285714285715, 18.51851851851852, 11.538461538461538, 4.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 17} Bleu: {'bleu': 0.13217947626377288, 'precisions': [0.35714285714285715, 0.18518518518518517, 0.11538461538461539, 0.04], 'brevity_penalty': 1.0, 'length_ratio': 1.6470588235294117, 'translation_length': 28, 'reference_length': 17} Rouge: {'rouge1': 0.4444444444444444, 'rouge2': 0.3529411764705882, 'rougeL': 0.4444444444444444, 'rougeLsum': 0.4444444444444444} Sari: {'sari': 54.08850408850409} Flesh Reading Ease: 86.6 ---------------------------------------- Source: ['Gott machte die beiden großen Lichter: das größere Licht zur Herrschaft über den Tag und das kleinere Licht zur Herrschaft über die Nacht; auch die Sterne.'] Prediction: ['Die beiden großen Lichter machten sich das größere Licht zur Herrschaft über den Tag und das kleinere Licht zur Herrschaft über die Nacht.\nAuch die Sterne.'] Label: [['Gott machte 2 große Lichter: Das große Licht war für den Tag.\nWir nennen das Licht Sonne.\nDas kleine Licht war für die Nacht.\nWir nennen das Licht Mond.\nGott machte auch die Sterne.']] Sacrebleu: {'score': 6.986237484294522, 'counts': [13, 5, 2, 0], 'totals': [28, 27, 26, 25], 'precisions': [46.42857142857143, 18.51851851851852, 7.6923076923076925, 2.0], 'bp': 0.6514390575310556, 'sys_len': 28, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.4642857142857143, 0.18518518518518517, 0.07692307692307693, 0.0], 'brevity_penalty': 0.6514390575310556, 'length_ratio': 0.7, 'translation_length': 28, 'reference_length': 40} Rouge: {'rouge1': 0.3939393939393939, 'rouge2': 0.125, 'rougeL': 0.3939393939393939, 'rougeLsum': 0.3939393939393939} Sari: {'sari': 34.071855817666744} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['Und Gott segnete sie folgendermaßen: „Seid fruchtbar und vermehrt euch und füllt das Wasser im Meer, und die Vögel sollen sich über der Erde vermehren! “'] Prediction: ['Eine der Vögel sollen sich über der Erde vermehren.\nEine der Vögel sollen sich über der Erde vermehren!\nEine der Vögel sollen sich über der Erde vermehren!'] Label: [['Gott segnete alle Lebe·wesen: Seid fruchtbar und vermehrt euch.\nIch möchte viele Tiere im Meer und viele Vögel auf dem Land.']] Sacrebleu: {'score': 1.4763939041893883, 'counts': [2, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [6.666666666666667, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 30, 'reference_length': 24} Rouge: {'rouge1': 0.07407407407407407, 'rouge2': 0.038461538461538464, 'rougeL': 0.07407407407407407, 'rougeLsum': 0.07407407407407407} Sari: {'sari': 28.382789238052393} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Dann sprach Gott: Das Wasser soll schwärmen mit Schwärmen lebendiger Wesen und Vögel sollen über der Erde unter dem Schalenförmigen des Himmels fliegen.'] Prediction: ['Dann sprach Gott: Das Wasser soll schwärmen mit Schwärmen lebendiger Wesen und Vögel fliegen.\nDas Wasser soll schwärmen mit Schwärmen lebendiger Wesen und Vögel fliegen.\nDas Wasser soll schwärmen mit Schwärmen lebendiger Wesen und Vögel unter dem Schalenförmigen des Himmels fliegen.'] Label: [['Gott sagte: Ich möchte Leben im Wasser: Ich möchte Fische·Schwärme.\nUnd ich möchte Vögel am Himmel.']] Sacrebleu: {'score': 1.2724686314753924, 'counts': [6, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [13.333333333333334, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 45, 'reference_length': 20} Rouge: {'rouge1': 0.1643835616438356, 'rouge2': 0.028169014084507043, 'rougeL': 0.1643835616438356, 'rougeLsum': 0.1643835616438356} Sari: {'sari': 37.17948717948718} Flesh Reading Ease: 61.0 ---------------------------------------- Source: ['Dann sprach Gott: Die Erde soll verschiedenste Arten von Lebewesen hervorbringen: Verschiedenste Arten von Vieh, Reptilien und wilden Tieren.'] Prediction: ['Die Erde soll verschiedenste Arten von Lebewesen hervorbringen.\nVerschiedenste Arten von Vieh, Reptilien und wilden Tieren sollen verschiedenste Arten von Lebewesen hervorbringen.\nDie Erde soll verschiedenste Arten von Vieh, Reptilien und wilden Tieren hervorbringen.'] Label: [['Gott sagte: Ich möchte Tiere auf der Erde.\nAlle Arten: • Nutz·tiere, • wilde Tiere und • Reptilien.\n_Reptilien sind zum Beispiel Schlangen.']] Sacrebleu: {'score': 1.6337196277047001, 'counts': [9, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [23.076923076923077, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3, 'translation_length': 39, 'reference_length': 30} Rouge: {'rouge1': 0.17857142857142858, 'rouge2': 0.0, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 33.10931899641577} Flesh Reading Ease: 34.15 ---------------------------------------- Source: ['Gott sah, dass die Helligkeit gut war.'] Prediction: ['Die Helligkeit im Alter von 99 Jahren ist gut.\nDie Vergangenheit ist nicht nur einmal nur einmal nur einmal nur einmal nur einmal einmal einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nur einmal nach dem Vorjahr.\nDie Welt ist eine neue Woche, wie es sich um die Welt geht, wie es sich um die Welt geht.'] Label: [['Gott schaute herum: Und Gott war zufrieden.']] Sacrebleu: {'score': 0.5238546714708301, 'counts': [1, 0, 0, 0], 'totals': [69, 68, 67, 66], 'precisions': [1.4492753623188406, 0.7352941176470589, 0.373134328358209, 0.1893939393939394], 'bp': 1.0, 'sys_len': 69, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.014492753623188406, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.666666666666667, 'translation_length': 69, 'reference_length': 9} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 47.91666666666667} Flesh Reading Ease: 76.8 ---------------------------------------- Source: ['Es wurde Abend und es wurde Morgen: Ein fünfter Tag.'] Prediction: ['Ein fünfter Tag wurde im Alter von 24 Jahren ein fünfter Tag aufgefunden.\nEs wurde ein fünfter Tag: Ein fünfter Tag.'] Label: [['Es wurde Abend.\nUnd es wurde Morgen.\nDer 5.\nTag war zu Ende.']] Sacrebleu: {'score': 4.141141330484801, 'counts': [6, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [25.0, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 1.0, 'sys_len': 24, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.411764705882353, 'translation_length': 24, 'reference_length': 17} Rouge: {'rouge1': 0.2105263157894737, 'rouge2': 0.05555555555555555, 'rougeL': 0.2105263157894737, 'rougeLsum': 0.2105263157894737} Sari: {'sari': 21.044042029957524} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['Gott machte verschiedenste Arten von wilden Tieren, verschiedenste Arten von Vieh und all die verschiedenen Arten von Reptilien.'] Prediction: ['Am Mittwoch wurde der US-Bundesstaat Forteuve von der Stadt Verdacht von Gastonott aufgefunden.\nDer Täter war mit wilden Tieren und verschiedensten Arten von Reptilien.\nDer Täter war mit wilden Tieren und verschiedensten Arten von Reptilien.'] Label: [['Gott machte alle die vielen verschiedenen Tiere.']] Sacrebleu: {'score': 0.969094302009921, 'counts': [1, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [2.6315789473684212, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.02631578947368421, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.75, 'translation_length': 38, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 30.37749287749288} Flesh Reading Ease: 57.15 ---------------------------------------- Source: ['Weiterhin sprach Gott: Die Erde soll auf Erden Grünes grünen lassen: Samen tragendes Getreide und verschiedenste Arten von Frucht tragenden Fruchtbäumen, die deren Früchte ihren Samen in sich haben.'] Prediction: ['Eine Erde soll auf Erden Grünes grünen lassen.\nSamen tragendes Getreide und verschiedenste Arten von Frucht tragenden Fruchtbäumen haben die deren Früchte ihren Samen in sich haben.\nDie Erde soll auf Erden Grünes grünen lassen.'] Label: [['Es ging weiter: Gott sagte: Auf der Erde soll es grün und bunt werden.\nKorn soll wachsen.\nAus dem Korn macht man Brot.\nBäume wachsen, Bäume sollen wachsen.\nAn den Bäumen soll Obst wachsen.']] Sacrebleu: {'score': 2.386150533151745, 'counts': [7, 1, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [18.42105263157895, 2.7027027027027026, 1.3888888888888888, 0.7142857142857143], 'bp': 0.9000876262522591, 'sys_len': 38, 'ref_len': 42} Bleu: {'bleu': 0.0, 'precisions': [0.18421052631578946, 0.02702702702702703, 0.0, 0.0], 'brevity_penalty': 0.9000876262522594, 'length_ratio': 0.9047619047619048, 'translation_length': 38, 'reference_length': 42} Rouge: {'rouge1': 0.17721518987341772, 'rouge2': 0.025974025974025976, 'rougeL': 0.1518987341772152, 'rougeLsum': 0.1518987341772152} Sari: {'sari': 31.450980392156865} Flesh Reading Ease: 57.15 ---------------------------------------- Source: ['Auch allen wilden Tieren, allen Vögeln des Himmels und allen Reptilien, allem das in sich Lebensatem hat, gebe ich alle Pflanzen als Nahrung sein.'] Prediction: ['Ein Himmel hat seine Pflanzen als Nahrung sein.\nAuch allen wilden Tieren, allen Vögeln des Himmels und allen Reptilien, allem das in sich Lebensatem hat, gebe ich alle Pflanzen als Nahrung sein.'] Label: [['Das Korn und das Obst sollen auch für die Tiere sein.\nFür alle wilden Tiere und alle Vögel und alle Reptilien.\nSo geschah es: Alle haben von den Pflanzen gegessen.']] Sacrebleu: {'score': 2.9025207558830606, 'counts': [9, 1, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [24.324324324324323, 2.7777777777777777, 1.4285714285714286, 0.7352941176470589], 'bp': 1.0, 'sys_len': 37, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.24324324324324326, 0.027777777777777776, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.088235294117647, 'translation_length': 37, 'reference_length': 34} Rouge: {'rouge1': 0.2727272727272727, 'rouge2': 0.0, 'rougeL': 0.21212121212121215, 'rougeLsum': 0.21212121212121215} Sari: {'sari': 38.47402597402598} Flesh Reading Ease: 64.55 ---------------------------------------- Source: ['Dann sprach Gott: Ein Schalenförmiges soll inmitten des Wassers entstehen und es soll ein Trenner zwischen Wasser und Wasser sein.'] Prediction: ['Ein Schalenförmiges soll inmitten des Wassers entstehen.\nEin Trenner soll zwischen Wasser und Wasser sein.\nEin Schalenförmiges soll inmitten des Wassers entstehen und es soll ein Trenner zwischen Wasser und Wasser sein.'] Label: [['Da sagte Gott: Ich brauche einen Himmel.\nGott machte die Himmels·Schale.\nDie Schale teilt das Wasser.']] Sacrebleu: {'score': 1.493369524819332, 'counts': [4, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [11.428571428571429, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.11428571428571428, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 35, 'reference_length': 20} Rouge: {'rouge1': 0.03921568627450981, 'rouge2': 0.0, 'rougeL': 0.03921568627450981, 'rougeLsum': 0.03921568627450981} Sari: {'sari': 28.553921568627448} Flesh Reading Ease: 64.0 ---------------------------------------- Source: ['Dann sprach Gott: Lichter sollen am Schalenförmigen des Himmels entstehen, um zwischen den Tag und von der Nacht zu trennen.'] Prediction: ['Am Sonntag wurde ein Schalenförmigen des Himmels in der Nacht entdeckt.\nDie Schalenförmigen sollen am Schalenförmigen entstehen, um zwischen den Tag und von der Nacht zu trennen.\nDie Schalenförmigen sollen am Schalenförmigen entstehen, um zwischen den Tag und von der Nacht zu trennen.'] Label: [['Da sagte Gott: Ich will Lichter am Himmel.\nDie Lichter sollen über der Erde leuchten.\nDann gibt es Tag und Nacht.']] Sacrebleu: {'score': 2.7049400360592184, 'counts': [10, 2, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [20.833333333333332, 4.25531914893617, 1.0869565217391304, 0.5555555555555556], 'bp': 1.0, 'sys_len': 48, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.20833333333333334, 0.0425531914893617, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.92, 'translation_length': 48, 'reference_length': 25} Rouge: {'rouge1': 0.2028985507246377, 'rouge2': 0.029850746268656716, 'rougeL': 0.2028985507246377, 'rougeLsum': 0.2028985507246377} Sari: {'sari': 30.274513039005406} Flesh Reading Ease: 60.4 ---------------------------------------- Source: ['Gott sah, dass es gut war.'] Prediction: ['Die Schweizer Welt ist ein Paar, der sich mit dem Mann auf dem Königstück geschlossen hat.\nDie Schweizer Welt ist ein Paar, der sich mit dem Mann auf dem Königstück geschlossen hat.\nDie Schweizer Welt ist ein Paar, der sich mit dem Mann auf dem Königstück geschlossen hat.'] Label: [['Gott sieht: Das ist gut.']] Sacrebleu: {'score': 0.8010354164744189, 'counts': [2, 0, 0, 0], 'totals': [54, 53, 52, 51], 'precisions': [3.7037037037037037, 0.9433962264150944, 0.4807692307692308, 0.24509803921568626], 'bp': 1.0, 'sys_len': 54, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.037037037037037035, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.714285714285714, 'translation_length': 54, 'reference_length': 7} Rouge: {'rouge1': 0.03389830508474576, 'rouge2': 0.0, 'rougeL': 0.03389830508474576, 'rougeLsum': 0.03389830508474576} Sari: {'sari': 59.76608187134504} Flesh Reading Ease: 87.95 ---------------------------------------- Source: ['Sie sollen über die Fische des Meers und über die Vögel des Himmels und übers Vieh und über die ganze Erde und über alle auf der Erde kriechenden Reptilien herrschen.'] Prediction: ['Sie sollen über die Fische des Meers und über die Vögel des Himmels und über die ganze Erde herrschen.\nSie sollen über die Fische des Meers und über die Vögel des Himmels und über die Vögel des Himmels und über alle auf der Erde kriechenden Reptilien herrschen.'] Label: [['Die Menschen sollen über alle Tiere bestimmen.']] Sacrebleu: {'score': 2.1058466792450905, 'counts': [4, 2, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [8.16326530612245, 4.166666666666667, 1.0638297872340425, 0.5434782608695652], 'bp': 1.0, 'sys_len': 49, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.08163265306122448, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.125, 'translation_length': 49, 'reference_length': 8} Rouge: {'rouge1': 0.14035087719298248, 'rouge2': 0.07272727272727272, 'rougeL': 0.14035087719298248, 'rougeLsum': 0.10526315789473684} Sari: {'sari': 37.366748667486675} Flesh Reading Ease: 74.6 ---------------------------------------- Source: ['Weiterhin sprach Gott: Ich will Menschen als mir ähnliches Bildnis machen!'] Prediction: ['Der Schweizer Gast und die Schweizerin sprach von einer ähnlichen Bildung.\nDas ist ein ähnliches Bildnis.\nDie Schweizerin sprach von einem ähnlichen Bildnis.'] Label: [['Da sagt Gott: Ich will Menschen machen.\nDie Menschen sollen mich auf der Erde vertreten.']] Sacrebleu: {'score': 3.197383344450448, 'counts': [3, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4444444444444444, 'translation_length': 26, 'reference_length': 18} Rouge: {'rouge1': 0.10526315789473685, 'rouge2': 0.0, 'rougeL': 0.052631578947368425, 'rougeLsum': 0.052631578947368425} Sari: {'sari': 23.86868686868687} Flesh Reading Ease: 72.85 ---------------------------------------- Source: ['Gott schuf den Menschen als sein Bildnis, als Gottes Bildnis schuf er ihn, männlich und weiblich schuf er sie.'] Prediction: ['Ein Mann hat einen Bildnis als Gottes Bildnis schuf ihn, männlich und weiblich schuf er sie.\nDas Bildnis ist ein grosser Schutz und weiblich schuf er sie.'] Label: [['Und Gott machtedie Menschen.\nDie Menschen vertraten Gott auf der Erde.\nDie Menschen waren Männer und Frauen.']] Sacrebleu: {'score': 1.633898440122165, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 30, 'reference_length': 20} Rouge: {'rouge1': 0.13043478260869565, 'rouge2': 0.0, 'rougeL': 0.08695652173913043, 'rougeLsum': 0.13043478260869565} Sari: {'sari': 32.63888888888889} Flesh Reading Ease: 90.45 ---------------------------------------- Source: ['Dann segnete Gott sie und Gott sprach zu ihnen: Seid fruchtbar und vermehrt euch; füllt die Erde, unterwerft sie und herrscht über die Fische des Meeres, über die Vögel des Himmels und über alle Reptilien!'] Prediction: ['Eine der besten Meeres wird vom Wohnort in der Schweiz aufgefunden.\nSie hatte sich fruchtbar und vermehrt euch.\nDie Erde hatte sich um die Fische des Meeres und über alle Reptilien.'] Label: [['Gott segnete die Menschen: Ihr Menschen sollt die Erde füllen.\nIhr sollt über die Fische bestimmen.\nUnd über die Vögel.\nUnd über die Reptilien.']] Sacrebleu: {'score': 3.6612667086152575, 'counts': [8, 2, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [23.529411764705884, 6.0606060606060606, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.06060606060606061, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1724137931034482, 'translation_length': 34, 'reference_length': 29} Rouge: {'rouge1': 0.2807017543859649, 'rouge2': 0.1090909090909091, 'rougeL': 0.2456140350877193, 'rougeLsum': 0.2456140350877193} Sari: {'sari': 38.14825935772062} Flesh Reading Ease: 76.1 ---------------------------------------- Source: ['Weiterhin sprach Gott: Hiermit gebe ich euch euch alles Samen tragende Getreide, das auf der Oberfläche der ganzen Erde ist, und alle Bäume, die in ihren Baumfrüchten Samen tragen.'] Prediction: ['Einige Bäume, die in ihren Baumfrüchten Samen tragen, sind in ihren Baumfrüchten Samen tragen.\nHiermit gebe es euch euch euch alles Samen tragende Getreide, das auf der Oberfläche der ganzen Erde ist, und alle Bäume, die in ihren Baumfrüchten Samen tragen.'] Label: [['Und dann sagte Gott: Ich gebe euch das Korn und die Getreide und alles Obstauf der ganzen Erde.']] Sacrebleu: {'score': 3.9176064956305345, 'counts': [11, 2, 1, 0], 'totals': [48, 47, 46, 45], 'precisions': [22.916666666666668, 4.25531914893617, 2.1739130434782608, 1.1111111111111112], 'bp': 1.0, 'sys_len': 48, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.22916666666666666, 0.0425531914893617, 0.021739130434782608, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4, 'translation_length': 48, 'reference_length': 20} Rouge: {'rouge1': 0.3076923076923077, 'rouge2': 0.06349206349206349, 'rougeL': 0.18461538461538457, 'rougeLsum': 0.21538461538461537} Sari: {'sari': 33.234534991960736} Flesh Reading Ease: 54.2 ---------------------------------------- Source: ['Sie sollen als Zeichen für Festzeiten und für Tage und Jahre dienen und sie sollen als Lichter am Schalenförmigen des Himmels dienen, um über der Erde zu scheinen.'] Prediction: ['Eine der beiden Frauen wird als Lichter am Schalenförmigen des Himmels dienen.\nSie sollen als Lichter am Schalenförmigen des Himmels dienen, um über der Erde zu scheinen.\nDie Frauen wollen sich als Lichter für Tage und Jahre dienen.'] Label: [['Und es gibt Jahres·zeiten.\nUnd es gibt Feste.\nUnd so geschah es: Die Lichter leuchteten über der Erde.']] Sacrebleu: {'score': 4.154158476653689, 'counts': [8, 2, 1, 0], 'totals': [42, 41, 40, 39], 'precisions': [19.047619047619047, 4.878048780487805, 2.5, 1.2820512820512822], 'bp': 1.0, 'sys_len': 42, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.19047619047619047, 0.04878048780487805, 0.025, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9090909090909092, 'translation_length': 42, 'reference_length': 22} Rouge: {'rouge1': 0.19999999999999998, 'rouge2': 0.06896551724137932, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.19999999999999998} Sari: {'sari': 38.82673147078773} Flesh Reading Ease: 67.85 ---------------------------------------- Source: ['Sie sollen euch als Nahrung dienen.'] Prediction: ['Die Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizerinnen und Schweizer Schweizerinnen und Schweizer Schweizerinnen und Schweizer Schweizerinnen und Schweizerinnen.\nSie sollen euch als Nahrung dienen.'] Label: [['Das könnt ihr alles essen.']] Sacrebleu: {'score': 0.8954307276600084, 'counts': [1, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [2.4390243902439024, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.024390243902439025, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.833333333333333, 'translation_length': 41, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 37.65 ---------------------------------------- Source: ['Die Erde lies Grünes grünen: verschiedenste Arten von Samen tragendem Getreide und verschiedenste Arten von Frucht tragenden Fruchtbäumen, die deren Früchte ihren Samen in sich haben.'] Prediction: ['In Grünes ist es zu einem grünen Erde-Lockdown gekommen.\nDie Erde lie bei einem Unternehmen auf dem Platz zwischen Samen und Fruchtbäumen.\nDie Erde lie bei Grünes grünen.'] Label: [['So geschah es: Das Korn ist gewachsen.\nDie Bäume sind gewachsen.\nDie Erde wurde grün.']] Sacrebleu: {'score': 6.313723621572041, 'counts': [8, 3, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [25.806451612903224, 10.0, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.25806451612903225, 0.1, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.631578947368421, 'translation_length': 31, 'reference_length': 19} Rouge: {'rouge1': 0.23529411764705885, 'rouge2': 0.04081632653061225, 'rougeL': 0.19607843137254904, 'rougeLsum': 0.19607843137254904} Sari: {'sari': 61.16935556273791} Flesh Reading Ease: 71.25 ---------------------------------------- Source: ['Gott machte das Schalenförmige und trennte so zwischen das Wasser welches unterhalb des Schalenförmigen und zwischen vom Wasser welches über dem Schalenförmigen.'] Prediction: ['Ein Schalenförmige trennte so zwischen das Wasser welches unterhalb des Schalenförmigen und zwischen vom Wasser welches über dem Schalenförmigen.\nDer Schalenförmige trennte so zwischen das Wasser welches unterhalb des Schalenförmigen und zwischen vom Wasser welches über dem Schalenförmigen.'] Label: [['Wasser über die Schaleund Wasser unter der Schale.']] Sacrebleu: {'score': 1.2992493989257516, 'counts': [4, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [10.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.444444444444445, 'translation_length': 40, 'reference_length': 9} Rouge: {'rouge1': 0.15384615384615385, 'rouge2': 0.0, 'rougeL': 0.11538461538461538, 'rougeLsum': 0.07692307692307693} Sari: {'sari': 38.49206349206349} Flesh Reading Ease: 38.15 ---------------------------------------- Source: ['Gott setzte sie ans Schalenförmige des Himmels, damit sie über der Erde schienen und damit sie über den Tag und die Nacht herrschten und damit sie zwischen die Helligkeit und von der Finsternis trennten.'] Prediction: ['Die beiden Trennungen der Finsternis sind immer wieder auf der Suche.\nDie beiden Trennungen sind auf der Suche zwischen die Helligkeit und der Finsternis gestorben.\nDie beiden Trennungen sind auf der Suche zwischen die Helligkeit und der Finsternis gestorben.'] Label: [['Gott machte die Lichter an den Himmel.\nDie Lichter leuchteten über der Erde.\nSeitdem können wir Tag und Nacht unterscheiden.']] Sacrebleu: {'score': 2.3889803462089954, 'counts': [7, 1, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [16.666666666666668, 2.4390243902439024, 1.25, 0.6410256410256411], 'bp': 1.0, 'sys_len': 42, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.024390243902439025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.826086956521739, 'translation_length': 42, 'reference_length': 23} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 33.65071174668697} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Gott betrachtete, dass alles, was er gemacht hatte, sehr gut war.'] Prediction: ['Ein Mann hatte sich am Freitagabend in der Nacht auf Sonntagabend in der Nacht auf Sonntagabend gemacht.\nEr war mit seinem guten Verletzungen auf Sonntag gemacht.\nDie Polizei vermutete den Mann, dass er sich gemacht hatte, sehr gut war.'] Label: [['Gott schaute herum: Das habe ich alles gemacht.\nUnd Gott war zufrieden.']] Sacrebleu: {'score': 1.9792649377110934, 'counts': [4, 1, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [9.090909090909092, 2.3255813953488373, 1.1904761904761905, 0.6097560975609756], 'bp': 1.0, 'sys_len': 44, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.023255813953488372, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.933333333333333, 'translation_length': 44, 'reference_length': 15} Rouge: {'rouge1': 0.07843137254901959, 'rouge2': 0.0, 'rougeL': 0.07843137254901959, 'rougeLsum': 0.07843137254901959} Sari: {'sari': 33.941798941798936} Flesh Reading Ease: 73.4 ---------------------------------------- Source: ['Da sprach Gott: Helligkeit soll entstehen!'] Prediction: ['Die Corona-Pandemie soll eine neue Phase aufgehoben werden.\nDie Polizei hat einen grossen Schritt ausgegeben.\nDie Polizei hat einen Schritt ausgegeben.'] Label: [['Dann sagte Gott: Ich möchte Licht.']] Sacrebleu: {'score': 1.5732934811145336, 'counts': [1, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [4.166666666666667, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.041666666666666664, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 24, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 47.26190476190475} Flesh Reading Ease: 56.0 ---------------------------------------- Source: ['Der sechste Tag.'] Prediction: ['Der sechste Tag der Schweizer Nati ist immer mehr als sechste.\nDer sechste Tag der Schweizer Nati ist nicht mehr.\nDer sechste Tag der Schweizer Nati ist nur noch nicht mehr.'] Label: [['Der 6.\nTag war Zu Ende.']] Sacrebleu: {'score': 1.5393730252811677, 'counts': [4, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [11.764705882352942, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.25, 'translation_length': 34, 'reference_length': 8} Rouge: {'rouge1': 0.1081081081081081, 'rouge2': 0.0, 'rougeL': 0.1081081081081081, 'rougeLsum': 0.1081081081081081} Sari: {'sari': 48.80952380952381} Flesh Reading Ease: 87.8 ---------------------------------------- Source: ['Es wurde Abend und es wurde Morgen: Ein vierter Tag.'] Prediction: ['Ein vierter Tag wurde in der Schweiz ein vierter Tag.\nEs wurde Abend und es wurde Morgen: Ein vierter Tag.'] Label: [['Es wurd Abend.\nUnd es wurde Morgen.\nDer 4.\nTag war zu Ende.']] Sacrebleu: {'score': 7.832899330004498, 'counts': [8, 2, 1, 0], 'totals': [23, 22, 21, 20], 'precisions': [34.78260869565217, 9.090909090909092, 4.761904761904762, 2.5], 'bp': 1.0, 'sys_len': 23, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.34782608695652173, 0.09090909090909091, 0.047619047619047616, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3529411764705883, 'translation_length': 23, 'reference_length': 17} Rouge: {'rouge1': 0.4848484848484849, 'rouge2': 0.2580645161290323, 'rougeL': 0.4242424242424242, 'rougeLsum': 0.4848484848484849} Sari: {'sari': 49.52861952861953} Flesh Reading Ease: 88.1 ---------------------------------------- Source: ['Erfreue uns so viele Tage, wie du uns bedrückt hast, so viele Jahre, wie wir Unglück gesehen haben!'] Prediction: ['Die Welt ist ein Jahr nach dem Unglück in der Schweiz.\nDie Schweizerin hat sich mit einem Unglück zu Gast geschlossen.\nDie Schweizerin hat sich mit einem Unglück zu Gast geschlossen.'] Label: [['Schenke uns Freude.\nWir hatten Sorgen.\nSchenke uns genau so viel Freude.']] Sacrebleu: {'score': 1.432548017297354, 'counts': [3, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [8.823529411764707, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.08823529411764706, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2666666666666666, 'translation_length': 34, 'reference_length': 15} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 57.58547008547009} Flesh Reading Ease: 81.95 ---------------------------------------- Source: ['Zeige deinen Knechten dein Handeln und deine Herrlichkeit ihren Kindern!'] Prediction: ['Zeige deinen Knechten und deine Herrlichkeit ihren Kindern!\nWir haben die besten neuen Kindern zu Gast gekürt und zeigen die besten Wirbel und Wirbel.\nWir haben die besten Wirbel und Wirbel gekürt, wie du ihnen nicht kommen kannst.'] Label: [['Zeige deinen Dienern dein Tun.\nZeige deinen Kindern dein Tun.\nZeige uns dein Tun.']] Sacrebleu: {'score': 2.1962438984958195, 'counts': [5, 1, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [11.904761904761905, 2.4390243902439024, 1.25, 0.6410256410256411], 'bp': 1.0, 'sys_len': 42, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.11904761904761904, 0.024390243902439025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4705882352941178, 'translation_length': 42, 'reference_length': 17} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.038461538461538464, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 35.853729603729604} Flesh Reading Ease: 73.7 ---------------------------------------- Source: ['Du schwemmst sie weg, sie sind wie Schlaf, am Morgen wie Gras, das aufsprosst.'] Prediction: ['Eine Frau wurde am Morgen wie Gras aufsprosst.\nSie schwemmst sie weg, sie sind wie Schlaf, das aufsprosst.'] Label: [['Du wischt die Menschen weg wie man Schlaf aus den Augen wischt.\nDie Menschen sind wie Gras.']] Sacrebleu: {'score': 5.809665204409192, 'counts': [8, 2, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [36.36363636363637, 9.523809523809524, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.36363636363636365, 0.09523809523809523, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1578947368421053, 'translation_length': 22, 'reference_length': 19} Rouge: {'rouge1': 0.34285714285714286, 'rouge2': 0.12121212121212122, 'rougeL': 0.17142857142857143, 'rougeLsum': 0.34285714285714286} Sari: {'sari': 36.285971223021576} Flesh Reading Ease: 94.95 ---------------------------------------- Source: ['Ein Gebet von Mose, dem Mann Gottes: Mein Herr, eine sichere Wohnung bist du für uns gewesen von Generation zu Generation.'] Prediction: ['Ein Gebet von Mose, dem Mann Gottes, hat eine sichere Wohnung für seine Wohnung gesorgt.\nDie Wohnung bist du für uns gewesen von Generation zu Generation.'] Label: [['Ein Gebet von Moses.\nMoses ist ein Mann GottesWir wohnen bei dir, Gott.\nImmer.']] Sacrebleu: {'score': 5.71168499906942, 'counts': [7, 2, 1, 0], 'totals': [30, 29, 28, 27], 'precisions': [23.333333333333332, 6.896551724137931, 3.5714285714285716, 1.8518518518518519], 'bp': 1.0, 'sys_len': 30, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.23333333333333334, 0.06896551724137931, 0.03571428571428571, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 30, 'reference_length': 18} Rouge: {'rouge1': 0.19047619047619047, 'rouge2': 0.1, 'rougeL': 0.19047619047619047, 'rougeLsum': 0.19047619047619047} Sari: {'sari': 39.37324929971989} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Kehre doch zurück, JHWH!'] Prediction: ['JHWH ist ein Jahr nach dem Jahr 2020 im Alter von 99 Jahren gestorben.\nEr hatte sich mit dem Vater JHWH zurückgezogen.\nDie Welt ist eine neue Woche, die sich auf dem Kanton Bern zu schreiben.'] Label: [['Gott!']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 40, 'ref_len': 2} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 20.0, 'translation_length': 40, 'reference_length': 2} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 56.25} Flesh Reading Ease: 86.1 ---------------------------------------- Source: ['“ Denn tausend Jahre sind in deinen Augen wie der gestrige Tag, wenn er vergangen ist, oder eine Wache in der Nacht.'] Prediction: ['Tausende Jahre sind in der Nacht auf Sonntag wie der gestrige Tag, wenn er vergangen ist, oder eine Wache in der Nacht.\nDenn tausend Jahre sind in der Nacht wie der gestrige Tag, wenn er vergangen ist, oder eine Wache in der Nacht.'] Label: [['Tausend Jahre sind für dich wie ein Tag.\nTausend Jahre sind für dich wie eine Nacht.']] Sacrebleu: {'score': 3.001115683793642, 'counts': [11, 3, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [22.448979591836736, 6.25, 1.0638297872340425, 0.5434782608695652], 'bp': 1.0, 'sys_len': 49, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.22448979591836735, 0.0625, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7222222222222223, 'translation_length': 49, 'reference_length': 18} Rouge: {'rouge1': 0.3278688524590164, 'rouge2': 0.10169491525423728, 'rougeL': 0.3278688524590164, 'rougeLsum': 0.3278688524590164} Sari: {'sari': 41.322710964206} Flesh Reading Ease: 76.6 ---------------------------------------- Source: ['Die Freundlichkeit des Herrn, unseres Gottes sei über uns! Das Werk unserer Hände festige über uns, und das Werk unserer Hände, festige es!'] Prediction: ['Das Werk unserer Hände festige über uns, und das Werk unserer Hände, festige es!\nDas Werk unserer Hände, festige es!\nDie Freundlichkeit des Herrn, unseres Gottes, sei über uns!'] Label: [['Gottes Freundlichkeit sei mit uns!\nUnsere Hände werden stark.\nJa, Gott, mach unsere Hände stark!']] Sacrebleu: {'score': 2.9799893137327635, 'counts': [10, 1, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [27.027027027027028, 2.7777777777777777, 1.4285714285714286, 0.7352941176470589], 'bp': 1.0, 'sys_len': 37, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.2702702702702703, 0.027777777777777776, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.85, 'translation_length': 37, 'reference_length': 20} Rouge: {'rouge1': 0.32653061224489793, 'rouge2': 0.0851063829787234, 'rougeL': 0.20408163265306123, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 38.310844577711144} Flesh Reading Ease: 70.85 ---------------------------------------- Source: ['Am Morgen blüht es und sprosst auf, zum Abend verwelkt und verdorrt es.'] Prediction: ['Am Morgen blüht es in der Nacht auf Sonntag zum Abend zum Abend.\nEin Mann sprechen von einem Abend und verdorrt es.\nDie Polizei verurteilte den Mann auf, zum Abend verwelkt und verdorrt es.'] Label: [['Das Gras wächst und blüht.\nDas Gras sieht schön aus.\nDas Gras verwelkt und vertrocknet.']] Sacrebleu: {'score': 2.6510202602018675, 'counts': [7, 1, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [18.42105263157895, 2.7027027027027026, 1.3888888888888888, 0.7142857142857143], 'bp': 1.0, 'sys_len': 38, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.18421052631578946, 0.02702702702702703, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.111111111111111, 'translation_length': 38, 'reference_length': 18} Rouge: {'rouge1': 0.18867924528301885, 'rouge2': 0.07843137254901962, 'rougeL': 0.1509433962264151, 'rougeLsum': 0.18867924528301885} Sari: {'sari': 38.88888888888889} Flesh Reading Ease: 86.8 ---------------------------------------- Source: ['Du stellst unsere Fehler vor dich, unsere Geheimnisse vor das Licht deiner Gegenwart.'] Prediction: ['Die Geheimnisse in der Schweiz sind vor dem Licht einer Gegenwart.\nDie Geheimnisse wurden vor dem Licht einer Gegenwart verhindert.\nDie Geheimnisse waren vor dem Licht deiner Gegenwart.'] Label: [['Gott sieht alle unsere Fehler.\nGott sieht auch die geheimen Fehler.']] Sacrebleu: {'score': 1.4262733286728257, 'counts': [2, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [6.451612903225806, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.06451612903225806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3846153846153846, 'translation_length': 31, 'reference_length': 13} Rouge: {'rouge1': 0.05128205128205127, 'rouge2': 0.0, 'rougeL': 0.05128205128205127, 'rougeLsum': 0.05128205128205127} Sari: {'sari': 33.683561808561805} Flesh Reading Ease: 65.4 ---------------------------------------- Source: ['Ja, alle unsere Tage fahren dahin durch deinen Zorn, wir vollenden unsere Jahre wie einen Seufzer.'] Prediction: ['Die Schweizer Welt hat einen neuen Zorn.\nDie Schweizer Welt hat einen Zorn für die Schweizer Welt.\nDie Schweizer Welt hat einen Zorn für die Schweizer Welt.'] Label: [['Alles geht vorbei durch Gottes Zorn.\nAlles ist Stöhnen und Seufzen.']] Sacrebleu: {'score': 2.747878682374729, 'counts': [3, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3076923076923075, 'translation_length': 30, 'reference_length': 13} Rouge: {'rouge1': 0.04878048780487805, 'rouge2': 0.0, 'rougeL': 0.04878048780487805, 'rougeLsum': 0.04878048780487805} Sari: {'sari': 63.988095238095234} Flesh Reading Ease: 100.8 ---------------------------------------- Source: ['Die Tage unserer Jahre, in ihnen sind siebzig Jahre, und mit Kraft achtzig Jahre.'] Prediction: ['Die Tage unserer Jahre, in ihnen sind siebzig Jahre, und mit Kraft achtzig Jahre.\nDie Tage unserer Jahre, in ihnen sind siebzig Jahre, und mit Kraft achtzig Jahre.\nWir haben die besten Tages der Tage, in ihnen sind siebzig Jahre, und mit Kraft achtzig Jahre.'] Label: [['Der Mensch wird 70 Jahre alt.\nWenn der Mensch Kraft hat, wird er 80 Jahre alt.']] Sacrebleu: {'score': 1.0956421443241475, 'counts': [7, 0, 0, 0], 'totals': [54, 53, 52, 51], 'precisions': [12.962962962962964, 0.9433962264150944, 0.4807692307692308, 0.24509803921568626], 'bp': 1.0, 'sys_len': 54, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.12962962962962962, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8421052631578947, 'translation_length': 54, 'reference_length': 19} Rouge: {'rouge1': 0.13114754098360656, 'rouge2': 0.0, 'rougeL': 0.13114754098360656, 'rougeLsum': 0.13114754098360656} Sari: {'sari': 37.598243180767454} Flesh Reading Ease: 71.4 ---------------------------------------- Source: ['Wer erkennt die Stärke deines Zorns?'] Prediction: ['Die Stärke deines Zorns erreichte einen Stärke-Einblicke in der Nacht auf Sonntag.\nDer Zürcher Stürmer hatte sich mit dem Zürcher Stadion zum ersten Mal geschlossen.\nWir haben die Stärke deines Zorns zu spät gegeben.'] Label: [['Niemand ist stark gegen Gottes Zorn.\nWer kann wissen: Wie stark ist Gottes Zorn?']] Sacrebleu: {'score': 0.9964194812460634, 'counts': [1, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [2.7027027027027026, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.02702702702702703, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.176470588235294, 'translation_length': 37, 'reference_length': 17} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 28.240740740740737} Flesh Reading Ease: 69.25 ---------------------------------------- Source: ['Wie die Furcht vor dir ist dein Grimm. Darum lehre uns, unsere Tage zu zählen, damit wir ein Herz der Weisheit bekommen.'] Prediction: ['Der Grimm-Schauspieler ist im Juni 2020 in den USA gestorben.\nDie Vergangenheit ist nicht nur einmal nur einmal, sondern ein Herz der Weisheit bekommen wir.\nWir haben die besten Tage vor dem "Grimm" bekanntgegeben.'] Label: [['Darum lernen wir.\nUnsere Herzen werden weise.']] Sacrebleu: {'score': 2.033435199928181, 'counts': [3, 1, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [7.5, 2.5641025641025643, 1.3157894736842106, 0.6756756756756757], 'bp': 1.0, 'sys_len': 40, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.075, 0.02564102564102564, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.444444444444445, 'translation_length': 40, 'reference_length': 9} Rouge: {'rouge1': 0.04761904761904761, 'rouge2': 0.0, 'rougeL': 0.04761904761904761, 'rougeLsum': 0.04761904761904761} Sari: {'sari': 34.38208616780045} Flesh Reading Ease: 75.1 ---------------------------------------- Source: ['Sättige uns am Morgen mit deiner Güte, dann werden wir jubeln und uns freuen an allen unseren Tagen!'] Prediction: ['Am Morgen wurde eine Güte von der Schweizer Welt mit dem Männern aufgefunden.\nDie Welt wurde am Morgen mit dem Männern aufgefunden.\nDie Welt wurde am Morgen mit dem Männern aufgefunden.'] Label: [['Schenke uns morgens deine Liebe.\nWir freuen uns.\nGott!']] Sacrebleu: {'score': 1.2944532586971997, 'counts': [2, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [5.882352941176471, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8333333333333335, 'translation_length': 34, 'reference_length': 12} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 40.424836601307184} Flesh Reading Ease: 70.25 ---------------------------------------- Source: ['Bevor die Berge geboren waren und du die Erde und die irdische Welt hervorgebracht hattest, und von Ewigkeit zu Ewigkeit bist du Gott.'] Prediction: ['Die Welt ist eine irdische Welt, die in der Schweiz eine Welt geboren waren.\nDie Erde und die irdische Welt waren hervorgebracht hattest, und von Ewigkeit zu Ewigkeit bist du Gott Gott.'] Label: [['Du bist älter als die Berge und die ganze Welt.']] Sacrebleu: {'score': 2.6988233895132607, 'counts': [6, 1, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [16.666666666666668, 2.857142857142857, 1.4705882352941178, 0.7575757575757576], 'bp': 1.0, 'sys_len': 36, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.02857142857142857, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.272727272727273, 'translation_length': 36, 'reference_length': 11} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.049999999999999996, 'rougeL': 0.19047619047619047, 'rougeLsum': 0.19047619047619047} Sari: {'sari': 30.52957888484204} Flesh Reading Ease: 76.25 ---------------------------------------- Source: ['und Ihr Stolz ist Mühe und Beschwerde, denn er ist schnell vergangen und wir fliegen davon.'] Prediction: ['Ein Stolz in der Nacht auf Sonntag ist am Sonntagabend in Stolz gestorben.\nDer Stolz ist Mühe und Beschwerde, denn er ist schnell vergangen und wir fliegen davon.\nDie beiden waren nicht mehr, sondern auch mehr als noch nie.'] Label: [['Wir haben es nicht leicht.\nDann ist das Leben schon vorbei.']] Sacrebleu: {'score': 1.176877973200725, 'counts': [4, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [9.090909090909092, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3846153846153846, 'translation_length': 44, 'reference_length': 13} Rouge: {'rouge1': 0.1176470588235294, 'rouge2': 0.0, 'rougeL': 0.07843137254901962, 'rougeLsum': 0.1176470588235294} Sari: {'sari': 36.45382395382395} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['Du lässt den Menschen zum Staub zurückkehren und sprichst: „Kehrt zurück, ihr Kinder des Menschen!'] Prediction: ['Einige Menschen wurden zum Staub zurückkehren.\nDie Frau lässt den Menschen zum Staub zurückkehren.'] Label: [['Du rufst: Kommt zurück zu mir!']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 16, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 16, 'reference_length': 8} Rouge: {'rouge1': 0.08333333333333333, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.08333333333333333} Sari: {'sari': 30.303030303030305} Flesh Reading Ease: 67.7 ---------------------------------------- Source: ['Denn wir vergehen durch deinen Zorn, und durch deine Zorneshitze werden wir verstört.'] Prediction: ['Die Schweizer Welt hat einen neuen Zorn aufgefordert.\nDiese werden verstört.\nDie Schweizer Welt hat einen Zorn-Rekord aufgefordert.'] Label: [['Menschen vertrocknen vor Gottes Zorn.\nGottes heißer Zorn trocknet Menschen aus.']] Sacrebleu: {'score': 2.3901021968803136, 'counts': [3, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [14.285714285714286, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6153846153846154, 'translation_length': 21, 'reference_length': 13} Rouge: {'rouge1': 0.125, 'rouge2': 0.0, 'rougeL': 0.125, 'rougeLsum': 0.125} Sari: {'sari': 55.55555555555555} Flesh Reading Ease: 68.7 ---------------------------------------- Source: ['Da starb Elimelech, der Mann Noomis, und sie hinterblieb, sie und ihre beiden Söhne.'] Prediction: ['Die beiden Söhne haben sich immer wieder zu einem sexuellen Leben gekommen.\nDie beiden starben Elimelech und den Mann Noomis.\nDie beiden waren immer wieder auf den Kanton Luzern, wo sie sich auf den Kanton Luzern starben.'] Label: [['Da stirbt Elimelech.\nNoomi bleibt alleine mit den beiden Söhnen.']] Sacrebleu: {'score': 1.3389812472744242, 'counts': [5, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [12.195121951219512, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.12195121951219512, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4166666666666665, 'translation_length': 41, 'reference_length': 12} Rouge: {'rouge1': 0.16326530612244897, 'rouge2': 0.0425531914893617, 'rougeL': 0.12244897959183672, 'rougeLsum': 0.16326530612244897} Sari: {'sari': 53.498931623931625} Flesh Reading Ease: 68.25 ---------------------------------------- Source: ['Sie waren Efratiter aus Betlehem in Juda. Und so kamen sie ins Gebiet von nach Moab und blieben dort.'] Prediction: ['Einige Frauen waren Efratiter aus Betlehem in Juda.\nSie kamen ins Gebiet von nach Moab und blieben dort.\nSie waren Efratiter aus Betlehem in Juda.'] Label: [['Sie kommen aus Bethlehem und ziehen nach Moab.']] Sacrebleu: {'score': 3.5148478313698046, 'counts': [6, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [21.428571428571427, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.111111111111111, 'translation_length': 28, 'reference_length': 9} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.06451612903225806, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.24242424242424243} Sari: {'sari': 33.996212121212125} Flesh Reading Ease: 66.4 ---------------------------------------- Source: ['Der Name des Mannes war Elimelech und der Name seiner Frau war Noomi und die Namen seiner beiden Söhne waren Machlon und Kiljon.'] Prediction: ['Ein Mann wurde im Alter von 99 Jahren verhaftet.\nEr war Elimelech und seine Frau war Noomi.\nDie beiden Söhne waren Machlon und Kiljon.'] Label: [['Der Mann heißt Elimelech.\nDer Name bedeutet: Mein Gott ist König.\nDie Frau heißt Noomi.\nDer Name bedeutet: lieblich.\nEin Sohn heißt Machlon.\nDer Name bedeutet: krank.\nEin anderer Sohn heißt Kiljon.\nDer Name heißt: verschwindet.']] Sacrebleu: {'score': 2.570095732842133, 'counts': [11, 3, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [40.74074074074074, 11.538461538461538, 2.0, 1.0416666666666667], 'bp': 0.45942582403592663, 'sys_len': 27, 'ref_len': 48} Bleu: {'bleu': 0.0, 'precisions': [0.4074074074074074, 0.11538461538461539, 0.0, 0.0], 'brevity_penalty': 0.45942582403592663, 'length_ratio': 0.5625, 'translation_length': 27, 'reference_length': 48} Rouge: {'rouge1': 0.2388059701492537, 'rouge2': 0.0, 'rougeL': 0.1791044776119403, 'rougeLsum': 0.2388059701492537} Sari: {'sari': 38.6260570002806} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Und sie begann, zurückzukehren - sie und ihre Schwiegertöchter - aus dem Gebiet von Moab, weil sie in dem Gebiet von Moab gehört hatte, dass JHWH sein Volk besucht hatte, indem er ihm Brot gegeben hatte.'] Prediction: ['Eine Schwiegertöchter wurde aus dem Gebiet von Moab von JHWH besucht.\nSie begann, zurückzukehren.\nSie begann, weil sie in dem Gebiet von Moab gehört hatte, dass JHWH sein Volk besucht hatte.'] Label: [['Noomi will nach Hause.']] Sacrebleu: {'score': 0.9964194812460634, 'counts': [1, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [2.7027027027027026, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.02702702702702703, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.4, 'translation_length': 37, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.12698412698412} Flesh Reading Ease: 76.1 ---------------------------------------- Source: ['Sie nahmen sich moabitische Frauen.'] Prediction: ['Eine moabitische Frauen nahmen sich in den letzten Tagen nach einem Interview mit einem US-Bundesstaat nicht zu einer sexuellen Frauen.\nSie nahmen sich moabitische Frauen nach dem Interview mit einer moabitischen Frauen nicht zu sehen.\nSie sind nach dem Interview mit einer moabitischen Frauen nicht zu sehen, sondern auf dem Interview mit einer moabitischen Frauen zu sehen.'] Label: [['Die Söhne finden Frauen in Moab.']] Sacrebleu: {'score': 0.7821590010947428, 'counts': [3, 0, 0, 0], 'totals': [61, 60, 59, 58], 'precisions': [4.918032786885246, 0.8333333333333334, 0.423728813559322, 0.21551724137931033], 'bp': 1.0, 'sys_len': 61, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.04918032786885246, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 8.714285714285714, 'translation_length': 61, 'reference_length': 7} Rouge: {'rouge1': 0.06153846153846154, 'rouge2': 0.0, 'rougeL': 0.06153846153846154, 'rougeLsum': 0.06153846153846154} Sari: {'sari': 38.141025641025635} Flesh Reading Ease: 49.85 ---------------------------------------- Source: ['Der Name der einen war Orpa und der Name der anderen war Rut.'] Prediction: ['Ein Mann hat einen Orpa-Nachwuchs bekommen.\nDer Name der anderen war Rut.\nDer Name der anderen war Orpa.'] Label: [['Eine Frau heißt Orpa.\nDer Name bedeutet: Wolke.\nDie andere Frau heißt Rut.\nDer Name bedeutet: Erfrischung.']] Sacrebleu: {'score': 16.660902592184026, 'counts': [9, 6, 3, 1], 'totals': [21, 20, 19, 18], 'precisions': [42.857142857142854, 30.0, 15.789473684210526, 5.555555555555555], 'bp': 0.909156442876713, 'sys_len': 21, 'ref_len': 23} Bleu: {'bleu': 0.16660902592184026, 'precisions': [0.42857142857142855, 0.3, 0.15789473684210525, 0.05555555555555555], 'brevity_penalty': 0.909156442876713, 'length_ratio': 0.9130434782608695, 'translation_length': 21, 'reference_length': 23} Rouge: {'rouge1': 0.3157894736842105, 'rouge2': 0.16666666666666666, 'rougeL': 0.3157894736842105, 'rougeLsum': 0.3157894736842105} Sari: {'sari': 46.251501233510226} Flesh Reading Ease: 74.55 ---------------------------------------- Source: ['Sie wohnten etwa zehn Jahre dort.'] Prediction: ['Eine Frau wohnte zehn Jahre dort.\nSie wohnte etwa zehn Jahre dort.\nSie wohnte etwa zehn Jahre dort.'] Label: [['Sie wohnen zehn Jahre zusammen in Moab.']] Sacrebleu: {'score': 4.319402267866687, 'counts': [4, 1, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [19.047619047619047, 5.0, 2.6315789473684212, 1.3888888888888888], 'bp': 1.0, 'sys_len': 21, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.19047619047619047, 0.05, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.625, 'translation_length': 21, 'reference_length': 8} Rouge: {'rouge1': 0.24, 'rouge2': 0.08695652173913045, 'rougeL': 0.24, 'rougeLsum': 0.24} Sari: {'sari': 43.333333333333336} Flesh Reading Ease: 86.25 ---------------------------------------- Source: ['Da starben auch diese beiden - Machlon und Kiljon - , und es hinterblieb die Frau, ohne ihre beiden Kinder und ohne ihren Mann.'] Prediction: ['Eine Frau (27) und ihr Mann (29) sind bei einem Alter von 2 und 3 Jahren gestorben.\nSie hinterblieb die Frau, ohne ihre beiden Kinder und ohne ihren Mann.\nSie hinterblieb die Frau, ohne ihren beiden Kinder und ohne ihren Mann.'] Label: [['Da sterben auch die beiden Söhne.\nDie Mutter Noomi bleibt alleine.']] Sacrebleu: {'score': 1.0312019115847757, 'counts': [4, 0, 0, 0], 'totals': [50, 49, 48, 47], 'precisions': [8.0, 1.0204081632653061, 0.5208333333333334, 0.26595744680851063], 'bp': 1.0, 'sys_len': 50, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.08, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.8461538461538463, 'translation_length': 50, 'reference_length': 13} Rouge: {'rouge1': 0.11320754716981131, 'rouge2': 0.0, 'rougeL': 0.11320754716981131, 'rougeLsum': 0.11320754716981131} Sari: {'sari': 33.827319587628864} Flesh Reading Ease: 78.55 ---------------------------------------- Source: ['Da verließ ein Mann Betlehem in Juda, um sich in dem Gebiet von Moab niederzulassen - er, seine Frau und seine beiden Söhne.'] Prediction: ['Ein Mann, der in einem Gebiet von Moab niederzulassen hat, verliebt eine Frau und seine beiden Söhne.\nDie beiden Söhne sind nicht nur in einem Gebiet, sondern in einem Gebiet von Moab.\nDie beiden Söhne sind nicht nur in einem Gebiet, sondern in einem Gebiet von Moab.'] Label: [['Ein Mann lebt mit seiner Familie in Bethlehem.']] Sacrebleu: {'score': 1.6020708329488378, 'counts': [4, 1, 0, 0], 'totals': [54, 53, 52, 51], 'precisions': [7.407407407407407, 1.8867924528301887, 0.9615384615384616, 0.49019607843137253], 'bp': 1.0, 'sys_len': 54, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.07407407407407407, 0.018867924528301886, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.0, 'translation_length': 54, 'reference_length': 9} Rouge: {'rouge1': 0.10344827586206896, 'rouge2': 0.03571428571428571, 'rougeL': 0.10344827586206896, 'rougeLsum': 0.10344827586206896} Sari: {'sari': 38.33333333333333} Flesh Reading Ease: 70.7 ---------------------------------------- Source: ['da, wo du sterben wirst, will ich sterben und dort will ich begraben werden!'] Prediction: ['Die Welt ist ein grosser Schutz und wird von der Schweiz aufgefunden.\nDie Welt ist ein grosser Schutz und wird von der Schweiz aufgefunden.\nDie Welt ist ein schwieriges Problem.'] Label: [['Wo musst du sterben?\nIch will auch da sterben.\nUnd dort will ich begraben sein!']] Sacrebleu: {'score': 1.123099644603982, 'counts': [1, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [3.0303030303030303, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.030303030303030304, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 33, 'reference_length': 18} Rouge: {'rouge1': 0.04444444444444444, 'rouge2': 0.0, 'rougeL': 0.04444444444444444, 'rougeLsum': 0.04444444444444444} Sari: {'sari': 23.793859649122805} Flesh Reading Ease: 88.1 ---------------------------------------- Source: ['dein Volk sei mein Volk und dein Gott sei mein Gott;'] Prediction: ['Die Schweiz verliert einen neuen Volk.\nDer Sieg sei mein Volk und dein Gott sei mein Gott.\nDie Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schwe'] Label: [['Denn wir sind eine Familie.\nDeine Heimat ist meine Heimat.\nUnd dein Gott ist mein Gott.']] Sacrebleu: {'score': 0.7613502083830078, 'counts': [6, 3, 1, 0], 'totals': [229, 228, 227, 226], 'precisions': [2.6200873362445414, 1.3157894736842106, 0.44052863436123346, 0.22123893805309736], 'bp': 1.0, 'sys_len': 229, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.026200873362445413, 0.013157894736842105, 0.004405286343612335, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 12.052631578947368, 'translation_length': 229, 'reference_length': 19} Rouge: {'rouge1': 0.0411522633744856, 'rouge2': 0.024896265560165973, 'rougeL': 0.0411522633744856, 'rougeLsum': 0.0411522633744856} Sari: {'sari': 44.33603126280663} Flesh Reading Ease: -6.86 ---------------------------------------- Source: ['Solches tue mir JHWH und solches füge er hinzu, wenn nicht einzig der Tod uns scheiden wird.'] Prediction: ['Im Interview mit 20 Minuten spricht der "Morning Show" host Andrea über JHWH, die er sich mit dem Tod seiner Tod über ihre Liebe und ihre Liebe über ihre Liebe und ihre Liebe über ihre Tod und ihre Liebe über ihre Liebe und ihre Liebe über ihre Liebe und ihre Liebe über ihre Liebe und ihre Liebe über ihre Liebe und ihre Liebe über ihre Liebe und ihre Liebe über ihre Liebe und ihre Liebe über ihre Liebe und ihre Liebe über ihre Liebe und ihre Liebe über ihre Liebe und ihre Liebe über ihre Liebe und ihre Liebe über ihre Liebe und ihre Liebe über ihre Liebe und ihre Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe und Liebe über ihre Liebe'] Label: [['Nur der Tod kann uns trennen.\nIch bleibe bei dir oder ich will sofort tot umfallen.']] Sacrebleu: {'score': 0.2046006960490289, 'counts': [2, 0, 0, 0], 'totals': [207, 206, 205, 204], 'precisions': [0.966183574879227, 0.24271844660194175, 0.12195121951219512, 0.061274509803921566], 'bp': 1.0, 'sys_len': 207, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.00966183574879227, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 11.5, 'translation_length': 207, 'reference_length': 18} Rouge: {'rouge1': 0.01818181818181818, 'rouge2': 0.0, 'rougeL': 0.01818181818181818, 'rougeLsum': 0.01818181818181818} Sari: {'sari': 51.481481481481474} Flesh Reading Ease: -117.61 ---------------------------------------- Source: ['Dahin, wohin du gehen wirst, will ich gehen, und da, wo du rasten wirst, will ich rasten;'] Prediction: ['Dahin, wohin du gehen wirst, will ich gehen, und da, wo du rasten wirst, will ich rasten, will ich rasten; wohin du gehen wirst, will ich rasten, will ich rasten; wohin du gehen wirst, will ich rasten, will ich rasten; wohin du, wohin du gehen wirst, will ich gehen, und da, wo du rasten wirst, will ich rasten, will ich rasten;'] Label: [['Du gehst?\nGut.\nIch will mit dir gehen.\nDu ruhst?\nIch will mit dir ruhen.']] Sacrebleu: {'score': 0.5853439652165596, 'counts': [3, 0, 0, 0], 'totals': [81, 80, 79, 78], 'precisions': [3.7037037037037037, 0.625, 0.31645569620253167, 0.16025641025641027], 'bp': 1.0, 'sys_len': 81, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.037037037037037035, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.05, 'translation_length': 81, 'reference_length': 20} Rouge: {'rouge1': 0.18421052631578946, 'rouge2': 0.0, 'rougeL': 0.18421052631578946, 'rougeLsum': 0.18421052631578946} Sari: {'sari': 36.868686868686865} Flesh Reading Ease: 37.1 ---------------------------------------- Source: ['“ Da sah sie, wie entschlossen sie war, mit ihr zu gehen.'] Prediction: ['Eine Frau (24) ist auf der Suche nach ihrem Mann (29) gekommen.\nSie war mit ihr zu gehen, wie sie sich entschlossen war, mit ihr zu gehen.\nDie Frau ist auf der Suche nach ihrem Mann, der sie entschlossen war, mit ihr zu gehen.'] Label: [['“ Da sieht Noomi: Rut ist fest entschlossen.\nRut will mit Noomi gehen.']] Sacrebleu: {'score': 1.7398283377474275, 'counts': [6, 1, 0, 0], 'totals': [55, 54, 53, 52], 'precisions': [10.909090909090908, 1.8518518518518519, 0.9433962264150944, 0.4807692307692308], 'bp': 1.0, 'sys_len': 55, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.10909090909090909, 0.018518518518518517, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4375, 'translation_length': 55, 'reference_length': 16} Rouge: {'rouge1': 0.14285714285714288, 'rouge2': 0.0, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.14285714285714288} Sari: {'sari': 32.94685990338165} Flesh Reading Ease: 89.25 ---------------------------------------- Source: ['Da hörte sie auf, zu ihr zu sprechen.'] Prediction: ['Eine Frau hatte sich im Alter von 99 Jahren zu ihr geäussert, zu ihr zu sprechen.\nDie Frau war zuvor aufgefunden und zu ihr sprechen.\nDie Frau war zuvor aufgefunden, zu ihr zu sprechen.'] Label: [['Da hört Noomi auf zu reden.\nNoomi schweigt.']] Sacrebleu: {'score': 1.2413584734794654, 'counts': [3, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [7.6923076923076925, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.9, 'translation_length': 39, 'reference_length': 10} Rouge: {'rouge1': 0.04545454545454545, 'rouge2': 0.0, 'rougeL': 0.04545454545454545, 'rougeLsum': 0.04545454545454545} Sari: {'sari': 32.29166666666667} Flesh Reading Ease: 80.95 ---------------------------------------- Source: ['“ So also kehrte Noomi zurück.'] Prediction: ['Noomi Rückkehr ist am Freitagabend bei einem Interview mit dem Radio-Host Andrea über die Welt.\nDie beiden waren noch nie zum dritten Mal.\nDie beiden waren noch nie zum dritten Mal.'] Label: [['Aber Noomi ist wieder zu Hause.']] Sacrebleu: {'score': 1.432548017297354, 'counts': [3, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [8.823529411764707, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.08823529411764706, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.857142857142857, 'translation_length': 34, 'reference_length': 7} Rouge: {'rouge1': 0.10256410256410256, 'rouge2': 0.0, 'rougeL': 0.10256410256410256, 'rougeLsum': 0.10256410256410256} Sari: {'sari': 67.3076923076923} Flesh Reading Ease: 81.95 ---------------------------------------- Source: ['Und so gingen die beidengemeinsam, bis sie nach Betlehem kamen.'] Prediction: ['Die beiden waren nach Betlehem nach Betlehem kamen die beiden.\nDie beiden waren nach Betlehem gefunden.'] Label: [['Und so gehen Rut und Noomi zusammen.\nUnd Rut und Noomi kommen endlich nach Bethlehem.']] Sacrebleu: {'score': 2.8265205879007453, 'counts': [3, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [16.666666666666668, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0588235294117647, 'translation_length': 18, 'reference_length': 17} Rouge: {'rouge1': 0.06451612903225808, 'rouge2': 0.0, 'rougeL': 0.06451612903225808, 'rougeLsum': 0.06451612903225808} Sari: {'sari': 42.06349206349206} Flesh Reading Ease: 60.85 ---------------------------------------- Source: ['“ Da sagte Rut: „Bestürme mich nicht, dich zu verlassen, vom mit-dir - Sein zurückzukehren!'] Prediction: ['Rut (34) und seine Ex-Freundin (29) wollen sich mit ihrem Partner auf ihre Freundin auf ihre Worte verlassen.\nDie beiden wollen sich mit ihren Freunden auf ihren Freunden auf ihren Freunden aufgeben.\nWir haben dir die besten Freunde, welche sie sich mit ihrem Freunden zu verlassen, wie sie sie sich mit ihren Freunden aufgenommen haben.'] Label: [['Da sagt Rut: „Sag nicht: Geh!\nUnd sag nicht: Ich soll dich allein lassen!']] Sacrebleu: {'score': 0.5657759656209534, 'counts': [1, 0, 0, 0], 'totals': [64, 63, 62, 61], 'precisions': [1.5625, 0.7936507936507936, 0.4032258064516129, 0.20491803278688525], 'bp': 1.0, 'sys_len': 64, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.015625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3684210526315788, 'translation_length': 64, 'reference_length': 19} Rouge: {'rouge1': 0.05714285714285715, 'rouge2': 0.0, 'rougeL': 0.05714285714285715, 'rougeLsum': 0.05714285714285715} Sari: {'sari': 40.25297619047619} Flesh Reading Ease: 68.1 ---------------------------------------- Source: ['Mit dir wollen wir zu deinem Volk zurückkehren!'] Prediction: ['Mit dir wollen wir zu deinem Volk zurückkehren.\nMit dir wollen wir zu deinem Volk zurückkehren.'] Label: [['Wir wollen mit dir gehen.']] Sacrebleu: {'score': 2.8265205879007453, 'counts': [3, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [16.666666666666668, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 18, 'reference_length': 6} Rouge: {'rouge1': 0.3478260869565218, 'rouge2': 0.09523809523809523, 'rougeL': 0.2608695652173913, 'rougeLsum': 0.1739130434782609} Sari: {'sari': 46.527777777777786} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Und sie gingen auf dem Weg, um ins Land Juda zurückzukehren.'] Prediction: ['Eine Frau wurde im Land Juda zurückgezukehren.\nSie gingen auf dem Weg, um ins Land Juda zurückzukehren.\nSie gingen auf dem Weg, um ins Land Juda zurückzukehren.'] Label: [['Und Noomi will nach Hause gehen.']] Sacrebleu: {'score': 1.1599713834969503, 'counts': [1, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [3.125, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.03125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.571428571428571, 'translation_length': 32, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 26.190476190476193} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Da sagte Noomi zu ihren beiden Schwiegertöchtern: „Geht! Kehrt zurück, jede ins Haus ihrer Mutter!'] Prediction: ['Noomi und ihr Mutter waren am Freitagabend bei ihrem Schwiegertöchtern bekannt.\nSie waren zum ersten Mal ins Haus ihrer Mutter.\nNoomi warnt vor einem Jahr, warum sie ihr Mutter ins Haus ihrer Mutter geht.'] Label: [['Noomi sagt darum zu Rut und Orpa:" Geht!\nGeht zu euren Müttern!\nGeht nach Hause!']] Sacrebleu: {'score': 1.1524538390587937, 'counts': [2, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [5.2631578947368425, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.05263157894736842, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9, 'translation_length': 38, 'reference_length': 20} Rouge: {'rouge1': 0.11764705882352938, 'rouge2': 0.0, 'rougeL': 0.11764705882352938, 'rougeLsum': 0.11764705882352938} Sari: {'sari': 33.56060606060606} Flesh Reading Ease: 75.1 ---------------------------------------- Source: ['Dann küsste Orpa ihre Schwiegermutter und Rut hängte sich an sie.'] Prediction: ['Eine Schwiegermutter und ihr Schwiegermutter haben sich mit ihrem Schwiegermutter und Rut einen Schwiegermutter gemacht.\nDie Schwiegermutter und Rut haben sich dabei bei der Schwiegermutter und ihren Schwiegermutter verkündet.\nDie beiden küssten sich an ihren Schwiegermutter und Rut hängten sich an sie.'] Label: [['Dann küsst Orpa Noomi zum Abschied.\nAber ° Rut° hängt an Noomi.']] Sacrebleu: {'score': 1.0700143107304574, 'counts': [3, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [6.666666666666667, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2142857142857144, 'translation_length': 45, 'reference_length': 14} Rouge: {'rouge1': 0.13793103448275862, 'rouge2': 0.03571428571428572, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.13793103448275862} Sari: {'sari': 33.03030303030303} Flesh Reading Ease: 54.85 ---------------------------------------- Source: ['Da erhoben sie ihre Stimmen, weinten und sagten zu ihr: „Nein!'] Prediction: ['Die beiden Frauen erhoben ihre Stimmen, weinten und sagten zu ihr: "Nein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein'] Label: [['" Aber Rut und Orpa sagen:" Nein.']] Sacrebleu: {'score': 0.48184798067300555, 'counts': [4, 2, 1, 0], 'totals': [295, 294, 293, 292], 'precisions': [1.3559322033898304, 0.6802721088435374, 0.3412969283276451, 0.17123287671232876], 'bp': 1.0, 'sys_len': 295, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.013559322033898305, 0.006802721088435374, 0.0034129692832764505, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 29.5, 'translation_length': 295, 'reference_length': 10} Rouge: {'rouge1': 0.02531645569620253, 'rouge2': 0.0, 'rougeL': 0.02531645569620253, 'rougeLsum': 0.02531645569620253} Sari: {'sari': 41.616390145801915} Flesh Reading Ease: -36.36 ---------------------------------------- Source: ['Sind mir etwa noch mehr Söhne im Leib, sodass sie eure Männer werden könnten?'] Prediction: ['Im Leib sind sie noch mehr Söhne im Leib.\nSie werden eure Männer werden könnten sie werden.\nSie werden eure Männer werden könnten sie nicht mehr zum Leib kommen.'] Label: [['Habe ich etwa einen Mann für euch?\nIch habe keine anderen Söhne.']] Sacrebleu: {'score': 1.3794462224541233, 'counts': [2, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [6.25, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2857142857142856, 'translation_length': 32, 'reference_length': 14} Rouge: {'rouge1': 0.08333333333333333, 'rouge2': 0.043478260869565216, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.08333333333333333} Sari: {'sari': 32.472527472527474} Flesh Reading Ease: 88.4 ---------------------------------------- Source: ['“ Da sagte Noomi: „Kehrt zurück, meine Töchter! Warum wollt ihr mit mir gehen?'] Prediction: ['Noomi (24) und ihr (29) sind während der Woche zum dritten Mal noch nicht mehr geschickt.\nWir haben dir die beiden auf ihre Töchter gegeben, wie sie sich mit ihrem Töchter gehen konnten.\nWir haben dir die beiden auf ihre Töchter zu tun, wie sie sie sind.'] Label: [['" Da sagt Noomi:" Warum wollt ihr mit mir gehen?']] Sacrebleu: {'score': 0.9176243255076387, 'counts': [4, 0, 0, 0], 'totals': [56, 55, 54, 53], 'precisions': [7.142857142857143, 0.9090909090909091, 0.46296296296296297, 0.2358490566037736], 'bp': 1.0, 'sys_len': 56, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.3076923076923075, 'translation_length': 56, 'reference_length': 13} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 25.075571895424837} Flesh Reading Ease: 82.4 ---------------------------------------- Source: ['Ach, mir ist es um euretwillen sehr bitter, dass die Hand JHWHs gegen mich ging.'] Prediction: ['Die Welt ist eine bitter, bitter, bitter, bitter, dass die Hand JHWHs gegen mich ging.\nDie Welt ist eine bitter, bitter, bitter, bitter, dass die Hand JHWHs gegen mich ging.\nAuch die Hand JHWHs gegen mich ging.'] Label: [['Gott hat mich bestraft.\nUnd darum kann ich euch nicht helfen.']] Sacrebleu: {'score': 1.0009398039350847, 'counts': [3, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [6.25, 1.0638297872340425, 0.5434782608695652, 0.2777777777777778], 'bp': 1.0, 'sys_len': 48, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6923076923076925, 'translation_length': 48, 'reference_length': 13} Rouge: {'rouge1': 0.04166666666666667, 'rouge2': 0.0, 'rougeL': 0.04166666666666667, 'rougeLsum': 0.04166666666666667} Sari: {'sari': 35.8974358974359} Flesh Reading Ease: 85.8 ---------------------------------------- Source: ['JHWH erweise euch Güte, so wie ihr sie den Toten und mir erwiesen habt: JHWH vergelte es euch damit, dass ihr Ruhe findet - jede im Haus ihres Mannes! “ - und sie küsste sie.'] Prediction: ['JHWH erweise euch Güte, so wie ihr sie den Toten und mir erwiesen habt.\n"JHWH küsste sie im Haus ihres Mannes!\n", sagt sie.\n"JHWH erweise euch Güte, so wie ihr sie den Toten und mir erwiesen habt: JHWH vergelte es euch damit, dass ihr Ruhe findet.'] Label: [['Ich liebe euch als gute Frauen für meine Söhne.\nAber meine Söhne sind tot.\nIch muss euch darum jetzt verlassen.\nGott hilft euch jetzt.\nIhr findet dann Ruhe.\nIhr findet dann auch einen Mann.']] Sacrebleu: {'score': 1.052601808414082, 'counts': [8, 0, 0, 0], 'totals': [58, 57, 56, 55], 'precisions': [13.793103448275861, 0.8771929824561403, 0.44642857142857145, 0.22727272727272727], 'bp': 1.0, 'sys_len': 58, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.45, 'translation_length': 58, 'reference_length': 40} Rouge: {'rouge1': 0.16279069767441862, 'rouge2': 0.0, 'rougeL': 0.1395348837209302, 'rougeLsum': 0.1395348837209302} Sari: {'sari': 35.78431372549019} Flesh Reading Ease: 82.8 ---------------------------------------- Source: ['Und noch einmal erhoben sie ihre Stimme und weinten.'] Prediction: ['Die Schweizerin und Schweizerin wollen sich noch einmal auf ihre Stimme und weinten.\nSie wollen sich noch einmal auf ihre Stimme und weinten.\nDie Schweizerin und Schweizerin wollen sich noch einmal auf ihre Stimme und weinten.'] Label: [['" Rut und Orpa weinen.']] Sacrebleu: {'score': 1.1216940038341034, 'counts': [2, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [5.128205128205129, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.05128205128205128, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.5, 'translation_length': 39, 'reference_length': 6} Rouge: {'rouge1': 0.049999999999999996, 'rouge2': 0.0, 'rougeL': 0.049999999999999996, 'rougeLsum': 0.049999999999999996} Sari: {'sari': 35.96491228070175} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['Da sagte sie: „ Siehe, deine Schwägerin kehrt zu ihrem Volk und ihrem Gott zurück - kehre alsoauch du mit deiner Schwägerin zurück!'] Prediction: ['Eine Schwägerin kehrt zu ihrem Volk und ihrem Gott zurück.\nSiehe, deine Schwägerin kehrt zu ihrem Volk und ihrem Gott zurück.\nDie Schwägerin ist auch eine Schwägerin, die ihre Schwägerin kehrt zu ihrem Volk und ihrem Gott zurück.'] Label: [['Und Noomi sagt:" Orpa geht schon nach Hause.\nRut!\nGeh mit Orpa.\nGeh nach Hause!']] Sacrebleu: {'score': 1.0134961585174012, 'counts': [2, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [4.651162790697675, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.046511627906976744, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0476190476190474, 'translation_length': 43, 'reference_length': 21} Rouge: {'rouge1': 0.03278688524590164, 'rouge2': 0.0, 'rougeL': 0.03278688524590164, 'rougeLsum': 0.03278688524590164} Sari: {'sari': 33.341503267973856} Flesh Reading Ease: 73.7 ---------------------------------------- Source: ['Und sie verließ den Ort, wo sie gewesen war, und ihre beiden Schwiegertöchter waren bei ihr.'] Prediction: ['Eine Schwiegertöchter wurde im Alter von 99 Jahren bei ihr gestohlen.\nSie verließ den Ort, wo sie gewesen war, und ihre beiden Schwiegertöchter waren bei ihr.\nDie beiden Schwiegertöchter waren bei ihr.'] Label: [['°Noomi° geht los.\nAber Rut und Orpa sind bei Noomi.']] Sacrebleu: {'score': 1.4091499441909465, 'counts': [4, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [10.81081081081081, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.10810810810810811, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0833333333333335, 'translation_length': 37, 'reference_length': 12} Rouge: {'rouge1': 0.08888888888888888, 'rouge2': 0.0, 'rougeL': 0.08888888888888888, 'rougeLsum': 0.08888888888888888} Sari: {'sari': 27.631578947368425} Flesh Reading Ease: 69.85 ---------------------------------------- Source: ['Noomi hatte einen Verwandten ihres Mannes; Sein Name war: Boas.'] Prediction: ['Noomi (24) hatte einen Verwandten ihres Mannes.\nSein Name war: Boas.'] Label: [['Noomi kennt Boas.\nNoomi und Boas sind verwandt.']] Sacrebleu: {'score': 5.816635421147515, 'counts': [4, 1, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [25.0, 6.666666666666667, 3.5714285714285716, 1.9230769230769231], 'bp': 1.0, 'sys_len': 16, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 16, 'reference_length': 10} Rouge: {'rouge1': 0.2105263157894737, 'rouge2': 0.0, 'rougeL': 0.2105263157894737, 'rougeLsum': 0.2105263157894737} Sari: {'sari': 38.33333333333333} Flesh Reading Ease: 80.9 ---------------------------------------- Source: ['einen mächtigen, fähigen Mann aus der Sippe Elimelechs.'] Prediction: ['Ein mächtiger, fähiger Mann aus der Sippe Elimelechs wurde im Alter von 99 Jahren aufgefunden.\nEr war mit seinem mächtigen, fähigen Mann aus der Sippe Elimelechs.\nDie Polizei sucht Zeugen.'] Label: [['Boas ist klug.\nBoas ist mächtig.\nNoomi und Boas gehören zu einer Familie.\nDie Familie von Elimelech.']] Sacrebleu: {'score': 2.6556282775658278, 'counts': [5, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [14.285714285714286, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 35, 'reference_length': 21} Rouge: {'rouge1': 0.11320754716981131, 'rouge2': 0.0, 'rougeL': 0.07547169811320754, 'rougeLsum': 0.11320754716981131} Sari: {'sari': 36.481772882244954} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Rut, die Moabiterin, sagte zu Noomi: „Ich würde gerne auf das Feld gehen und an den Ähren mitlesen hinter dem, in dessen Augen ich Gefallen finde.'] Prediction: ['Noomi (23) und Rut (29) wollen gerne auf das Feld gehen.\nDas Feld würde gerne auf das Feld gehen.\nNoomi warnt vor einem Jahr, dass sie sich mitlesen hinter dem, in dessen Augen ich Gefallen finde.'] Label: [['Rut gehört nicht zur Familie.\nAber Rut sagt: Ich möchte helfen.\nIch möchte auf das Feld gehen.\nAuf dem Feld wird geerntet.\nVielleicht mag Boas mich. Dann darf ich sammeln.\nVielleicht kann ich mit Boas ernten.']] Sacrebleu: {'score': 9.269477351559676, 'counts': [11, 4, 3, 2], 'totals': [45, 44, 43, 42], 'precisions': [24.444444444444443, 9.090909090909092, 6.976744186046512, 4.761904761904762], 'bp': 1.0, 'sys_len': 45, 'ref_len': 44} Bleu: {'bleu': 0.0926947735155968, 'precisions': [0.24444444444444444, 0.09090909090909091, 0.06976744186046512, 0.047619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 1.0227272727272727, 'translation_length': 45, 'reference_length': 44} Rouge: {'rouge1': 0.23684210526315788, 'rouge2': 0.08108108108108107, 'rougeL': 0.21052631578947367, 'rougeLsum': 0.23684210526315788} Sari: {'sari': 44.25743737377097} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['“ Sie sagte zu ihr: „Geh, meine Tochter!'] Prediction: ['Eine Tochter (24) ist auf der Suche nach der Suche nach ihrem Tochter.\nSie sagte: "Geh, meine Tochter!\nIch, meine Tochter!\nIch, meine Tochter!\nIch, meine Tochter!\nIch, meine Tochter!\nIch, meine Tochter!\nIch, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh, meine Tochter!\nIh'] Label: [['Noomi sagt: Mach das.\nDu bist für mich wie eine Tochter!']] Sacrebleu: {'score': 0.33703601528509197, 'counts': [4, 1, 0, 0], 'totals': [251, 250, 249, 248], 'precisions': [1.593625498007968, 0.4, 0.20080321285140562, 0.10080645161290322], 'bp': 1.0, 'sys_len': 251, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.01593625498007968, 0.004, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 17.928571428571427, 'translation_length': 251, 'reference_length': 14} Rouge: {'rouge1': 0.024096385542168676, 'rouge2': 0.012195121951219513, 'rougeL': 0.024096385542168676, 'rougeLsum': 0.024096385542168676} Sari: {'sari': 43.43891402714932} Flesh Reading Ease: 83.1 ---------------------------------------- Source: ['Zufällig geriet sie auf das Feldstück des Boas, der aus der Sippe des Elimelech war.'] Prediction: ['Eine Frau aus der Sippe des Elimelech war auf dem Feldstück des Boas zufällig geriet auf das Feldstück des Boas.\nZufällig geriet sie aus der Sippe des Elimelech.'] Label: [['Denn sie geht auf ein gutes Feld.\nDenn das Feld gehört Boas.']] Sacrebleu: {'score': 3.2677968802443296, 'counts': [6, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.142857142857143, 'translation_length': 30, 'reference_length': 14} Rouge: {'rouge1': 0.17777777777777778, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.17777777777777778} Sari: {'sari': 38.41374269005848} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ['“Der Junge, der über die Schnitter gestellt war, antwortete: „Ein moabitisches Mädchen ist sie, das mit Noomi zurückgekehrt ist aus dem Gebiet Moab.'] Prediction: ['Ein moabitisches Mädchen ist am Sonntag im Alter von 99 Jahren gestorben.\nDer Junge, der über die Schnitter gestellt war, antwortete: Ein moabitisches Mädchen ist sie, das mit Noomi zurückgekehrt ist.'] Label: [['Der Chef antwortet: Ich berichte dir, wie sie zu uns gekommen ist.\nDas ist ein fremdes Mädchen.\nDas Mädchen ist mit Noomi gekommen.\nNoomi ist mit dem Mädchen aus der Fremde zurück gekommen.']] Sacrebleu: {'score': 4.041584393833915, 'counts': [14, 3, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [37.83783783783784, 8.333333333333334, 1.4285714285714286, 0.7352941176470589], 'bp': 0.9473808953395989, 'sys_len': 37, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.3783783783783784, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 0.9473808953395987, 'length_ratio': 0.9487179487179487, 'translation_length': 37, 'reference_length': 39} Rouge: {'rouge1': 0.4225352112676056, 'rouge2': 0.11594202898550725, 'rougeL': 0.25352112676056343, 'rougeLsum': 0.3661971830985916} Sari: {'sari': 38.434995739029915} Flesh Reading Ease: 65.05 ---------------------------------------- Source: ['Und, siehe da: Da kam auch schon Boas von Betlehem her.'] Prediction: ['Eine Frau wurde von einem schweren Baby in der Nacht auf Sonntag von ihrem Mann aufgefunden.\nDie Frau war auch schon Frauen im Alter von 99 Jahren.\nDie Frau war auch schon Frauen im Alter von 99 Jahren.'] Label: [['Da kommt Boas aus Bethlehem.']] Sacrebleu: {'score': 0.8954307276600084, 'counts': [1, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [2.4390243902439024, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.024390243902439025, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.833333333333333, 'translation_length': 41, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 50.99206349206349} Flesh Reading Ease: 85.4 ---------------------------------------- Source: ['Er sagte zu den Schnittern: „JHWH ist mit euch! “ Und sie sagten zu ihm: „Es segne dich JHWH! “ Und Boas sagte zu seinem Jungen, der über die Schnitter gestellt war: „Zu wem gehört dieses Mädchen?'] Prediction: ['Ein Mädchen ist mit euch!\nUnd Boas sagte zu ihm: "Es segne dich JHWH!\n“ Und Boas sagte zu seinem Jungen, der über die Schnitter gestellt war: "Zu wem gehört dieses Mädchen?\nZu wem gehört dieses Mädchen?'] Label: [['Boas sagt zu den Arbeitern: Gott soll bei euch sein!\nUnd die Arbeiter antworten: Gott segne dich!\nBoas fragt den Chef: Wer ist dieses Mädchen?\nBoas hat Rut gesehen.']] Sacrebleu: {'score': 5.346439111761613, 'counts': [16, 4, 1, 0], 'totals': [46, 45, 44, 43], 'precisions': [34.78260869565217, 8.88888888888889, 2.272727272727273, 1.1627906976744187], 'bp': 1.0, 'sys_len': 46, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.34782608695652173, 0.08888888888888889, 0.022727272727272728, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2777777777777777, 'translation_length': 46, 'reference_length': 36} Rouge: {'rouge1': 0.3380281690140845, 'rouge2': 0.08695652173913043, 'rougeL': 0.22535211267605634, 'rougeLsum': 0.30985915492957744} Sari: {'sari': 38.60835280946371} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['‘ Und sie kam und blieb vom Morgen bis gerade eben;'] Prediction: ['Eine Frau (24) und ihr Mann (29) wurden am Freitagabend in der Nacht auf Sonntagabend verhaftet.\nSie kam bis zum 23.\nMal zu einem Tötungsdelikt auf dem Kanton Bern (30) und blieb vom Morgen eben.\nDie Frau wurde vom Morgen bis zum 24.\nMal verhaftet.'] Label: [['Das Mädchen hat den ganzen Tag gearbeitet.']] Sacrebleu: {'score': 0.6488583831481832, 'counts': [1, 0, 0, 0], 'totals': [56, 55, 54, 53], 'precisions': [1.7857142857142858, 0.9090909090909091, 0.46296296296296297, 0.2358490566037736], 'bp': 1.0, 'sys_len': 56, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.017857142857142856, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.0, 'translation_length': 56, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.771929824561404} Flesh Reading Ease: 86.8 ---------------------------------------- Source: ['ihr Sitzen im Haus ist erst seit Kurzem.'] Prediction: ['Im Haus von Sitzen im Kanton Bern ist es zu sehen gekommen.\nDie beiden waren nach der Veranstaltung des Jahres 2020 gekommen.'] Label: [['Das Mädchen macht erst jetzt Pause.']] Sacrebleu: {'score': 1.5732934811145336, 'counts': [1, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [4.166666666666667, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.041666666666666664, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4285714285714284, 'translation_length': 24, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 50.297619047619044} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['“ Und Boas sagte zu Rut: „Höre, meine Tochter: Gehe nicht zum Sammeln auf ein anderes Feld und ziehe auch nicht fort von hier, sondern hänge dich hier an meine Mädchen.'] Prediction: ['Einige Mädchen hätten sich immer mehr zum Sammeln auf ein anderes Feld gebracht.\nEinige Mädchen hätten sich nicht zum Sammeln auf ein anderes Feld gebracht.\nEinige Mädchen hätten sich auf ein anderes Feld gebracht.'] Label: [['Und Boas sagt zu Rut: Hör zu.\nDu kannst gerne hier bleiben Bleib bei den Mädchen hier.\nDas ist mein Feld.\nBleib bei meinen Mädchen.']] Sacrebleu: {'score': 1.559480765382838, 'counts': [6, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [16.216216216216218, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.16216216216216217, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2333333333333334, 'translation_length': 37, 'reference_length': 30} Rouge: {'rouge1': 0.1764705882352941, 'rouge2': 0.060606060606060615, 'rougeL': 0.1764705882352941, 'rougeLsum': 0.1764705882352941} Sari: {'sari': 32.63419127756696} Flesh Reading Ease: 69.25 ---------------------------------------- Source: ['“ Also ging und kam und sammelte sie hinter den Schnittern an den Ähren mit.'] Prediction: ['Die beiden kamen am Sonntagabend zum dritten Mal in der Schweiz.\nSie war mit dem Schnittern zum dritten Mal gefunden und ging dabei mit.\nDie beiden kam zu einer Woche zum dritten Mal.'] Label: [['Rut sammelt Ähren.']] Sacrebleu: {'score': 1.0253311603116817, 'counts': [1, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [2.7777777777777777, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 4} Bleu: {'bleu': 0.0, 'precisions': [0.027777777777777776, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 9.0, 'translation_length': 36, 'reference_length': 4} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 50.81018518518518} Flesh Reading Ease: 87.1 ---------------------------------------- Source: ['Sie hat gesagt: ‚ Ich würde gerne lesen und bei den Garben hinter den Schnittern her sammeln.'] Prediction: ['Die Schweizerin Sängerin Stefanie Lofven (24) hat sich am Freitagabend bei den Garben gesagt.\nSie war zuvor bei den Spielen gesagt und warum sie sich auf den Garben sammeln.\nSie war zuvor auf den Garben gesagt, dass sie sich gerne lesen würde.'] Label: [['Das Mädchen hat gefragt: Darf ich hier arbeiten?\nDarf ich die Reste nehmen?\nWas ihr nicht braucht?']] Sacrebleu: {'score': 0.7605497822189857, 'counts': [1, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [2.0833333333333335, 1.0638297872340425, 0.5434782608695652, 0.2777777777777778], 'bp': 1.0, 'sys_len': 48, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.020833333333333332, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2857142857142856, 'translation_length': 48, 'reference_length': 21} Rouge: {'rouge1': 0.06451612903225805, 'rouge2': 0.0, 'rougeL': 0.032258064516129024, 'rougeLsum': 0.06451612903225805} Sari: {'sari': 40.520833333333336} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ['Gehe hinter ihnen.'] Prediction: ['Einige Frauen haben ihre Wohnungen aufgefordert, dass sie ihnen sich nicht mehr geschützt haben.\nSie haben ihnen nicht mehr geschützt, sondern ihnen nach ihnen zu kämpfen.'] Label: [['Geh mit den anderen.']] Sacrebleu: {'score': 1.2414943415352928, 'counts': [1, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [3.3333333333333335, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.03333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.0, 'translation_length': 30, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 63.888888888888886} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Hiermit befehle ich meinen Jungen, dich nicht anzurühren?'] Prediction: ['Einige von ihnen befehlen sich meinen Jungen, dich nicht anzurühren?\nDie beiden befehlen sich meinen Jungen, dich nicht anzurühren?'] Label: [['Sie werden dir nichts tun.']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.8333333333333335, 'translation_length': 23, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.33333333333333} Flesh Reading Ease: 59.35 ---------------------------------------- Source: ['Deine Augen seien auf das Feld gerichtet, das sie abernten.'] Prediction: ['Eine junge Frau wurde auf das Feld gerichtet, das sie abernten.\nDie Augen seien auf das Feld gerichtet, das sie abernten.'] Label: [['Boas sagt: Konzentriere dich.']] Sacrebleu: {'score': 1.506189323093867, 'counts': [1, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [4.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.04, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.166666666666667, 'translation_length': 25, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.848484848484844} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['Und wenn du Durst hast, gehe zu den Gefäßen und trinke vom, was auch die Jungen schöpfen!'] Prediction: ['Du Durst hast, gehe zu den Gefäßen und trinke vom, was auch die Jungen schöpfen.\nUnd wenn du Durst hast, gehe zu den Gefäßen und trinke vom, was auch die Jungen schöpfen.\nUnd wenn du Durst hast, gehe zu den Gefäßen und trinke vom, was auch die Jungen schöpfen.'] Label: [['Du kannst trinken.\nWie die anderen.']] Sacrebleu: {'score': 0.8851290873849788, 'counts': [4, 0, 0, 0], 'totals': [58, 57, 56, 55], 'precisions': [6.896551724137931, 0.8771929824561403, 0.44642857142857145, 0.22727272727272727], 'bp': 1.0, 'sys_len': 58, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.06896551724137931, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.25, 'translation_length': 58, 'reference_length': 8} Rouge: {'rouge1': 0.06557377049180327, 'rouge2': 0.0, 'rougeL': 0.06557377049180327, 'rougeLsum': 0.06557377049180327} Sari: {'sari': 37.86549707602339} Flesh Reading Ease: 81.8 ---------------------------------------- Source: ['Dann stand sie auf, um zu sammeln.'] Prediction: ['Eine Frau wurde in der Nacht auf Sonntag von ihrem Mann aufgefunden.\nDie Frau war auf, um zu sammeln.\nDie Frau stand auf, um zu sammeln.'] Label: [['Dann steht Rut auf.\nRut sammelt Korn.']] Sacrebleu: {'score': 1.5784309053930103, 'counts': [3, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [9.67741935483871, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.0967741935483871, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4444444444444446, 'translation_length': 31, 'reference_length': 9} Rouge: {'rouge1': 0.060606060606060615, 'rouge2': 0.0, 'rougeL': 0.060606060606060615, 'rougeLsum': 0.060606060606060615} Sari: {'sari': 32.5} Flesh Reading Ease: 95.25 ---------------------------------------- Source: ['Sie hob es auf, kam in die Stadt und zeigte ihrer Schwiegermutter, was sie gelesen hat und zog heraus und gab ihr, was sie übrig gelassen hatte nach ihrer Sättigung.'] Prediction: ['Eine Schwiegermutter hat in der Stadt Zürich eine Schwiegermutter übrig gelassen.\nSie hatte ihre Schwiegermutter gelesen und zog heraus und gab ihr, was sie übrig gelassen hatte nach ihrer Sättigung.\nDie Schwiegermutter hatte ihre Schwiegermutter gelesen und zog heraus und gab ihr, was sie übrig gelassen hatte nach ihrer Sättigung.'] Label: [['Rut hebt das ganze Korn auf.\nRut trägt es nach Hause.\nRut zeigt Noomi das Korn.\nUnd Rut zeigt Noomi den Rest vom Mittagessen.']] Sacrebleu: {'score': 0.9347836091389595, 'counts': [4, 0, 0, 0], 'totals': [55, 54, 53, 52], 'precisions': [7.2727272727272725, 0.9259259259259259, 0.4716981132075472, 0.2403846153846154], 'bp': 1.0, 'sys_len': 55, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.07272727272727272, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9642857142857142, 'translation_length': 55, 'reference_length': 28} Rouge: {'rouge1': 0.05128205128205127, 'rouge2': 0.0, 'rougeL': 0.05128205128205127, 'rougeLsum': 0.05128205128205127} Sari: {'sari': 32.11805555555555} Flesh Reading Ease: 52.15 ---------------------------------------- Source: ['JHWH vergelte dein Tun und dein Lohn sei voll von JHWH, dem Gott Israels, zum du gekommen bist, um unter seinen Flügeln Schutz zu suchen! “ Sie antwortete: „Möge ich in deinen Augen Gefallen finden, mein Herr, weil du mich getröstet und weil du zum Herzen deiner Magd gesprochen hast.'] Prediction: ['Eine der beiden Türen wurde von JHWH vergelt.\nSie verzichtete einen Türen und verzichtete einen Lohn.\nSie wurde von Gott Israels, dem Gott Israels, zum Opfer von JHWH gekommen.'] Label: [['Gott wird dich beschenken.\nDenn du bist gut.\nGott wird dich beschützen.\nRut sagt: Danke.\nDu sprichst freundlich.\nGefalle ich dir?']] Sacrebleu: {'score': 1.6276888006478718, 'counts': [5, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [14.705882352941176, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.14705882352941177, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2142857142857142, 'translation_length': 34, 'reference_length': 28} Rouge: {'rouge1': 0.07547169811320754, 'rouge2': 0.0, 'rougeL': 0.07547169811320754, 'rougeLsum': 0.07547169811320754} Sari: {'sari': 34.283625730994146} Flesh Reading Ease: 70.85 ---------------------------------------- Source: ['Und Boas befahl seinen Jungen indem er sagte: „Auch zwischen den Garben darf sie sammeln, und ihr dürft sie nicht beschimpfen!'] Prediction: ['Einige Tage lang hat seinen Garben und einen Garben geschmackt.\nDie beiden waren zwischen den Garben und den Garben geschmackt.\nEinige Tage lang hatte sich dabei zu sehen, wie sie ihr dürft sie nicht beschimpfen.'] Label: [['Boas sagt zu den Arbeitern: Lasst sie mit euch sammeln.\nSchimpft sie nicht aus.\nDenn Rut darf eigentlich nur die Reste sammeln.']] Sacrebleu: {'score': 2.66785298043081, 'counts': [8, 1, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [20.512820512820515, 2.6315789473684212, 1.3513513513513513, 0.6944444444444444], 'bp': 1.0, 'sys_len': 39, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.20512820512820512, 0.02631578947368421, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 39, 'reference_length': 26} Rouge: {'rouge1': 0.20689655172413793, 'rouge2': 0.03571428571428571, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 37.23806238037737} Flesh Reading Ease: 68.85 ---------------------------------------- Source: ['Ja, mehr noch: Ihr sollt ihr durchaus herausziehen herausziehen aus den Handbündeln, es liegen lassen und sie soll das Liegengelassene sammeln.'] Prediction: ['Ein Liegengelassene soll das Liegengelassene sammeln.\nIhr sollt ihr durchaus herausziehen herausziehen aus den Handbündeln, es liegen lassen und sie soll das Liegengelassene sammeln.'] Label: [['Boas sagt auch: Lasst Korn für sie liegen.\nDas Mädchen soll viel sammeln.']] Sacrebleu: {'score': 3.652945772536268, 'counts': [6, 1, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [22.22222222222222, 3.8461538461538463, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.038461538461538464, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6875, 'translation_length': 27, 'reference_length': 16} Rouge: {'rouge1': 0.25, 'rouge2': 0.0, 'rougeL': 0.15, 'rougeLsum': 0.15} Sari: {'sari': 36.5} Flesh Reading Ease: 39.3 ---------------------------------------- Source: ['“ Boas sagte zu ihr zur Essenszeit: „Komm hierher!'] Prediction: ['Die beiden waren zum dritten Mal in der Schweiz.\nEinige der beiden waren nach der Veranstaltung von ihrem Mann auf dem Weg zurück.\nDie beiden waren zum dritten Mal auf dem Weg zum Thema.'] Label: [['Es ist Zeit zum Mittagessen.\nBoas sagt zu Rut: Komm!']] Sacrebleu: {'score': 1.184949136625139, 'counts': [2, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [5.405405405405405, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.05405405405405406, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8461538461538463, 'translation_length': 37, 'reference_length': 13} Rouge: {'rouge1': 0.04444444444444444, 'rouge2': 0.0, 'rougeL': 0.04444444444444444, 'rougeLsum': 0.04444444444444444} Sari: {'sari': 56.41414141414142} Flesh Reading Ease: 80.95 ---------------------------------------- Source: ['Bin ich nicht nur wie eine deiner Mägde!?'] Prediction: ['Eine Mägde wird von der Mägde von Südafrika aufgefunden.\nDie beiden waren nicht nur wie eine deiner Mägde, sondern auch einige von ihnen.\nDie beiden waren nicht nur wie eine deiner Mägde, sondern auch einige von ihnen.'] Label: [['Ich bin nur wie eine Arbeiterin von dir.']] Sacrebleu: {'score': 3.693627242535955, 'counts': [5, 2, 1, 0], 'totals': [42, 41, 40, 39], 'precisions': [11.904761904761905, 4.878048780487805, 2.5, 1.2820512820512822], 'bp': 1.0, 'sys_len': 42, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.11904761904761904, 0.04878048780487805, 0.025, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.666666666666667, 'translation_length': 42, 'reference_length': 9} Rouge: {'rouge1': 0.16, 'rouge2': 0.08333333333333334, 'rougeL': 0.16, 'rougeLsum': 0.16} Sari: {'sari': 43.65921115921116} Flesh Reading Ease: 68.25 ---------------------------------------- Source: ['Und ihr sollt sie nicht schelten! “ Und so sammelte sie auf dem Feld bis zum Abend;'] Prediction: ['Eine der besten Kinder wurde am Freitagabend in der Nähe des Felds in Los Angeles geschlossen.\nDie Kinder waren nicht schelter, sondern auch auf dem Feldsport.\nDie Kinder waren nicht schelter, sondern auch auf dem Feldsport.'] Label: [['Und schimpft sie nicht aus.\nDarum sammelt Rut viel Korn.\nBis zum Abend.']] Sacrebleu: {'score': 1.2663302792223932, 'counts': [4, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [9.75609756097561, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.0975609756097561, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5625, 'translation_length': 41, 'reference_length': 16} Rouge: {'rouge1': 0.04, 'rouge2': 0.0, 'rougeL': 0.04, 'rougeLsum': 0.04} Sari: {'sari': 39.732337379396206} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['dann kopfte sie das, was sie gesammelt hatte, aus - und es ergab ungefähr ein Efa Gerste.'] Prediction: ['Eine Frau ergab ein Efa Gerste.\nSie ergab ungefähr ein Efa Gerste.'] Label: [['Rut sammelt mehr als 10 Kilo.']] Sacrebleu: {'score': 2.8398387225677895, 'counts': [1, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [7.142857142857143, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 14, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 80.4 ---------------------------------------- Source: ['“Da warf sie sich auf ihr Gesicht und neigte sich erdenwärts und sagte zu ihm: „Warum nur habe ich Gefallen in deinen Augen gefunden, so dass du mich wohlgefällig ansiehst, obwohl ich Ausländerin bin? “ Boas anwortete und sagte zu ihr: „Berichtet berichtet wurde mir alles, was du für deine Schwiegermutter nach dem Tod deines Mannes getan hast: dass du deinen Vater und deine Mutter und das Land deiner Geburt verlassen hast und zu einem Volk gegangen bist, das du vorher nicht kanntest.'] Prediction: ['Ein Mann hat einen Vater und eine Mutter in einem Geburt verlassen.\nDas Land hat einen Vater und eine Mutter verlassen hast.\nDas Land bist zu einem Volk.'] Label: [['Rut wirft sich zu Boden.\nRut sagt zu Boas: Warum bist du gut zu mir?\nIch bin Ausländerin.\nBoas antwortet: Du bist gut zu Noomi.\nDer Mann von Noomi ist gestorben.\nDer Sohn von Noomi ist gestorben.\nDer Sohn war dein Mann.\nDu bist bei Noomi geblieben.\nDu hast deine Heimat verlassen.\nDu bist mit Noomi zu uns gekommen.']] Sacrebleu: {'score': 0.9334913089370607, 'counts': [8, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [25.806451612903224, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 0.2751820003835104, 'sys_len': 31, 'ref_len': 71} Bleu: {'bleu': 0.0, 'precisions': [0.25806451612903225, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 0.2751820003835104, 'length_ratio': 0.43661971830985913, 'translation_length': 31, 'reference_length': 71} Rouge: {'rouge1': 0.11363636363636362, 'rouge2': 0.0, 'rougeL': 0.09090909090909091, 'rougeLsum': 0.11363636363636362} Sari: {'sari': 43.40077044463009} Flesh Reading Ease: 82.95 ---------------------------------------- Source: ['Iss vom Brot und tunke deinen Brocken in den Essig! “ - Also setzte sich sich an die Seite der Schnitter, er reichte ihr Röstkorn, sie aß, wurde satt und lies übrig.'] Prediction: ['Ein Röstkorn hat einen Brocken in den Essig geschickt.\nDas ist ein Röstkorn, der eine Röstkorn aus dem Brot ausgerechnet wurde.\nAber nicht, dass es sich um einen Brocken handeln kann.'] Label: [['Du kannst mit mir essen.\nRut setzte sich zu den Arbeitern.\nBoas gibt ihr geröstete Körner.\nRut isst.\nRut wird satt.\nEs bleibt noch was übrig.']] Sacrebleu: {'score': 1.533227700920213, 'counts': [5, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [13.88888888888889, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.1388888888888889, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.125, 'translation_length': 36, 'reference_length': 32} Rouge: {'rouge1': 0.0967741935483871, 'rouge2': 0.0, 'rougeL': 0.06451612903225808, 'rougeLsum': 0.0967741935483871} Sari: {'sari': 34.330357142857146} Flesh Reading Ease: 87.8 ---------------------------------------- Source: ['Daher wasche dich, salbe dich, wirf deine Kleider um dich und geh zur Tenne hinab!'] Prediction: ['Die Welt ist ein Paar, der sich mit seinem Kleider um dich zu sein.\nDie Welt ist ein Paar, der sich mit seinem Kleider zur Tenne hinab.\nDie Welt ist ein Paar, der sich mit seinem Kleider zur Tenne hinab.'] Label: [['Ich habe eine Idee: Wasch dich.\nMach dich schön.\nZieh was Schönes an.\nGeh zum Hof.\nWarte dort.']] Sacrebleu: {'score': 1.1239503708631486, 'counts': [4, 0, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [8.695652173913043, 1.1111111111111112, 0.5681818181818182, 0.29069767441860467], 'bp': 1.0, 'sys_len': 46, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9166666666666667, 'translation_length': 46, 'reference_length': 24} Rouge: {'rouge1': 0.03333333333333333, 'rouge2': 0.0, 'rougeL': 0.03333333333333333, 'rougeLsum': 0.03333333333333333} Sari: {'sari': 42.05619412515964} Flesh Reading Ease: 90.65 ---------------------------------------- Source: ['“ Da antwortete sie ihr: „Alles, was du sagst, will ich tun.'] Prediction: ['Eine Frau hat ihr eigentlich sagt, wie sie ihr sagst.\nDie Frau war dabei, dass sie ihr sagst, will ich tun.\nDie Frau war dabei, dass sie ihr sagst, will ich tun.'] Label: [['Rut sagt: Du möchtest es?\nGut.\nIch werde es machen.']] Sacrebleu: {'score': 1.2090878038257866, 'counts': [3, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [7.5, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.075, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.857142857142857, 'translation_length': 40, 'reference_length': 14} Rouge: {'rouge1': 0.09302325581395349, 'rouge2': 0.0, 'rougeL': 0.09302325581395349, 'rougeLsum': 0.09302325581395349} Sari: {'sari': 34.65608465608465} Flesh Reading Ease: 99.1 ---------------------------------------- Source: ['Lass dich aber nicht vom Mann erkennen, bis er mit Essen und Trinken fertig ist!'] Prediction: ['Ein Mann hat sich mit Essen und Trinken fertig und ist mit Essen und Trinken fertig.\nDas ist nicht das erste Mal, bis er mit Essen und Trinken fertig ist.'] Label: [['Warte bis Boas mit Essen und Trinken fertig ist.']] Sacrebleu: {'score': 17.681988003060095, 'counts': [8, 6, 5, 4], 'totals': [33, 32, 31, 30], 'precisions': [24.242424242424242, 18.75, 16.129032258064516, 13.333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 10} Bleu: {'bleu': 0.17681988003060095, 'precisions': [0.24242424242424243, 0.1875, 0.16129032258064516, 0.13333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 3.3, 'translation_length': 33, 'reference_length': 10} Rouge: {'rouge1': 0.35897435897435903, 'rouge2': 0.2702702702702703, 'rougeL': 0.35897435897435903, 'rougeLsum': 0.35897435897435903} Sari: {'sari': 61.793253043253046} Flesh Reading Ease: 88.95 ---------------------------------------- Source: ['Und es soll sein, wenn er sich legt: merke dir den Ort, wo er liegt, gehe, entblöße seine Beine und lege dich.'] Prediction: ['Ein Mann hatte sich in der Nacht auf Sonntag in der Nacht auf Sonntag in der Nacht auf Sonntag bekannt gegeben.\nEr entblößte seine Beine und lege dich.\nDie beiden waren nicht nur, sondern auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch a'] Label: [['Boas legt sich hin.\nMerke dir den Ort.\nNimm seine Decke von seinen Beinen.\nNimm seine Decke von seinen Füßen.\nLege dich zu ihm.']] Sacrebleu: {'score': 0.23341813364567984, 'counts': [5, 0, 0, 0], 'totals': [228, 227, 226, 225], 'precisions': [2.192982456140351, 0.22026431718061673, 0.11061946902654868, 0.05555555555555555], 'bp': 1.0, 'sys_len': 228, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.021929824561403508, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.862068965517241, 'translation_length': 228, 'reference_length': 29} Rouge: {'rouge1': 0.03187250996015936, 'rouge2': 0.008032128514056224, 'rougeL': 0.03187250996015936, 'rougeLsum': 0.03187250996015936} Sari: {'sari': 34.84744243258176} Flesh Reading Ease: 40.65 ---------------------------------------- Source: ['Er wird dir dann erzählen, was du tun sollst.'] Prediction: ['Ein Mann wird dann erzählen, was du tun sollst.\nEr wird dir dann erzählen, was du tun sollst.'] Label: [['Er wird zu dir sprechen.\nEr sagt dann zu dir: Mach dies!\nOder mach das!']] Sacrebleu: {'score': 5.165604006110218, 'counts': [5, 2, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [22.727272727272727, 9.523809523809524, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.22727272727272727, 0.09523809523809523, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1578947368421053, 'translation_length': 22, 'reference_length': 19} Rouge: {'rouge1': 0.2285714285714286, 'rouge2': 0.06060606060606061, 'rougeL': 0.2285714285714286, 'rougeLsum': 0.2285714285714286} Sari: {'sari': 40.890151515151516} Flesh Reading Ease: 100.8 ---------------------------------------- Source: ['Und es war um Mitternacht zitterte der Mann, tastete um sich und, siehe da! - eine Frau lag an seinen Beinen!'] Prediction: ['Eine Frau lag an seinen Beinen.\nEine Frau lag an seinen Beinen.'] Label: [['Es wird Mitternacht.\nBoas wird es kalt.\nBoas zittert.\nBoas tastet um sich.\nSiehe da!\nEine Frau liegt an seinen Beinen!']] Sacrebleu: {'score': 5.7129779452883795, 'counts': [7, 3, 1, 0], 'totals': [14, 13, 12, 11], 'precisions': [50.0, 23.076923076923077, 8.333333333333334, 4.545454545454546], 'bp': 0.3951177613268873, 'sys_len': 14, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.5, 0.23076923076923078, 0.08333333333333333, 0.0], 'brevity_penalty': 0.3951177613268873, 'length_ratio': 0.5185185185185185, 'translation_length': 14, 'reference_length': 27} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.19354838709677416, 'rougeL': 0.30303030303030304, 'rougeLsum': 0.30303030303030304} Sari: {'sari': 39.668964076858806} Flesh Reading Ease: 86.25 ---------------------------------------- Source: ['sie kam im Geheimen, entblößte seine Beine und legte sich.'] Prediction: ['Eine Beine entblößte sich im Geheimen und legte sich.\nDie Beine entblößte sich und legte sich.\nDie Beine entblößte sich und legte sich.'] Label: [['Rut schleicht zu Boas.\nRut nimmt die Decke von Boas weg.\nRut legt sich hin.']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4444444444444444, 'translation_length': 26, 'reference_length': 18} Rouge: {'rouge1': 0.0975609756097561, 'rouge2': 0.0, 'rougeL': 0.0975609756097561, 'rougeLsum': 0.0975609756097561} Sari: {'sari': 37.948717948717956} Flesh Reading Ease: 84.55 ---------------------------------------- Source: ['Siehe, dieser wird heute Nacht Gerste auf der Gerstentenne worfeln.'] Prediction: ['Die Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schwe'] Label: [['Boas wird heute Nacht arbeiten.\nBoas wird die Gerste bearbeiten.']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [226, 225, 224, 223], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 226, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 18.833333333333332, 'translation_length': 226, 'reference_length': 12} Rouge: {'rouge1': 0.008474576271186439, 'rouge2': 0.0, 'rougeL': 0.008474576271186439, 'rougeLsum': 0.008474576271186439} Sari: {'sari': 38.22691197691198} Flesh Reading Ease: -163.01 ---------------------------------------- Source: ['Und weiter: Ist nicht Boas, bei dessen Mägden du warst, unser Verwandter?'] Prediction: ['Die Schweizer Welt hat einen grossen Verwandter.\nDer Verwandter warst unter dem Verwandter.\nDie Schweizer Welt hat einen grossen Verwandter.'] Label: [['Und weiter: Boas war bei den Mägden.\nUnd ich habe keine Söhne mehr.\nAber Boas ist auch unser Verwandter.']] Sacrebleu: {'score': 3.9164496650022476, 'counts': [4, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [17.391304347826086, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 23, 'reference_length': 23} Rouge: {'rouge1': 0.04878048780487805, 'rouge2': 0.0, 'rougeL': 0.04878048780487805, 'rougeLsum': 0.04878048780487805} Sari: {'sari': 37.13009213009214} Flesh Reading Ease: 73.85 ---------------------------------------- Source: ['Eines Tages sprach Noomi, ihre Schwiegermutter, zu ihr: „Meine Tochter, will ich nicht für dich Ruhe suchen, damit es dir gut geht?'] Prediction: ['Noomi (24) und Noomi (29) wollen sich nicht für dich Ruhe suchen.\nDie Schwiegermutter sprach von ihren Tochter, will sich nicht für dich Ruhe suchen, damit es dir gut geht.\nNoomi hatte sich zuvor zu ihrem Ruhe gesprochen, damit es dir gut geht.'] Label: [['Noomi sagt zu Rut: Ich habe nachgedacht.\nDu bist meine Tochter.\nIch möchte dich glücklich machen.\nDu brauchst ein Zuhause.']] Sacrebleu: {'score': 1.1169266878355417, 'counts': [7, 0, 0, 0], 'totals': [53, 52, 51, 50], 'precisions': [13.20754716981132, 0.9615384615384616, 0.49019607843137253, 0.25], 'bp': 1.0, 'sys_len': 53, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.1320754716981132, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.12, 'translation_length': 53, 'reference_length': 25} Rouge: {'rouge1': 0.11940298507462685, 'rouge2': 0.0, 'rougeL': 0.08955223880597016, 'rougeLsum': 0.11940298507462685} Sari: {'sari': 34.95474484979732} Flesh Reading Ease: 77.95 ---------------------------------------- Source: ['“ Sie ging also hinab zur Tenne und befolgte alles, was ihr die Schwiegermutter geboten hatte: Boas aß, trank, sein Herz wurde fröhlich, er kam, um sich am Fuß des Getreidehaufens zu legen;'] Prediction: ['Eine Schwiegermutter hatte am Donnerstag einen Herz bei einem Getreidehaufgebot geboten.\nDie Schwiegermutter befolgte alles, was ihr die Schwiegermutter geboten hatte.\nDie Schwiegermutter befolgte alles, was ihr die Schwiegermutter geboten hatte.'] Label: [['Rut geht zum Hof.\nSie macht es so.\nDenn Noomi wünscht es.\nBoas isst.\nBoas trinkt.\nBoas wird fröhlich.\nBoas legt sich hin.\nBoas liegt neben dem Getreidehaufen.']] Sacrebleu: {'score': 1.3494116947566301, 'counts': [3, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [8.333333333333334, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 36, 'reference_length': 36} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 32.668566001899336} Flesh Reading Ease: 35.15 ---------------------------------------- Source: ['Setz dich hier irgendwo hin! “ Und dieser bog ab und setzte sich hin.'] Prediction: ['Die Schweizer Nati-Ski-Stars starten am Freitagabend in der Nati-Slam-Final.\nDie Serien-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-Slam-S'] Label: [['Setz dich.\nDer Verwandte setzt sich zu ihm.']] Sacrebleu: {'score': 3.3864985683445354, 'counts': [1, 0, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [8.333333333333334, 4.545454545454546, 2.5, 1.3888888888888888], 'bp': 1.0, 'sys_len': 12, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 12, 'reference_length': 10} Rouge: {'rouge1': 0.012269938650306749, 'rouge2': 0.0, 'rougeL': 0.012269938650306749, 'rougeLsum': 0.012269938650306749} Sari: {'sari': 51.96581196581197} Flesh Reading Ease: -702.66 ---------------------------------------- Source: ['Dann nahm Boas sich zehn Männer von den Ältesten der Stadt und sagte: „Setzt euch hier hin! “ Und sie setzten sich.'] Prediction: ['Die Stadt Zürich hatte am Sonntag einen Ältesten-Spiel geschlossen.\nEinige Männer waren dabei nach dem Spiel geschlossen.\nEinige Männer waren dabei nicht mehr, sondern auch die Stadt Zürich.'] Label: [['Boas organisiert 10 Zeugen.\nAuch die Zeugen setzten sich.']] Sacrebleu: {'score': 1.526608193588886, 'counts': [3, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [9.375, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.09375, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.909090909090909, 'translation_length': 32, 'reference_length': 11} Rouge: {'rouge1': 0.09523809523809523, 'rouge2': 0.05, 'rougeL': 0.09523809523809523, 'rougeLsum': 0.09523809523809523} Sari: {'sari': 43.85891131815045} Flesh Reading Ease: 65.4 ---------------------------------------- Source: ['Und, siehe da! der Löser kam vorüber , von dem Boas gesprochen hatte .'] Prediction: ['Die Löser haben sich vorübergehend von dem Boas gesprochen.\nDie beiden waren dabei nicht nur, sondern auch der erste Mal.\nWir haben die beiden auf dem Boas gesprochen.'] Label: [['Dann kommt der nähere Verwandte von Rut.']] Sacrebleu: {'score': 1.526608193588886, 'counts': [3, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [9.375, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.09375, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 32, 'reference_length': 8} Rouge: {'rouge1': 0.10526315789473685, 'rouge2': 0.0, 'rougeL': 0.052631578947368425, 'rougeLsum': 0.10526315789473685} Sari: {'sari': 37.878787878787875} Flesh Reading Ease: 77.1 ---------------------------------------- Source: ['Da sagte er: „Bieg ab!'] Prediction: ['Ein Mann hatte sich mit einem ähnlichen Aufruf gegen die Schweizerin überrascht.\nEr sagte: "Bieg ab!\nIch wollte einmal ab ab!\nIch wollte einmal ab ab!'] Label: [['Boas sagtKomm.']] Sacrebleu: {'score': 1.1599713834969503, 'counts': [1, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [3.125, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 3} Bleu: {'bleu': 0.0, 'precisions': [0.03125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 10.666666666666666, 'translation_length': 32, 'reference_length': 3} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 50.79365079365079} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['Dann sagte er zum Löser: „Das Feldstück, das unserem Bruder, dem Elimelech, war, verkauft Noomi, die zurückgekehrt ist aus dem Gebiet von Moab.'] Prediction: ['Noomi (18) ist aus dem Gebiet von Moab (5) gestorben.\nDer Elimelech war zurückgekehrt.\nNoomi war zurückgekehrt und ist aus dem Gebiet von Moab.'] Label: [['Dann sagt Boas zum Verwandten: Es gibt ein Feld.\nDas Feld gehört unserem Verwandten Elimelech.\nElimelech ist tot.\nNoomi ist zurück aus dem Ausland.\nNoomi will das Feld verkaufen.\nDu bist der nächste Verwandte.']] Sacrebleu: {'score': 3.0894435451529816, 'counts': [10, 2, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [32.25806451612903, 6.666666666666667, 1.7241379310344827, 0.8928571428571429], 'bp': 0.7242775199742143, 'sys_len': 31, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.3225806451612903, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 0.7242775199742143, 'length_ratio': 0.7560975609756098, 'translation_length': 31, 'reference_length': 41} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.03278688524590164, 'rougeL': 0.15873015873015872, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 38.055618294748726} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Denn es ist niemanden außer dir, der lösen könnte. Und ich bin nach dir.'] Prediction: ['Die Welt ist nicht mehr über die Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizer Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizerinnen und Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer'] Label: [['Dann kann ich das Feld kaufen.']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [221, 220, 219, 218], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 221, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 31.571428571428573, 'translation_length': 221, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 57.371794871794876} Flesh Reading Ease: -158.01 ---------------------------------------- Source: ['Und ich habe gesagt, ich will dir folgendes zu Gehör bringen: Kaufe es in Gegenwart der Sitzenden und in Gegenwart der Ältesten meines Volkes - wenn du lösen willst, dann löse.'] Prediction: ['Immer mehr Kaufe es in Gegenwart der Sitzenden und in Gegenwart der Ältesten meines Volkes wenn du lösen willst, dann löse.\nWenn du lösen willst, dann löse.'] Label: [['Du darfst das Feld als Erster kaufen.\nDu hast das Recht dazu.\nHier sind 10 Zeugen.']] Sacrebleu: {'score': 1.4262733286728257, 'counts': [2, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [6.451612903225806, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.06451612903225806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.631578947368421, 'translation_length': 31, 'reference_length': 19} Rouge: {'rouge1': 0.0851063829787234, 'rouge2': 0.0, 'rougeL': 0.0851063829787234, 'rougeLsum': 0.0851063829787234} Sari: {'sari': 35.0} Flesh Reading Ease: 72.9 ---------------------------------------- Source: ['Wenn aber niemand lösen will, dann verrate es mir, damit ich es weiß!'] Prediction: ['Die Welt ist ein Jahr nach der Corona-Pandemie.\nDie Welt ist eine neue Welle, die sich nicht verrät, sondern auch eine Woche zu verhindern.\nWir haben die Weltnummer 1 und 2 auf die Weltnummer 1 aufgefordert.'] Label: [['Wenn du auf dein Recht verzichtest, machen wir einen Vertrag.']] Sacrebleu: {'score': 1.1784531110724779, 'counts': [3, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [7.317073170731708, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.07317073170731707, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4166666666666665, 'translation_length': 41, 'reference_length': 12} Rouge: {'rouge1': 0.08333333333333333, 'rouge2': 0.0, 'rougeL': 0.041666666666666664, 'rougeLsum': 0.041666666666666664} Sari: {'sari': 63.17476383265858} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['“ Da sagte der Löser: „Ich vermag es nicht, für mich zu lösen, sonst verdürbe ich ja meinen eigenen Erbbesitz.'] Prediction: ['Ein Löser vermag es nicht, für mich zu lösen, sonst verdürbe ich ja meinen eigenen Erbbesitz.\nDer Löser vermag es nicht, für mich zu lösen, sonst verdürbe ich ja meinen eigenen Erbbesitz.'] Label: [['Der Verwandte sagt.\nDas kann ich nicht.\nDann geht mein Erbe kaputt.']] Sacrebleu: {'score': 1.4491339833989647, 'counts': [5, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [13.157894736842104, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.13157894736842105, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.533333333333333, 'translation_length': 38, 'reference_length': 15} Rouge: {'rouge1': 0.11538461538461538, 'rouge2': 0.0, 'rougeL': 0.07692307692307691, 'rougeLsum': 0.07692307692307691} Sari: {'sari': 36.36363636363636} Flesh Reading Ease: 70.4 ---------------------------------------- Source: ['“ Da sagte er: „Ich will lösen “.'] Prediction: ['Im Interview mit der 20-Minuten-App spricht der Moderator über die Welt und die Welt immer mehr über die Welt und die Welt.\nEr wollte sich mit dem Interview über die Welt lösen.'] Label: [['Der Verwandte sagt: Ich bin einverstanden.']] Sacrebleu: {'score': 1.0253311603116817, 'counts': [1, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [2.7777777777777777, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.027777777777777776, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.5, 'translation_length': 36, 'reference_length': 8} Rouge: {'rouge1': 0.048780487804878044, 'rouge2': 0.0, 'rougeL': 0.048780487804878044, 'rougeLsum': 0.048780487804878044} Sari: {'sari': 60.972222222222214} Flesh Reading Ease: 76.25 ---------------------------------------- Source: ['Da sprach Boas zu den Ältesten und zum ganzen Volk: „Ihr seid heute Zeugen, dass ich von Noomi alles gekauft habe, was dem Elimelech war und alles, was dem Kiljon und Machlon war.'] Prediction: ['Noomi (24) und Boas (29) sind seit einigen Tagen bekannt.\nSie waren zum ersten Mal noch nicht bekannt.\nAuf dem Podcast "Unchained" spricht der Moderator über die Ältesten und zum ganzen Volk.'] Label: [['Dann sagt Boas zu den 10 Zeugen und zu allen anderen: Ihr seid heute Zeugen.\nVon Noomi kaufe ich alles was Elimelech gehört hat.\nAlles was seiner Familie gehört kaufe ich.']] Sacrebleu: {'score': 1.4014248243844825, 'counts': [6, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [14.634146341463415, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.14634146341463414, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1714285714285715, 'translation_length': 41, 'reference_length': 35} Rouge: {'rouge1': 0.0923076923076923, 'rouge2': 0.0, 'rougeL': 0.06153846153846154, 'rougeLsum': 0.0923076923076923} Sari: {'sari': 29.56386886885049} Flesh Reading Ease: 81.55 ---------------------------------------- Source: ['Da sagte Boas: „Am Tag, am du das Feld von Noomi kaufst, kaufst du auch die Moabiterin Rut, die Frau des Toten, um den Namen des Toten auf seinem Erbbesitz wieder aufzurichten.'] Prediction: ['Eine Moabiterin aus dem Kanton Graubünden kaufte am Tag einen Namen des Toten auf seinem Erbbesitz.\nDie Frau des Toten wurde von der Moabiterin Rut aufgefunden.\nDie Frau des Toten wurde auf seinem Erbbesitz wieder aufgefunden.'] Label: [['Boas sagt: Du hast das Recht auf das Feld.\nUnd du kannst Rut heiraten.\nSie war die Frau vom Sohn von Noomi.\nWenn du das Feld kaufst.\nDann bleibt das Feld in der Familie.']] Sacrebleu: {'score': 1.5461571751573444, 'counts': [8, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [20.512820512820515, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 0.9746849137081522, 'sys_len': 39, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.20512820512820512, 0.0, 0.0, 0.0], 'brevity_penalty': 0.974684913708152, 'length_ratio': 0.975, 'translation_length': 39, 'reference_length': 40} Rouge: {'rouge1': 0.16901408450704225, 'rouge2': 0.028985507246376812, 'rougeL': 0.14084507042253522, 'rougeLsum': 0.16901408450704225} Sari: {'sari': 33.72543007118683} Flesh Reading Ease: 62.7 ---------------------------------------- Source: ['Löse du für dich das eigentlich von mir zu Lösende, denn ich vermag es nicht, zu lösen.'] Prediction: ['Die 20-Minuten-App-Hosts "Unchained" diskutieren am Freitag mit Host Stefan über ihre Leistungen und ihre Leistungen.\nStefan überlebt auf Social Media, wie sich die 20-Minuten-App-Hosts über ihre Leistungen und ihre Leistungen über ihre Leistungen und Leistungen über ihre Leistungen und Leistungen.\nWir haben dir die besten Antworten, welche die besten Antworten und Antworten der Leistungen bekommen.'] Label: [['Wir machen es so: Du kaufst das Feld von Noomi und du heiratest Rut.']] Sacrebleu: {'score': 0.7215075272071307, 'counts': [3, 0, 0, 0], 'totals': [66, 65, 64, 63], 'precisions': [4.545454545454546, 0.7692307692307693, 0.390625, 0.1984126984126984], 'bp': 1.0, 'sys_len': 66, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.045454545454545456, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.125, 'translation_length': 66, 'reference_length': 16} Rouge: {'rouge1': 0.05333333333333333, 'rouge2': 0.0, 'rougeL': 0.05333333333333333, 'rougeLsum': 0.05333333333333333} Sari: {'sari': 59.464285714285715} Flesh Reading Ease: 38.85 ---------------------------------------- Source: ['“ In Israel war früher dies bezüglich Lösung und Tauschgeschäft, um irgendetwas Gültigkeit zu verleihen: Man zog seinen Schuh aus und gab ihn dem anderen.'] Prediction: ['In Israel wurde ein Schuh ausgebrochen, der in Israel zog.\nDie Tauschgeschäft war früher, um irgendetwas Gültigkeit zu verleihen.\nIn Israel war früher dies bezüglich Lösung und Tauschgeschäft, um irgendetwas Gültigkeit zu verleihen.'] Label: [['Früher machte man es so in Israel : Man macht ein Geschäft.\nDann zieht man einen Schuh aus, wenn man einig ist.\nDer eine Partner gab seinen Schuh dem anderen Partner.\nDie Geschäfts·partner tauschten einen Schuh.']] Sacrebleu: {'score': 3.1041021921911676, 'counts': [9, 2, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [23.076923076923077, 5.2631578947368425, 1.3513513513513513, 0.6944444444444444], 'bp': 0.950010681010268, 'sys_len': 39, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 0.950010681010268, 'length_ratio': 0.9512195121951219, 'translation_length': 39, 'reference_length': 41} Rouge: {'rouge1': 0.225, 'rouge2': 0.05128205128205128, 'rougeL': 0.15, 'rougeLsum': 0.225} Sari: {'sari': 31.552945967866506} Flesh Reading Ease: 46.15 ---------------------------------------- Source: ['Und dies war dann in Israel als Bezeugung.'] Prediction: ['In Israel wurde ein Mann von einem Bezeugungsdelikt verletzt.\nDie Polizei nahm den Mann nicht.\nDie Polizei nahm den Mann auf, weil er sich dabei nicht anstecken will.'] Label: [['In Israel war das wie ein Vertrag.']] Sacrebleu: {'score': 2.7588924449082466, 'counts': [4, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [12.5, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 32, 'reference_length': 8} Rouge: {'rouge1': 0.17142857142857143, 'rouge2': 0.06060606060606061, 'rougeL': 0.17142857142857143, 'rougeLsum': 0.17142857142857143} Sari: {'sari': 64.78174603174604} Flesh Reading Ease: 77.1 ---------------------------------------- Source: ['Der Löser sprach also zu Boas: „Kaufe für dich! “ und zog seinen Schuh aus.'] Prediction: ['Die Zürcher Welt hat einen neuen Song auf dem Cover der 20-Minuten-App veröffentlicht.\nDer Löser hatte sich mit dem Song zu sehen und zog seinen Schuh aus.\nDie Welt hatte den Song mit dem Löser ausgelöst.'] Label: [['Der Verwandte sagt zu Boas: Kauf!\nDann zieht er einen Schuh aus.']] Sacrebleu: {'score': 3.963827986581736, 'counts': [6, 2, 1, 0], 'totals': [41, 40, 39, 38], 'precisions': [14.634146341463415, 5.0, 2.5641025641025643, 1.3157894736842106], 'bp': 1.0, 'sys_len': 41, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.14634146341463414, 0.05, 0.02564102564102564, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7333333333333334, 'translation_length': 41, 'reference_length': 15} Rouge: {'rouge1': 0.1818181818181818, 'rouge2': 0.03773584905660377, 'rougeL': 0.14545454545454545, 'rougeLsum': 0.1818181818181818} Sari: {'sari': 39.97631544200171} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['Boas aber ging ins Tor hinauf und setzte sich dort hin.'] Prediction: ['Die Schweizer kämpfen im Tor hinauf und ging ins Tor hin.\nDas ging ins Tor hinauf und setzte sich dort hin.'] Label: [['Boas setzt sich an den Gerichts·platz.']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2857142857142856, 'translation_length': 23, 'reference_length': 7} Rouge: {'rouge1': 0.06896551724137931, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 31.73076923076923} Flesh Reading Ease: 99.3 ---------------------------------------- Source: ['“ Noomi nahm den Säugling, hob ihn an ihre Brust, wurde seine Kinderfrau und die Bürgerinnen gaben ihm einen Namen, indem sie sagten: „Ein Sohn ist der Noomi geboren! “, und sie nannten seinen Namen „Obed “.'] Prediction: ['Noomi (3) ist ein Sohn (4) und ist ein Kinderfrau.\nDie Bürgerinnen und Bürgerinnen gaben ihm einen Namen.\nNoomi nahm den Säugling, hob ihn an ihre Brust, wurde seine Kinderfrau und die Bürgerinnen gaben ihm einen Namen.'] Label: [['Die Nachbarinnen geben dem Kind einen Namen.\nSie rufen: Noomi hat einen Sohn bekommen!\nWir nennen das Kind Obed.\nObed heißt Diener.']] Sacrebleu: {'score': 3.893478295041711, 'counts': [9, 2, 1, 0], 'totals': [46, 45, 44, 43], 'precisions': [19.565217391304348, 4.444444444444445, 2.272727272727273, 1.1627906976744187], 'bp': 1.0, 'sys_len': 46, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.1956521739130435, 0.044444444444444446, 0.022727272727272728, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7037037037037037, 'translation_length': 46, 'reference_length': 27} Rouge: {'rouge1': 0.1875, 'rouge2': 0.03225806451612903, 'rougeL': 0.15625, 'rougeLsum': 0.1875} Sari: {'sari': 36.00657620138301} Flesh Reading Ease: 74.1 ---------------------------------------- Source: ['Dieser war der Vater von Isai, dem Vater Davids.'] Prediction: ['Im Alter von 99 Jahren ist ein Mann auf dem Kanton Graubünden gestorben.\nEr war der Vater von Isai, dem Vater Davids.\nDer Mann war der Vater von Isai, dem Vater Davids.'] Label: [['Wenn Obed groß ist, wird er Vater von Isai.\nWenn Isai groß ist, wird er Vater von David.']] Sacrebleu: {'score': 5.680128876005507, 'counts': [11, 3, 1, 0], 'totals': [37, 36, 35, 34], 'precisions': [29.72972972972973, 8.333333333333334, 2.857142857142857, 1.4705882352941178], 'bp': 1.0, 'sys_len': 37, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.2972972972972973, 0.08333333333333333, 0.02857142857142857, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6818181818181819, 'translation_length': 37, 'reference_length': 22} Rouge: {'rouge1': 0.3137254901960784, 'rouge2': 0.12244897959183672, 'rougeL': 0.27450980392156865, 'rougeLsum': 0.3137254901960784} Sari: {'sari': 45.922255132781444} Flesh Reading Ease: 87.4 ---------------------------------------- Source: ['Dies also sind die Zeugungen von Perez: Perez zeugte den Hezron, Hezron zeugte Ram, Ram zeugte Amminadab, Amminadab zeugte Nachschon, Nachschon zeugte Salmon, Salmon zeugte Boas, Boas zeugte Obed, Obed zeugte Isai, Isai zeugte David.'] Prediction: ['Die Zeugungen von Perez sind gemäss Medienberichten von den Medienberichten gemacht.\nSie sind die Zeugungen von den Hezron, Hezron zeugte Ram, Ram zeugte Amminadab, Amminadab zeugte Nachschon, Nachschon zeugte Salmon, Salmon zeugte Boas, Boas zeugte Obed, Obed zeugte Isai, Isai zeugte David.'] Label: [['Das ist die Familie von David: Perez ist der Vater von Hezron.\nHezron ist der Vater von Ram.\nRam ist der Vater von Amminadab.\nAmminadab ist der Vater von Nachschon.\nNachschon ist der Vater von Salmon.\nSalmon ist der Vater von Boas.\nBoas ist der Vater von Obed.\nObed ist der Vater von Isai.\nIsai ist der Vater von David.']] Sacrebleu: {'score': 1.8440076031148567, 'counts': [24, 1, 0, 0], 'totals': [52, 51, 50, 49], 'precisions': [46.15384615384615, 1.9607843137254901, 1.0, 0.5102040816326531], 'bp': 0.7074036474040616, 'sys_len': 52, 'ref_len': 70} Bleu: {'bleu': 0.0, 'precisions': [0.46153846153846156, 0.0196078431372549, 0.0, 0.0], 'brevity_penalty': 0.7074036474040618, 'length_ratio': 0.7428571428571429, 'translation_length': 52, 'reference_length': 70} Rouge: {'rouge1': 0.4271844660194174, 'rouge2': 0.15841584158415842, 'rougeL': 0.4077669902912621, 'rougeLsum': 0.4077669902912621} Sari: {'sari': 35.88018741633199} Flesh Reading Ease: 47.85 ---------------------------------------- Source: ['Und auch die Moabiterin Rut, die Frau Machlons, habe ich mir zur Frau gekauft, um wieder aufzurichten den Namen des Toten auf seinem Erbbesitz, so dass nicht ausgerottet werde der Name des Toten aus dem Volk seiner Brüder und aus dem Tor seines Ortes.'] Prediction: ['Ein Toten wurde auf seinem Erbbesitz aufgefunden, wie er seine Frau Machlons wurde.\nDie Moabiterin Rut, die Frau Machlons, habe ich zur Frau gekauft, um wieder aufzurichten den Namen des Toten auf seinem Erbbesitz.'] Label: [['Auch Rut gehört zu mir.\nSie ist fremd.\nAber sie gehört jetzt zu mir.\nDie Familie stirbt nicht aus.']] Sacrebleu: {'score': 2.185068324154416, 'counts': [4, 1, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [10.0, 2.5641025641025643, 1.3157894736842106, 0.6756756756756757], 'bp': 1.0, 'sys_len': 40, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.02564102564102564, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7391304347826086, 'translation_length': 40, 'reference_length': 23} Rouge: {'rouge1': 0.07272727272727271, 'rouge2': 0.0, 'rougeL': 0.07272727272727271, 'rougeLsum': 0.07272727272727271} Sari: {'sari': 33.84123672352236} Flesh Reading Ease: 57.7 ---------------------------------------- Source: ['Vollbringe Tüchtiges in Ephratah Und rufe einen Namen in Bethlehem!'] Prediction: ['In Ephratah und Bethlehem wurde ein Namen von Tüchtiges vermisst.\nDie Tüchtiges in Ephratah und der Namen in Bethlehem wurden vermisst.\nDie Tüchtiges in Ephratah und der Namen in Bethlehem wurden vermisst.'] Label: [['Sie sagten zu Rut: Sei tüchtig.\nHerzlich willkommen!\nDu sollst Kinder haben in Bethlehem.']] Sacrebleu: {'score': 2.5115381601394384, 'counts': [4, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [11.428571428571429, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.11428571428571428, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9444444444444444, 'translation_length': 35, 'reference_length': 18} Rouge: {'rouge1': 0.12000000000000001, 'rouge2': 0.041666666666666664, 'rougeL': 0.12000000000000001, 'rougeLsum': 0.12000000000000001} Sari: {'sari': 37.81565656565657} Flesh Reading Ease: 64.0 ---------------------------------------- Source: ['JHWH gebe, dass diese Frau, Die in dein Haus kommt, Wie Rahel und wie Leawerde, Die beide das Haus Israel erbauten!'] Prediction: ['Eine Frau, die in einem Haus Israel erbauten, gebe, Wie Rahel und wie Leawerde, die beide das Haus Israel erbauten.\nDie beiden Frau gebe, Wie Rahel und wie Leawerde, Die beide das Haus Israel erbauten.'] Label: [['Gott segnet die Frau.\nDie Frau kommt in dein Haus.\nDie Frau soll wie Rahel und Lea sein.\nDie Beiden sind der Anfang von unserem Volk Israel.']] Sacrebleu: {'score': 3.236535997754842, 'counts': [13, 2, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [30.232558139534884, 4.761904761904762, 1.2195121951219512, 0.625], 'bp': 1.0, 'sys_len': 43, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.3023255813953488, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3870967741935485, 'translation_length': 43, 'reference_length': 31} Rouge: {'rouge1': 0.41935483870967744, 'rouge2': 0.13333333333333333, 'rougeL': 0.3548387096774193, 'rougeLsum': 0.41935483870967744} Sari: {'sari': 39.4031564623136} Flesh Reading Ease: 63.05 ---------------------------------------- Source: ['Es sei dein Haus wie das Haus des Perez, Den Tamar dem Juda gebar Durch den Nachwuchs, Den JHWH dir gebe durch diese junge Frau!'] Prediction: ['Den JHWH dir gebe durch die junge Frau, Den JHWH dir gebe durch diese junge Frau.\nEs sei ein Haus wie das Haus des Perez, Den Tamar dem Juda gebar Durch den Nachwuchs, Den JHWH dir gebe durch diese junge Frau!'] Label: [['Hier ist dein Zuhause.\nSo wie wir alle hier Zuhause sind.\nWie das Haus Perez.\nSeine Mutter war Tamar.\nSein Vater war Juda.\nAuch du wirst Kinder haben.']] Sacrebleu: {'score': 2.1740981369339423, 'counts': [7, 1, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [15.217391304347826, 2.2222222222222223, 1.1363636363636365, 0.5813953488372093], 'bp': 1.0, 'sys_len': 46, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.15217391304347827, 0.022222222222222223, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3529411764705883, 'translation_length': 46, 'reference_length': 34} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.05970149253731344, 'rougeL': 0.17391304347826086, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 30.995952971759426} Flesh Reading Ease: 83.45 ---------------------------------------- Source: ['“ Boas nahm Rut, sie wurde seine Frau, er ging zu ihr, JHWH gab ihr Schwangerschaft, sie gebar einen Sohn und die Frauen sagten zu Noomi: „Gepriesen sei JHWH, Der dir heute einen Löser nicht hat fehlen lassen, Sein Name werde gerufen in Israel!'] Prediction: ['Noomi (24) ist auf der Kippe von ihrem Sohn JHWH (3) in Israel gestorben.\nDer Name wird gerufen in Israel.\nDer Name wird gerufen in Israel.'] Label: [['Boas heiratet Rut.\nSie lieben sich.\nGott schenkt Rut Schwangerschaft.\nSie bekommt einen Sohn.\nDie Frauen sagen zu Noomi: Lob sei Gott!\nGott hat alles gut gemacht für dich.\nWir loben Gott!']] Sacrebleu: {'score': 1.358431422814045, 'counts': [5, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [15.151515151515152, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 0.8088666471820897, 'sys_len': 33, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.15151515151515152, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8088666471820897, 'length_ratio': 0.825, 'translation_length': 33, 'reference_length': 40} Rouge: {'rouge1': 0.06779661016949153, 'rouge2': 0.0, 'rougeL': 0.03389830508474576, 'rougeLsum': 0.06779661016949153} Sari: {'sari': 40.22762003352065} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['Möge er dir der sein, der Lebenskraft zurückkehren lässt Und der dein Alter erhält!'] Prediction: ['Ein Alter hat einen Lebenskraft zurückkehren.\nDer Alter erhält, der Lebenskraft zurückkehren lässt.\nDie Lebenskraft wurde von der Lebenskraft zurückkehren.'] Label: [['Gott gibt dir neue Lebens - Kraft.\nGott schützt dein Alter.']] Sacrebleu: {'score': 2.0705706652424007, 'counts': [3, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [12.5, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8461538461538463, 'translation_length': 24, 'reference_length': 13} Rouge: {'rouge1': 0.05555555555555555, 'rouge2': 0.0, 'rougeL': 0.05555555555555555, 'rougeLsum': 0.05555555555555555} Sari: {'sari': 32.8968253968254} Flesh Reading Ease: 50.45 ---------------------------------------- Source: ['Ja!, deine Schwiegertochter, die dich liebt, hat ihn geboren, Sie, die besser für dich ist als sieben Söhne!'] Prediction: ['Die Schwiegertochter, die dich liebt, hat ihn geboren, hat ihn geboren.\nSie, die besser für dich ist als sieben Söhne!\nWir haben dir die besten Szenen, welche sieben Söhne sind!'] Label: [['Ja!\nDenn deine Schwiegertochter hat dich lieb.\nDeine Schwiegertochter hat einen Sohn geboren.\nSie ist besser als 7 Söhne!']] Sacrebleu: {'score': 5.7599629033790745, 'counts': [13, 3, 1, 0], 'totals': [38, 37, 36, 35], 'precisions': [34.21052631578947, 8.108108108108109, 2.7777777777777777, 1.4285714285714286], 'bp': 1.0, 'sys_len': 38, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.34210526315789475, 0.08108108108108109, 0.027777777777777776, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6521739130434783, 'translation_length': 38, 'reference_length': 23} Rouge: {'rouge1': 0.4150943396226416, 'rouge2': 0.0784313725490196, 'rougeL': 0.339622641509434, 'rougeLsum': 0.37735849056603776} Sari: {'sari': 30.991760553395537} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['Ihr seid heute Zeugen! “ Und das ganze Volk, das im Tor war, antwortete, und die Ältesten: „Wir sind Zeugen!'] Prediction: ['Ein Volk, das im Tor war, antwortete, und die Ältesten: Wir sind Zeugen!\nWir sind Zeugen!'] Label: [['Ihr seid meine Zeugen!\nAlle rufen: Wir sind Zeugen!']] Sacrebleu: {'score': 18.597237212366725, 'counts': [7, 5, 3, 2], 'totals': [22, 21, 20, 19], 'precisions': [31.818181818181817, 23.80952380952381, 15.0, 10.526315789473685], 'bp': 1.0, 'sys_len': 22, 'ref_len': 12} Bleu: {'bleu': 0.18597237212366716, 'precisions': [0.3181818181818182, 0.23809523809523808, 0.15, 0.10526315789473684], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 22, 'reference_length': 12} Rouge: {'rouge1': 0.32, 'rouge2': 0.1739130434782609, 'rougeL': 0.32, 'rougeLsum': 0.32} Sari: {'sari': 47.13808115481544} Flesh Reading Ease: 90.1 ---------------------------------------- Source: ['Es war kein Traum.'] Prediction: ['Im Alter von 99 Jahren war es kein Traum.\nDie Schweizerin war nicht mehr, sondern auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch'] Label: [['Denn er weiß: Dies hier ist kein Traum.']] Sacrebleu: {'score': 0.5785010576076856, 'counts': [3, 2, 1, 0], 'totals': [229, 228, 227, 226], 'precisions': [1.3100436681222707, 0.8771929824561403, 0.44052863436123346, 0.22123893805309736], 'bp': 1.0, 'sys_len': 229, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.013100436681222707, 0.008771929824561403, 0.004405286343612335, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 22.9, 'translation_length': 229, 'reference_length': 10} Rouge: {'rouge1': 0.01702127659574468, 'rouge2': 0.008583690987124463, 'rougeL': 0.01702127659574468, 'rougeLsum': 0.01702127659574468} Sari: {'sari': 64.58333333333334} Flesh Reading Ease: 8.0 ---------------------------------------- Source: ['Er lag auf seinem panzerartig harten Rücken und sah, wenn er den Kopf ein wenig hob, seinen gewölbten, braunen, von bogenförmigen Versteifungen geteilten Bauch, auf dessen Höhe sich die Bettdecke, zum gänzlichen Niedergleiten bereit, kaum noch erhalten konnte.'] Prediction: ['Ein Bauch auf seinem panzerartig harten Rücken und sah, wenn er den Kopf ein wenig hob, seinen gewölbten, braunen Bauch.\nDer Bauch war auf dessen Höhe sich die Bettdecke, zum gänzlichen Niedergleiten bereit, kaum noch erhalten konnte.'] Label: [['Gregor liegt auf dem Rücken im Bett.\nSein Rücken ist wie ein Panzer.\nHart und dick.\nWenn Gregor seinen Kopf hebt, sieht er einen braunen, steifen Bauch.\nEs ist sein Käfer -Bauch.']] Sacrebleu: {'score': 2.6575091685228296, 'counts': [13, 1, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [29.545454545454547, 2.3255813953488373, 1.1904761904761905, 0.6097560975609756], 'bp': 1.0, 'sys_len': 44, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.29545454545454547, 0.023255813953488372, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1282051282051282, 'translation_length': 44, 'reference_length': 39} Rouge: {'rouge1': 0.31578947368421056, 'rouge2': 0.027027027027027025, 'rougeL': 0.2368421052631579, 'rougeLsum': 0.2631578947368421} Sari: {'sari': 34.62761085198443} Flesh Reading Ease: 67.9 ---------------------------------------- Source: ['Seine vielen, im Vergleich zu seinem sonstigen Umfang kläglich dünnen Beine flimmerten ihm hilflos vor den Augen.'] Prediction: ['Ein Mann aus dem Kanton Bern fliegt am Sonntagabend in einem vergleichten Umfang mit seinem sonstigen Umfang.\nBeine fliegt hilflos vor den Augen.\nDie Beine fliegt auf dem Anschluss auf dem Anschluss.'] Label: [['Seine Beine sehen jämmerlich aus.\nViele dünne Beinchen.\nSie sind viel zu dünn im Vergleich zu seinem Körper.\nHilflos zappeln sie in der Luft.']] Sacrebleu: {'score': 1.7176188460170134, 'counts': [7, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [20.0, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 35, 'reference_length': 28} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.0, 'rougeL': 0.09999999999999999, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 31.036214734032576} Flesh Reading Ease: 81.55 ---------------------------------------- Source: ['»Was ist mit mir geschehen?«, dachte er.'] Prediction: ['Im Interview mit der "New Yorker New Yorker" spricht er über die Geschichte des Interviews mit dem "New Yorker New Yorker" über die Welt.\nIm Interview spricht er über die Welt und über die Welt, die sich zu sehen.'] Label: [['Was ist mit mir geschehen?, denkt Gregor.']] Sacrebleu: {'score': 1.045953676514853, 'counts': [3, 0, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [6.521739130434782, 1.1111111111111112, 0.5681818181818182, 0.29069767441860467], 'bp': 1.0, 'sys_len': 46, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.06521739130434782, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.6, 'translation_length': 46, 'reference_length': 10} Rouge: {'rouge1': 0.043478260869565216, 'rouge2': 0.0, 'rougeL': 0.043478260869565216, 'rougeLsum': 0.043478260869565216} Sari: {'sari': 24.92243867243867} Flesh Reading Ease: 84.45 ---------------------------------------- Source: ['Als Gregor Samsa eines Morgens aus unruhigen Träumen erwachte, fand er sich in seinem Bett zu einem ungeheueren Ungeziefer verwandelt.'] Prediction: ['Ein Ungeziefer fand in einem Unruhgefällen eines Morgens aus unruhigen Träumen einen Ungeziefer.\nDer Ungeziefer wurde verletzt.\nDer Ungeziefer wurde verhaftet.'] Label: [['Eines Morgens wird Gregor Samsa wach.\nIn der Nacht hat er schon unruhig geträumt.\nUnd als er aufwacht, ist alles anders als sonst.\nGregor Samsa ist ein riesiger Käfer geworden.\nEin unheimliches Ungeziefer.']] Sacrebleu: {'score': 2.2165932242543263, 'counts': [6, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [25.0, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 0.5352614285189903, 'sys_len': 24, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 0.5352614285189903, 'length_ratio': 0.6153846153846154, 'translation_length': 24, 'reference_length': 39} Rouge: {'rouge1': 0.20689655172413796, 'rouge2': 0.03571428571428571, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.20689655172413796} Sari: {'sari': 37.92420814479638} Flesh Reading Ease: 38.45 ---------------------------------------- Source: ['Sein Zimmer, ein richtiges, nur etwas zu kleines Menschenzimmer, lag ruhig zwischen den vier wohlbekannten Wänden.'] Prediction: ['Ein Zimmer, ein richtiges, nur etwas zu kleines Menschenzimmer, lag ruhig zwischen den vier wohlbekannten Wänden.\nDas ist ein richtiges, nur etwas zu kleines Menschenzimmer, lag ruhig zwischen den vier wohlbekannten Wänden.'] Label: [['Gregor sieht sich um.\nEs ist sein Zimmer.\nEr ist in seinem kleinen Menschen - Zimmer.']] Sacrebleu: {'score': 1.3339264902154053, 'counts': [4, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [10.256410256410257, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.10256410256410256, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0526315789473686, 'translation_length': 39, 'reference_length': 19} Rouge: {'rouge1': 0.0816326530612245, 'rouge2': 0.0, 'rougeL': 0.0816326530612245, 'rougeLsum': 0.0816326530612245} Sari: {'sari': 19.523809523809526} Flesh Reading Ease: 58.7 ---------------------------------------- Source: ['Es stellte eine Dame dar, die mit einem Pelzhut und einer Pelzboa versehen, aufrecht dasaß und einen schweren Pelzmuff, im ihr ganzer Unterarm verschwunden war, dem Beschauer entgegenhob.'] Prediction: ['Eine Dame, die mit einem Pelzhut und einer Pelzboa versehen, aufrecht dasselbe, wurde im Unterarm verschwunden.\nEs entgegenhob einen schweren Pelzmuff, im ihr ganzer Unterarm verschwunden war, dem Beschauer entgegenhoben.'] Label: [['Es ist das Bild von einer vornehmen Dame.\nDie Dame trägt einen Pelz -Hut.\nUnd einen kostbaren Schal aus Pelz.\nIhre Arme wärmt sie in einer Rolle aus Pelz.']] Sacrebleu: {'score': 1.559480765382838, 'counts': [6, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [16.216216216216218, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.16216216216216217, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.121212121212121, 'translation_length': 37, 'reference_length': 33} Rouge: {'rouge1': 0.19672131147540983, 'rouge2': 0.03389830508474576, 'rougeL': 0.13114754098360656, 'rougeLsum': 0.16393442622950818} Sari: {'sari': 33.85942760942761} Flesh Reading Ease: 42.15 ---------------------------------------- Source: ['»Dies frühzeitige Aufstehen«, dachte er, »macht einen ganz blödsinnig.'] Prediction: ['Ein frühzeitiger Aufstehen in der Nacht auf Sonntag wurde von einem frühzeitigen Aufstehen gefunden.\nEin Mann, der einen frühzeitigen Aufstehen, wurde dabei von einem frühzeitigen Aufstehen gefunden.'] Label: [['Gregor hasst auch das frühe Aufstehen.']] Sacrebleu: {'score': 1.4262733286728257, 'counts': [2, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [6.451612903225806, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.06451612903225806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.428571428571429, 'translation_length': 31, 'reference_length': 7} Rouge: {'rouge1': 0.10526315789473685, 'rouge2': 0.0, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.10526315789473685} Sari: {'sari': 63.29365079365079} Flesh Reading Ease: 43.65 ---------------------------------------- Source: ['»Wie wäre es, wenn ich noch ein wenig weiterschliefe und alle Narrheiten vergäße«, dachte er, aber das war gänzlich undurchführbar, denn er war gewöhnt, auf der rechten Seite zu schlafen, konnte sich aber in seinem gegenwärtigen Zustand nicht in diese Lage bringen.'] Prediction: ['Ein Mann hatte sich in seinem gegenwärtigen Zustand nicht in diese Lage bringen.\nEr konnte sich nicht in diese Lage bringen.\nDie Narrheiten vergäßen, dass er das war gänzlich undurchführbar, denn er war gewöhnt, auf der rechten Seite zu schlafen.'] Label: [['Ich könnte einfach noch ein wenig weiterschlafen, denkt er.\nVielleicht ist das ja alles nicht wahr.\nAber Gregor kann nicht weiterschlafen.\nEr schläft nämlich immer auf der rechten Seite.\nAber jetzt, als Käfer, kann er sich gar nicht auf die Seite drehen.']] Sacrebleu: {'score': 7.0371550530715, 'counts': [17, 4, 2, 1], 'totals': [46, 45, 44, 43], 'precisions': [36.95652173913044, 8.88888888888889, 4.545454545454546, 2.3255813953488373], 'bp': 0.9167169520254864, 'sys_len': 46, 'ref_len': 50} Bleu: {'bleu': 0.07037155053071498, 'precisions': [0.3695652173913043, 0.08888888888888889, 0.045454545454545456, 0.023255813953488372], 'brevity_penalty': 0.9167169520254864, 'length_ratio': 0.92, 'translation_length': 46, 'reference_length': 50} Rouge: {'rouge1': 0.28571428571428564, 'rouge2': 0.06741573033707866, 'rougeL': 0.1758241758241758, 'rougeLsum': 0.26373626373626374} Sari: {'sari': 38.41936124093384} Flesh Reading Ease: 67.25 ---------------------------------------- Source: ['Gregors Blick richtete sich dann zum Fenster, und das trübe Wetter – man hörte Regentropfen auf das Fensterblech aufschlagen – machte ihn ganz melancholisch.'] Prediction: ['Gregors Blick machte sich mit einem melancholischen Sommerblech ganz melancholisch.\nDer Stürmer machte sich dann ganz melancholisch.\nEr wurde mit einem trübe Wetter auf das Fensterblech aufschlagen.'] Label: [['Gregor sieht zum Fenster.\nTrübes Wetter ist da draußen.\nRegen tropft auf das Fenster -Blech.\nDas Wetter macht Gregor ein wenig traurig.']] Sacrebleu: {'score': 3.2677968802443296, 'counts': [6, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1538461538461537, 'translation_length': 30, 'reference_length': 26} Rouge: {'rouge1': 0.1509433962264151, 'rouge2': 0.0392156862745098, 'rougeL': 0.1509433962264151, 'rougeLsum': 0.1509433962264151} Sari: {'sari': 35.41167982344453} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Er versuchte es wohl hundertmal, schloß die Augen, um die zappelnden Beine nicht sehen zu müssen, und ließ erst ab, als er in der Seite einen noch nie gefühlten, leichten, dumpfen Schmerz zu fühlen begann.'] Prediction: ['Ein Mann versuchte sich in der Seite einen noch nie gefühlten, dumpfen Schmerz zu fühlen.\nEr versuchte es wohl hundertmal, schloß die Augen, um die zappelnden Beine nicht sehen zu müssen, und ließ erst ab, als er in der Seite einen noch nie gefühlten, leichten, dumpfen Schmerz zu fühlen begann.'] Label: [['Immer wieder versucht er es.\n100 Mal bestimmt.\nJedes Mal rollt er wieder auf den Rücken zurück.\nGregor hält die Augen geschlossen.\nWeil er seine zappelnden Beinchen nicht sehen mag.\nEr gibt erst auf, als seine rechte Seite wehtut.\nSo einen dumpfen Schmerz kennt er gar nicht.']] Sacrebleu: {'score': 3.140483476374805, 'counts': [17, 5, 0, 0], 'totals': [59, 58, 57, 56], 'precisions': [28.8135593220339, 8.620689655172415, 0.8771929824561403, 0.44642857142857145], 'bp': 1.0, 'sys_len': 59, 'ref_len': 55} Bleu: {'bleu': 0.0, 'precisions': [0.288135593220339, 0.08620689655172414, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0727272727272728, 'translation_length': 59, 'reference_length': 55} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.05825242718446602, 'rougeL': 0.24761904761904763, 'rougeLsum': 0.26666666666666666} Sari: {'sari': 39.89098864098864} Flesh Reading Ease: 67.25 ---------------------------------------- Source: ['Tag aus, Tag ein auf der Reise.'] Prediction: ['Tag aus, Tag ein auf der Reise.\nIm Interview mit Host Andrea über Social Media erklärt, wie du ihn die "Morning Show" mit Andrea über Social Media und ihre "Morning Show"-Host Andrea über Social Media erklärt.\nIm Interview spricht über Social Media über Social Media, die "Morning Show" und ihre "Morning Show"-Host Andrea über Social Media, die "Morning Show" und ihre "Morning Show"-Host Andrea über Social Media, die "Morning Show" und "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" host Andrea über Social Media, die "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show" sowie "Morning Show'] Label: [['Jeden Tag muss ich auf Reisen sein.']] Sacrebleu: {'score': 0.12835990142477197, 'counts': [3, 0, 0, 0], 'totals': [364, 363, 362, 361], 'precisions': [0.8241758241758241, 0.13774104683195593, 0.06906077348066299, 0.03462603878116344], 'bp': 1.0, 'sys_len': 364, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.008241758241758242, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 45.5, 'translation_length': 364, 'reference_length': 8} Rouge: {'rouge1': 0.016260162601626015, 'rouge2': 0.0, 'rougeL': 0.016260162601626015, 'rougeLsum': 0.016260162601626015} Sari: {'sari': 37.301587301587304} Flesh Reading Ease: 8.4 ---------------------------------------- Source: ['Mit welcher Kraft er sich auch auf die rechte Seite warf, immer wieder schaukelte er in die Rückenlage zurück.'] Prediction: ['Der Kraft schaukelte immer wieder zurück.\nMit dem Kraft schaukelte er sich auch auf die rechte Seite.\nDer Kraft schaukelte sich auf die rechte Seite zurück.'] Label: [['Auch wenn er sich noch so anstrengt.']] Sacrebleu: {'score': 2.847964238283142, 'counts': [3, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [10.344827586206897, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.10344827586206896, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.625, 'translation_length': 29, 'reference_length': 8} Rouge: {'rouge1': 0.17142857142857143, 'rouge2': 0.06060606060606061, 'rougeL': 0.1142857142857143, 'rougeLsum': 0.1142857142857143} Sari: {'sari': 37.31481481481482} Flesh Reading Ease: 83.55 ---------------------------------------- Source: ['Die geschäftlichen Aufregungen sind viel größer, als im eigentlichen Geschäft zu Hause, und außerdem ist mir noch diese Plage des Reisens auferlegt, die Sorgen um die Zuganschlüsse, das unregelmäßige, schlechte Essen, ein immer wechselnder, nie andauernder, nie herzlich werdender menschlicher Verkehr.'] Prediction: ['Im eigentlichen Geschäft zu Hause sind die geschäftlichen Aufregungen viel größer, als im eigentlichen Geschäft zu Hause.\nDie geschäftlichen Aufregungen sind viel größer, als im eigentlichen Geschäft zu Hause.'] Label: [['Das ist viel anstrengender, als in einem Geschäft Stoffe zu verkaufen.\nIch muss alle Zug - Pläne kennen.\nIch kann immer nur schnell essen.\nZwischendurch.\nImmer in Eile.\nDie Kunden sehe ich nur kurz.\nDann geht es schon zum nächsten Kunden.\nAlles ist oberflächlich.\nMan sieht sich und trennt sich.']] Sacrebleu: {'score': 1.6668208847626789, 'counts': [8, 2, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [24.242424242424242, 6.25, 1.6129032258064515, 0.8333333333333334], 'bp': 0.441233167759984, 'sys_len': 33, 'ref_len': 60} Bleu: {'bleu': 0.0, 'precisions': [0.24242424242424243, 0.0625, 0.0, 0.0], 'brevity_penalty': 0.441233167759984, 'length_ratio': 0.55, 'translation_length': 33, 'reference_length': 60} Rouge: {'rouge1': 0.1348314606741573, 'rouge2': 0.02298850574712644, 'rougeL': 0.1348314606741573, 'rougeLsum': 0.1348314606741573} Sari: {'sari': 37.16653141819177} Flesh Reading Ease: 48.5 ---------------------------------------- Source: ['Andere Reisende leben wie Haremsfrauen.'] Prediction: ['Die Reisende der Schweizer Reisende leben wie Haremsfrauen.\nDie Reisende leben wie die beiden wie eine neue Frauen.\nDie Reisende leben wie eine neue Frauen-Fälle.'] Label: [['Gregor denkt an andere Vertreter.']] Sacrebleu: {'score': 1.3353534059549443, 'counts': [1, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [3.5714285714285716, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.03571428571428571, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.666666666666667, 'translation_length': 28, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 27.38095238095238} Flesh Reading Ease: 60.55 ---------------------------------------- Source: ['Der Mensch muß seinen Schlaf haben.'] Prediction: ['Ein Mann hatte sich mit einem Schlaf im Alter von 99 Jahren verletzt.\nEr wurde dabei von einem Polizeieinsatz getötet.\nDie Polizei vermutete den Mann.'] Label: [['Der Mensch muss doch seinen Schlaf haben!']] Sacrebleu: {'score': 1.3353534059549443, 'counts': [1, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [3.5714285714285716, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.03571428571428571, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 28, 'reference_length': 8} Rouge: {'rouge1': 0.060606060606060615, 'rouge2': 0.0, 'rougeL': 0.060606060606060615, 'rougeLsum': 0.060606060606060615} Sari: {'sari': 31.547619047619047} Flesh Reading Ease: 66.4 ---------------------------------------- Source: ['Wenn ich zum Beispiel im Laufe des Vormittags ins Gasthaus zurückgehe, um die erlangten Aufträge zu überschreiben, sitzen diese Herren erst beim Frühstück.'] Prediction: ['Im Gasthaus in der Nähe von Monte Carlo sitzen die erlangten Aufträge erst beim Frühstück.\nDie erlangten Aufträge sitzen erst beim Frühstück.\nDie Herren sitzen erst beim Frühstück.'] Label: [['Die sitzen noch gemütlich beim Frühstück im Hotel.\nDa kommt er selbst schon mit den ersten Aufträgen zurück.\nDie Aufträge hat er schon ganz früh am Morgen abgeschlossen.\nWährend die anderen noch beim Frühstück sitzen.']] Sacrebleu: {'score': 3.8941073101665347, 'counts': [13, 3, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [41.935483870967744, 10.0, 1.7241379310344827, 0.8928571428571429], 'bp': 0.7725453888611077, 'sys_len': 31, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.41935483870967744, 0.1, 0.0, 0.0], 'brevity_penalty': 0.7725453888611077, 'length_ratio': 0.7948717948717948, 'translation_length': 31, 'reference_length': 39} Rouge: {'rouge1': 0.4634146341463415, 'rouge2': 0.19999999999999998, 'rougeL': 0.34146341463414637, 'rougeLsum': 0.41463414634146345} Sari: {'sari': 42.9193899782135} Flesh Reading Ease: 71.25 ---------------------------------------- Source: ['»Ach Gott«, dachte er, »was für einen anstrengenden Beruf habe ich gewählt!'] Prediction: ['Ein Mann hat einen anstrengenden Beruf mit einem anstrengenden Beruf gewählt.\nDer Mann hatte sich mit einem anstrengenden Beruf gewählt.\nDie beiden waren immer wieder auf der Strasse, wo sie sich gewählt haben.'] Label: [['Gregor denkt über seinen Beruf nach: Wie anstrengend das alles ist.']] Sacrebleu: {'score': 1.184949136625139, 'counts': [2, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [5.405405405405405, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.05405405405405406, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8461538461538463, 'translation_length': 37, 'reference_length': 13} Rouge: {'rouge1': 0.0425531914893617, 'rouge2': 0.0, 'rougeL': 0.0425531914893617, 'rougeLsum': 0.0425531914893617} Sari: {'sari': 44.982078853046595} Flesh Reading Ease: 69.55 ---------------------------------------- Source: ['Das sollte ich bei meinem Chef versuchen; ich würde auf der Stelle hinausfliegen.'] Prediction: ['Die Chef-Welt hatte sich bei meinem Chef versuchen.\nEr würde auf der Stelle hinausfliegen.'] Label: [['Wenn ich das bei meinem Chef so machen würde, dann würde ich auf der Stelle rausfliegen.']] Sacrebleu: {'score': 14.518776736981415, 'counts': [8, 4, 2, 0], 'totals': [16, 15, 14, 13], 'precisions': [50.0, 26.666666666666668, 14.285714285714286, 3.8461538461538463], 'bp': 0.8824969025845955, 'sys_len': 16, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.5, 0.26666666666666666, 0.14285714285714285, 0.0], 'brevity_penalty': 0.8824969025845955, 'length_ratio': 0.8888888888888888, 'translation_length': 16, 'reference_length': 18} Rouge: {'rouge1': 0.47058823529411764, 'rouge2': 0.3125, 'rougeL': 0.47058823529411764, 'rougeLsum': 0.47058823529411764} Sari: {'sari': 45.23809523809524} Flesh Reading Ease: 73.55 ---------------------------------------- Source: ['Wer weiß übrigens, ob das nicht sehr gut für mich wäre.'] Prediction: ['Die Schweizer Welt hat einen neuen Chef.\nEr weiß übrigens, ob das nicht sehr gut für mich wäre.'] Label: [['Vielleicht wäre das aber gar nicht mal so schlecht, denkt Gregor.\nVielleicht wäre das sogar sehr gut für mich.']] Sacrebleu: {'score': 13.631331322532038, 'counts': [10, 3, 2, 1], 'totals': [21, 20, 19, 18], 'precisions': [47.61904761904762, 15.0, 10.526315789473685, 5.555555555555555], 'bp': 0.9534969548334766, 'sys_len': 21, 'ref_len': 22} Bleu: {'bleu': 0.13631331322532034, 'precisions': [0.47619047619047616, 0.15, 0.10526315789473684, 0.05555555555555555], 'brevity_penalty': 0.9534969548334766, 'length_ratio': 0.9545454545454546, 'translation_length': 21, 'reference_length': 22} Rouge: {'rouge1': 0.4285714285714286, 'rouge2': 0.25, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.380952380952381} Sari: {'sari': 48.492063492063494} Flesh Reading Ease: 94.95 ---------------------------------------- Source: ['Wenn ich mich nicht wegen meiner Eltern zurückhielte, ich hätte längst gekündigt, ich wäre vor den Chef hin getreten und hätte ihm meine Meinung von Grund des Herzens aus gesagt.'] Prediction: ['Ein Chef hatte sich vor dem Chef eine Meinung von Grund des Herzens ausgegeben.\nEr hätte längst gekündigt, ich wäre vor den Chef hin getreten und hätte ihm meine Meinung von Grund des Herzens aus gesagt.'] Label: [['Aber ich muss an meine Eltern denken.\nNur deshalb halte ich mich zurück.\nSonst hätte ich schon längst gekündigt.\nWenn es meine Eltern nicht geben würde.\nDann würde ich zu meinem Chef gehen und ihm so richtig meine Meinung sagen.']] Sacrebleu: {'score': 2.9456458466348305, 'counts': [11, 2, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [28.205128205128204, 5.2631578947368425, 1.3513513513513513, 0.6944444444444444], 'bp': 0.8574039191604413, 'sys_len': 39, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.28205128205128205, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 0.8574039191604413, 'length_ratio': 0.8666666666666667, 'translation_length': 39, 'reference_length': 45} Rouge: {'rouge1': 0.29885057471264365, 'rouge2': 0.11764705882352941, 'rougeL': 0.27586206896551724, 'rougeLsum': 0.29885057471264365} Sari: {'sari': 33.45997610513739} Flesh Reading Ease: 74.25 ---------------------------------------- Source: ['Vom Pult hätte er fallen müssen!'] Prediction: ['Ein Mann hatte im Alter von 99 Jahren einen Pult-Funken gefunden.\nEr hätte er fallen müssen.\nNun hat er seine Frau auf dem Pult gefunden.'] Label: [['Der Chef würde von seinem Schreib - Tisch fallen.']] Sacrebleu: {'score': 1.7574239156849023, 'counts': [3, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [10.714285714285714, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.10714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8, 'translation_length': 28, 'reference_length': 10} Rouge: {'rouge1': 0.10810810810810811, 'rouge2': 0.0, 'rougeL': 0.10810810810810811, 'rougeLsum': 0.10810810810810811} Sari: {'sari': 37.34567901234567} Flesh Reading Ease: 83.95 ---------------------------------------- Source: ['Es ist auch eine sonderbare Art, sich auf das Pult zu setzen und von der Höhe herab mit dem Angestellten zu reden, der überdies wegen der Schwerhörigkeit des Chefs ganz nahe herantreten muß.'] Prediction: ['Ein Chef auf dem Pult hat sich mit dem Angestellten zu reden.\nDie Höhe herab mit dem Angestellten zu reden, der überdies wegen der Schwerhörigkeit des Chefs ganz nahe herantreten muß.\nDie Höhe herab mit dem Angestellten zu reden, der überdies wegen der Schwerhörigkeit des Chefs ganz nahe herantreten muß.'] Label: [['Auf den setzt er sich immer.\nWenn er mit uns Angestellten spricht.\nVon oben herab redet er auf uns ein.\nUnd weil er schwerhörig ist, müssen wir uns dabei ganz nah um ihn stellen.']] Sacrebleu: {'score': 1.1754281596509946, 'counts': [10, 0, 0, 0], 'totals': [55, 54, 53, 52], 'precisions': [18.181818181818183, 0.9259259259259259, 0.4716981132075472, 0.2403846153846154], 'bp': 1.0, 'sys_len': 55, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4102564102564104, 'translation_length': 55, 'reference_length': 39} Rouge: {'rouge1': 0.17777777777777776, 'rouge2': 0.0, 'rougeL': 0.15555555555555556, 'rougeLsum': 0.15555555555555556} Sari: {'sari': 35.42644296807109} Flesh Reading Ease: 63.85 ---------------------------------------- Source: ['Nun, die Hoffnung ist noch nicht gänzlich aufgegeben; habe ich einmal das Geld beisammen, um die Schuld der Eltern an ihn abzuzahlen – es dürfte noch fünf bis sechs Jahre dauern –, mache ich die Sache unbedingt.'] Prediction: ['Die Hoffnung ist noch nicht gänzlich aufgegeben.\nNun, wie es das Geld beisammen, um die Schuld der Eltern an ihn abzuzahlen.\nWenn es noch fünf bis sechs Jahre dauern mache, mache ich die Sache unbedingt.'] Label: [['Eines Tages werde ich ihm meine Meinung sagen.\nDem Chef.\nEines Tages, wenn ich die Schulden meiner Eltern bei ihm abbezahlt habe.\nFünf bis sechs Jahre wird das noch dauern.\nBis ich das ganze Geld zusammenhabe.']] Sacrebleu: {'score': 5.291018285335769, 'counts': [14, 3, 1, 0], 'totals': [41, 40, 39, 38], 'precisions': [34.146341463414636, 7.5, 2.5641025641025643, 1.3157894736842106], 'bp': 0.9759047945423922, 'sys_len': 41, 'ref_len': 42} Bleu: {'bleu': 0.0, 'precisions': [0.34146341463414637, 0.075, 0.02564102564102564, 0.0], 'brevity_penalty': 0.9759047945423922, 'length_ratio': 0.9761904761904762, 'translation_length': 41, 'reference_length': 42} Rouge: {'rouge1': 0.35135135135135137, 'rouge2': 0.1388888888888889, 'rougeL': 0.24324324324324326, 'rougeLsum': 0.35135135135135137} Sari: {'sari': 39.86846329659641} Flesh Reading Ease: 80.55 ---------------------------------------- Source: ['Über dem Tisch, auf dem eine auseinandergepackte Musterkollektion von Tuchwaren ausgebreitet war – Samsa war Reisender – hing das Bild, das er vor kurzem aus einer illustrierten Zeitschrift ausgeschnitten und in einem hübschen, vergoldeten Rahmen untergebracht hatte.'] Prediction: ['Ein auseinandergepacktes Musterkollektion-Bild auf dem Tisch, das eine auseinandergepackte Musterkollektion von Tuchwaren ausgebreitet war, hing das Bild, das er vor kurzem aus einer illustrierten Zeitschrift ausgeschnitten hatte.\nDer Bild war in einem hübschen, vergoldeten Rahmen untergebracht.'] Label: [['Auf dem Tisch sind noch immer die Stoffe ausgebreitet.\nGregor ist von Beruf Vertreter.\nSeine Aufgabe ist es, Stoffe zu verkaufen.\nDafür reist er umher.\nGregor sieht sich weiter in seinem Zimmer um.\nÜber dem Tisch hängt immer noch das Bild.\nDas Bild, das er vor ein paar Tagen aus einer Zeitschrift ausgeschnitten hat.\nGregor hat es in einem schönen Rahmen aufgehängt.\nIn einem goldenen Bilder -Rahmen.']] Sacrebleu: {'score': 6.0829103267221, 'counts': [21, 9, 3, 2], 'totals': [42, 41, 40, 39], 'precisions': [50.0, 21.951219512195124, 7.5, 5.128205128205129], 'bp': 0.42437284567694994, 'sys_len': 42, 'ref_len': 78} Bleu: {'bleu': 0.06082910326722096, 'precisions': [0.5, 0.21951219512195122, 0.075, 0.05128205128205128], 'brevity_penalty': 0.42437284567694994, 'length_ratio': 0.5384615384615384, 'translation_length': 42, 'reference_length': 78} Rouge: {'rouge1': 0.38532110091743127, 'rouge2': 0.16822429906542052, 'rougeL': 0.2935779816513761, 'rougeLsum': 0.3669724770642202} Sari: {'sari': 45.08861855309615} Flesh Reading Ease: 21.6 ---------------------------------------- Source: ['Dann wird der große Schnitt gemacht.'] Prediction: ['Dann wird der große Schnitt gemacht.\nDas wird der große Schnitt gemacht.'] Label: [['Aber dann mache ich Schluss.\nDann kündige ich.']] Sacrebleu: {'score': 3.737437943747671, 'counts': [3, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [21.428571428571427, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 14, 'reference_length': 10} Rouge: {'rouge1': 0.08695652173913043, 'rouge2': 0.0, 'rougeL': 0.08695652173913043, 'rougeLsum': 0.08695652173913043} Sari: {'sari': 37.03703703703704} Flesh Reading Ease: 97.95 ---------------------------------------- Source: ['Tom Sawyer aber, mein alter Freund Tom, spürte mich wieder auf, versprach, er wolle eine Räuberbande gründen und ich solle Mitglied werden, wenn ich noch einmal zur Witwe zurückkehre und mich weiter ›sievilisieren‹ lasse.'] Prediction: ['Tom Sawyer (34) wurde im Alter von 99 Jahren von einem Freund aufgefunden.\nEr wurde von einem Räuberbande aufgefunden und wolle Mitglied werden.\nTom hatte sich auf dem Weg zur Witwe zurückkehren und wurde von der Witwe von einem Freund aufgefunden.'] Label: [['Doch Tom Sawyer spürt mich auf.\nEr will eine Räuber - Bande gründen und ich darf dabei sein.\nAber dafür muss ich zu Miss Douglas zurück.\nTom sagt nämlich, dass Räuber ordentliche Menschen sind.']] Sacrebleu: {'score': 3.0468114212099078, 'counts': [9, 3, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [19.565217391304348, 6.666666666666667, 1.1363636363636365, 0.5813953488372093], 'bp': 1.0, 'sys_len': 46, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.1956521739130435, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1794871794871795, 'translation_length': 46, 'reference_length': 39} Rouge: {'rouge1': 0.19277108433734938, 'rouge2': 0.024691358024691353, 'rougeL': 0.14457831325301204, 'rougeLsum': 0.19277108433734938} Sari: {'sari': 45.7224075446833} Flesh Reading Ease: 66.85 ---------------------------------------- Source: ['Da ihr gewiß schon die Abenteuer von Tom Sawyer gelesen habt, so brauche ich mich euch nicht vorzustellen.'] Prediction: ['Tom Sawyer (24) ist am 23.\nFebruar bei einem Abenteuer von Tom Sawyer (29) in Texas gestorben.\nEr wurde von einem Abenteuer gelesen.\nNun hat Tom ein Interview mit dem US-Bundesstaat veröffentlicht, dass er sich nicht vorzustellen will.'] Label: [['Liebe Leser, soweit ich weiß, kennt ihr mich nicht.\nDenn ihr habt bestimmt das Buch Die Abenteuer von Tom Sawyer nicht gelesen.']] Sacrebleu: {'score': 6.404023311471472, 'counts': [9, 4, 2, 1], 'totals': [47, 46, 45, 44], 'precisions': [19.148936170212767, 8.695652173913043, 4.444444444444445, 2.272727272727273], 'bp': 1.0, 'sys_len': 47, 'ref_len': 26} Bleu: {'bleu': 0.06404023311471473, 'precisions': [0.19148936170212766, 0.08695652173913043, 0.044444444444444446, 0.022727272727272728], 'brevity_penalty': 1.0, 'length_ratio': 1.8076923076923077, 'translation_length': 47, 'reference_length': 26} Rouge: {'rouge1': 0.19354838709677416, 'rouge2': 0.1, 'rougeL': 0.16129032258064516, 'rougeLsum': 0.19354838709677416} Sari: {'sari': 52.75883838383838} Flesh Reading Ease: 71.05 ---------------------------------------- Source: ['Jenes Buch hat ein gewisser Mark Twain geschrieben und was drinsteht ist wahr – wenigstens meistenteils.'] Prediction: ['Mark Twain ist ein gewisser Mark Twain.\nDer gewisser Mark Twain hat ein Buch geschrieben und was drinsteht ist wahr wenigstens meistenteils.'] Label: [['Dieses Buch hat Mark Twain geschrieben und darin die wahre Geschichte von Tom und mir erzählt.']] Sacrebleu: {'score': 5.118164602105636, 'counts': [7, 2, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [29.166666666666668, 8.695652173913043, 2.272727272727273, 1.1904761904761905], 'bp': 1.0, 'sys_len': 24, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.2916666666666667, 0.08695652173913043, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.411764705882353, 'translation_length': 24, 'reference_length': 17} Rouge: {'rouge1': 0.30769230769230765, 'rouge2': 0.1081081081081081, 'rougeL': 0.20512820512820512, 'rougeLsum': 0.20512820512820512} Sari: {'sari': 34.60858585858586} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['Hie und da hat er etwas dazugedichtet, aber das tut nichts.'] Prediction: ['Ein Mann hat einen ehemaligen Mann dazugedichtet, aber das tut nichts.\nEr hatte sich dazugedichtet und das tut nichts.'] Label: [['Na gut, manchmal hat Mark Twain ein bisschen geschwindelt, aber das macht nichts.']] Sacrebleu: {'score': 8.461633959345022, 'counts': [6, 3, 1, 0], 'totals': [22, 21, 20, 19], 'precisions': [27.272727272727273, 14.285714285714286, 5.0, 2.6315789473684212], 'bp': 1.0, 'sys_len': 22, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2727272727272727, 0.14285714285714285, 0.05, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.375, 'translation_length': 22, 'reference_length': 16} Rouge: {'rouge1': 0.3125, 'rouge2': 0.06666666666666667, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 49.02777777777778} Flesh Reading Ease: 76.9 ---------------------------------------- Source: ['Toms Tante Polly und seine Schwester Mary und die Witwe Douglas kommen alle im Buche vom Tom Sawyer vor, das wie gesagt, mit wenigen Ausnahmen eine wahre Geschichte ist.'] Prediction: ['Tom Sawyer (43) und Tante Polly (24) wurden im Buche vom Tom Sawyer (44) geschickt.\nDie beiden waren weniger Ausnahmen eine wahre Geschichte.\nTante Polly und seine Schwester Mary und die Witwe Douglas kommen alle im Buche vom Tom Sawyer vor, das wie gesagt, mit wenigen Ausnahmen eine wahre Geschichte ist.'] Label: [['Um die beiden Damen geht es auch im Buch.']] Sacrebleu: {'score': 0.8265874510641286, 'counts': [4, 0, 0, 0], 'totals': [62, 61, 60, 59], 'precisions': [6.451612903225806, 0.819672131147541, 0.4166666666666667, 0.211864406779661], 'bp': 1.0, 'sys_len': 62, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.06451612903225806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.2, 'translation_length': 62, 'reference_length': 10} Rouge: {'rouge1': 0.1, 'rouge2': 0.03448275862068966, 'rougeL': 0.1, 'rougeLsum': 0.1} Sari: {'sari': 36.431781045751634} Flesh Reading Ease: 63.55 ---------------------------------------- Source: ['Jeder von uns bekam sechstausend Dollars, lauter Gold.'] Prediction: ['Derzeit wurde derzeit von einem Dollar-Dollar-Einblicke von sechstausend US-Händlern geschlossen.\nDerzeit war derzeit sechstausende Dollar.\nDie Welt ist noch nicht bekannt.'] Label: [['Wir haben beide 6000 Dollar.']] Sacrebleu: {'score': 3.1465869622290663, 'counts': [2, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 1.0, 'sys_len': 24, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 24, 'reference_length': 6} Rouge: {'rouge1': 0.06666666666666667, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.06666666666666667} Sari: {'sari': 63.92857142857144} Flesh Reading Ease: 50.15 ---------------------------------------- Source: ['Ich kenne niemand, der nicht gelegentlich einmal ein bißchen lügen täte, ausgenommen etwa Tante Polly oder die Witwe Douglas oder Mary.'] Prediction: ['Tante Polly ist nicht nur bißchen, sondern auch während der nächsten Woche ein bißchen lügen.\nIch kenne niemand, der nicht gelegentlich einmal einmal ein bißchen lügen täte, ausgenommen etwa Tante Polly oder die Witwe Douglas oder Mary.'] Label: [['Jeder schwindelt doch mal, oder?\nMoment, nein, Miss Douglas und Tante Polly schwindeln natürlich nie.']] Sacrebleu: {'score': 2.4700774086427155, 'counts': [8, 1, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [19.047619047619047, 2.4390243902439024, 1.25, 0.6410256410256411], 'bp': 1.0, 'sys_len': 42, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.19047619047619047, 0.024390243902439025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1, 'translation_length': 42, 'reference_length': 20} Rouge: {'rouge1': 0.13114754098360656, 'rouge2': 0.03389830508474576, 'rougeL': 0.06557377049180328, 'rougeLsum': 0.09836065573770493} Sari: {'sari': 37.361111111111114} Flesh Reading Ease: 56.2 ---------------------------------------- Source: ['Es war ein großartiger Anblick, als wir das Geld auf einem Haufen liegen sahen.'] Prediction: ['Ein Geld auf einem Haufen liegt auf einem Stadtgeld.\nEs war ein großartiger Anblick, als wir das Geld auf einem Haufen liegen sahen.'] Label: [['Das ist ganz schön viel Geld.']] Sacrebleu: {'score': 1.7179060012299232, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.7142857142857144, 'translation_length': 26, 'reference_length': 7} Rouge: {'rouge1': 0.12903225806451613, 'rouge2': 0.0, 'rougeL': 0.12903225806451613, 'rougeLsum': 0.12903225806451613} Sari: {'sari': 35.96491228070175} Flesh Reading Ease: 80.75 ---------------------------------------- Source: ['Am Ende von dieser Geschichte wird erzählt, wie Tom und ich das Geld fanden, das die Räuber in der Höhle verborgen hatten, wodurch wir nachher sehr reich wurden.'] Prediction: ['Am Ende des Räubern wurde eine Geschichte von Tom und Tom veröffentlicht.\nDie Räuber wurden in der Höhle verborgen.\nTom und Tom waren nachher sehr reich.'] Label: [['Das Buch über Tom und mich endet übrigens so: Tom und ich finden einen Schatz in einer Höhle.\nDen hatten Räuber dort versteckt.\nUnd dadurch sind wir plötzlich reich.']] Sacrebleu: {'score': 4.518351524733912, 'counts': [11, 3, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [37.93103448275862, 10.714285714285714, 1.8518518518518519, 0.9615384615384616], 'bp': 0.8711587695892689, 'sys_len': 29, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.3793103448275862, 0.10714285714285714, 0.0, 0.0], 'brevity_penalty': 0.8711587695892689, 'length_ratio': 0.8787878787878788, 'translation_length': 29, 'reference_length': 33} Rouge: {'rouge1': 0.3225806451612903, 'rouge2': 0.13333333333333333, 'rougeL': 0.2580645161290323, 'rougeLsum': 0.3225806451612903} Sari: {'sari': 36.419760224300774} Flesh Reading Ease: 77.7 ---------------------------------------- Source: ['Kreisrichter Thatcher bewahrte meinen Teil auf und legte ihn auf Zinsen an, die jeden Tag einen Dollar für mich ausmachen.'] Prediction: ['Die EU-Konzern Thatcher hat einen Dollar für ihn ausmachen.\nDie Rekordwahl von Thatcher hatte einen Teil aufgefunden.\nDie Rekordwahl ist noch unklar.'] Label: [['Richter Thatcher hat es für uns bei einer Bank angelegt.\nUnd seitdem kriegen Tom und ich jeden Tag einen Dollar Zinsen.']] Sacrebleu: {'score': 4.899864500847875, 'counts': [7, 2, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [28.0, 8.333333333333334, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.28, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0869565217391304, 'translation_length': 25, 'reference_length': 23} Rouge: {'rouge1': 0.2608695652173913, 'rouge2': 0.13636363636363635, 'rougeL': 0.21739130434782608, 'rougeLsum': 0.2608695652173913} Sari: {'sari': 36.953494848231685} Flesh Reading Ease: 73.25 ---------------------------------------- Source: ['Ich weiß wahrhaftig nicht, was ich mit dem vielen Geld anfangen soll.'] Prediction: ['Ein Geld auf dem Markt geht aus, das sich mit dem vielen Geld anfangen soll.\nDie Welt ist nicht bekannt, sondern auch auch auch auf dem Markt.'] Label: [['Das ist mehr Geld, als ich jemals ausgeben kann!']] Sacrebleu: {'score': 1.5784309053930103, 'counts': [3, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [9.67741935483871, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.0967741935483871, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8181818181818183, 'translation_length': 31, 'reference_length': 11} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.0, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 36.65674603174603} Flesh Reading Ease: 96.3 ---------------------------------------- Source: ['Die Witwe Douglas nahm mich als Sohn an und will versuchen, mich zu sievilisieren wie sie sagt.'] Prediction: ['Die Witwe Douglas nahm mich als Sohn an und will versuchen, mich zu sievilisieren wie sie sagt.\nDie Witwe Douglas nahm mich als Sohn an und will versuchen, mich zu sievilisieren wie sie sagt.'] Label: [['Und dann nimmt mich Miss Douglas auch noch als ihren Pflege - Sohn auf.\n10 Sie will einen ordentlichen Jungen aus mir machen.']] Sacrebleu: {'score': 1.5763060777242128, 'counts': [7, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [18.42105263157895, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.18421052631578946, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.52, 'translation_length': 38, 'reference_length': 25} Rouge: {'rouge1': 0.25, 'rouge2': 0.0, 'rougeL': 0.21428571428571427, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 38.23529411764706} Flesh Reading Ease: 75.25 ---------------------------------------- Source: ['Das schmeckt mir aber schlecht, kann ich euch sagen, das Leben wird mir furchtbar sauer im Hause mit der abscheulichen Regelmäßigkeit, wo immer um dieselbe Zeit gegessen und geschlafen werden soll, einen Tag wie den andern.'] Prediction: ['Immer wieder sollen sich die andere auf der Autobahn einen Tag wie den andern.\nDas schmeckt mir aber schlecht, kann ich euch sagen, das Leben wird furchtbar sauer im Hause mit der abscheulichen Regelmäßigkeit, wo immer um dieselbe Zeit gegessen und geschlafen werden soll, einen Tag wie den andern.'] Label: [['Doch darauf habe ich natürlich keine Lust.\nAlles in ihrem Haus ist ordentlich und sauber.\nGenau wie Miss Douglas selbst.\nMir gefällt das allerdings überhaupt nicht.']] Sacrebleu: {'score': 1.034508119066299, 'counts': [6, 0, 0, 0], 'totals': [55, 54, 53, 52], 'precisions': [10.909090909090908, 0.9259259259259259, 0.4716981132075472, 0.2403846153846154], 'bp': 1.0, 'sys_len': 55, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.10909090909090909, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 55, 'reference_length': 30} Rouge: {'rouge1': 0.12820512820512822, 'rouge2': 0.0, 'rougeL': 0.07692307692307691, 'rougeLsum': 0.12820512820512822} Sari: {'sari': 27.20883534136546} Flesh Reading Ease: 61.9 ---------------------------------------- Source: ['Einmal bin ich auch schon durchgebrannt, bin in meine alten Lumpen gekrochen, und – hast du nicht gesehen, war ich draußen im Wald und in der Freiheit.'] Prediction: ['Einmal bin ich auch schon durchgebrannt, bin in meine alten Lumpen gekrochen, und war ich draußen im Wald und in der Freiheit.\nEinmal bin ich auch schon durchgebrannt, bin in meine alten Lumpen gekrochen, und war ich draußen im Wald und in der Freiheit.'] Label: [['Also laufe ich davon.']] Sacrebleu: {'score': 0.8671339908544159, 'counts': [2, 0, 0, 0], 'totals': [50, 49, 48, 47], 'precisions': [4.0, 1.0204081632653061, 0.5208333333333334, 0.26595744680851063], 'bp': 1.0, 'sys_len': 50, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.04, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 10.0, 'translation_length': 50, 'reference_length': 5} Rouge: {'rouge1': 0.04, 'rouge2': 0.0, 'rougeL': 0.04, 'rougeLsum': 0.04} Sari: {'sari': 34.49612403100775} Flesh Reading Ease: 70.25 ---------------------------------------- Source: ["Da tat ich's denn."] Prediction: ['Die Schweizerin hat sich mit ihrem Partner auf die Suche geschlossen.\nSie hatte sich mit ihrem Partner auf die Suche geschlossen.\nDie Schweizerin hatte sich mit ihrem Partner auf die Suche geschlossen.'] Label: [['Also gehe ich wieder zurück.']] Sacrebleu: {'score': 1.0559717178170818, 'counts': [1, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [2.857142857142857, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.02857142857142857, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.833333333333333, 'translation_length': 35, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 69.85 ---------------------------------------- Source: ['Die Witwe vergoß Tränen, als ich mich wieder einstellte, nannte mich ein armes, verirrtes Schaf und sonst noch allerlei, womit sie aber nichts Schlimmes meinte.'] Prediction: ['Eine Witwe vergoß Tränen, als sie wieder einstellte, nannte mich ein armes, verirrtes Schaf und sonst noch allerlei.\nDie Witwe vergoß Tränen, als sie wieder einstellte, nannte mich ein armes, verirrtes Schaf und sonst noch allerlei.'] Label: [['Miss Douglas weint vor Freude.']] Sacrebleu: {'score': 0.8321783954793125, 'counts': [1, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [2.272727272727273, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.022727272727272728, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.333333333333333, 'translation_length': 44, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.12698412698412} Flesh Reading Ease: 62.55 ---------------------------------------- Source: ['Sie steckte mich wieder in die neuen Kleider, in denen es mir immer ganz eng und schwül wird.'] Prediction: ['Die beiden Kinder sind wieder in die neuen Kleider.\nSie wurde zum ersten Mal immer ganz eng und schwül.\nDie Kinder sind zum ersten Mal noch nie.'] Label: [['Sie zieht mich direkt wieder ordentlich an.']] Sacrebleu: {'score': 1.633898440122165, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.75, 'translation_length': 30, 'reference_length': 8} Rouge: {'rouge1': 0.1142857142857143, 'rouge2': 0.0, 'rougeL': 0.05714285714285715, 'rougeLsum': 0.1142857142857143} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['Wenn die Witwe die Glocke läutete, mußte man zum Essen kommen.'] Prediction: ['Die Witwe der Witwe wurde in der Nacht auf Sonntag zum Essen gefunden.\nDie Witwe wurde dabei zum Essen gefunden.\nDie Witwe wurde dabei zum Essen gefunden.'] Label: [['Und wir müssen ganz pünktlich essen.']] Sacrebleu: {'score': 1.2414943415352928, 'counts': [1, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [3.3333333333333335, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.03333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.285714285714286, 'translation_length': 30, 'reference_length': 7} Rouge: {'rouge1': 0.05714285714285714, 'rouge2': 0.0, 'rougeL': 0.05714285714285714, 'rougeLsum': 0.05714285714285714} Sari: {'sari': 54.76190476190476} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Quält mich die Frau mit dem Moses, der sie weiter gar nichts angeht, der nicht einmal verwandt mit ihr war und mit dem jetzt nichts mehr anzufangen ist, und verbietet mir das Rauchen, das doch gewiß gar nicht so übel ist.'] Prediction: ['Eine Frau wurde mit dem Moses nicht einmal verwandt mit ihr war und verbietet das Rauchen, das doch gewiß gar nicht so übel ist.\nDie Frau verbietet das Rauchen, das doch gewiß gar nicht so übel ist.'] Label: [['Pfeife rauchen darf ich auch nicht mehr, denn das mag Miss Douglas nicht.']] Sacrebleu: {'score': 1.3389812472744242, 'counts': [5, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [12.195121951219512, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.12195121951219512, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7333333333333334, 'translation_length': 41, 'reference_length': 15} Rouge: {'rouge1': 0.16, 'rouge2': 0.0, 'rougeL': 0.16, 'rougeLsum': 0.12} Sari: {'sari': 35.0} Flesh Reading Ease: 79.6 ---------------------------------------- Source: ['Ihre Schwester, Miss Watson, eine ziemlich dürre, alte Jungfer, die gerade zu ihr gezogen war, machte nun einen Angriff auf mich, mit einem Lesebuch bewaffnet.'] Prediction: ['Eine Schwester, die gerade zu ihr gezogen war, machte einen Angriff auf mich, mit einem Lesebuch bewaffnet.\nDie Schwester, Miss Watson, wurde ziemlich dürfen, alte Jungfer, die gerade zu ihr gezogen war, machte nun einen Angriff auf mich, mit einem Lesebuch bewaffnet.'] Label: [['Miss Watson ist Lehrerin.\nUnd sie ist die Schwester von Miss Douglas.\nSie versucht, mir das Lesen beizubringen.']] Sacrebleu: {'score': 1.8784392958042233, 'counts': [7, 1, 0, 0], 'totals': [53, 52, 51, 50], 'precisions': [13.20754716981132, 1.9230769230769231, 0.9803921568627451, 0.5], 'bp': 1.0, 'sys_len': 53, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.1320754716981132, 0.019230769230769232, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.409090909090909, 'translation_length': 53, 'reference_length': 22} Rouge: {'rouge1': 0.13114754098360654, 'rouge2': 0.06779661016949151, 'rougeL': 0.09836065573770493, 'rougeLsum': 0.13114754098360654} Sari: {'sari': 37.40036734972278} Flesh Reading Ease: 59.55 ---------------------------------------- Source: ['Alsbald begann Miss Watson: »Halt doch die Füße ruhig, Huckleberry«, oder »willst du keinen solchen Buckel machen, Huckleberry, sitz doch gerade!« und dann wieder »so recke dich doch nicht so, Huckleberry, und gähne nicht, als wolltest du die Welt verschlingen, wirst du denn nie Manieren lernen?«, und so schalt sie weiter bis ich ganz wild wurde.'] Prediction: ['In der Nacht auf Sonntag wurde eine Frau von Miss Watson (24) und ihren Partner (29) vermisst.\nSie schalt sie bis ich ganz wild wurde.\nDie Frau wurde von ihrem Partner aufgefunden, wie sie sich nicht ganz wild wurde.'] Label: [['Wenn ich im Unterricht gähnen muss, wird Miss Watson sofort wütend.']] Sacrebleu: {'score': 1.9547435301444356, 'counts': [5, 1, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [10.638297872340425, 2.1739130434782608, 1.1111111111111112, 0.5681818181818182], 'bp': 1.0, 'sys_len': 47, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.10638297872340426, 0.021739130434782608, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6153846153846154, 'translation_length': 47, 'reference_length': 13} Rouge: {'rouge1': 0.11538461538461538, 'rouge2': 0.04, 'rougeL': 0.07692307692307693, 'rougeLsum': 0.11538461538461538} Sari: {'sari': 39.77782999164578} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['Dann fing sie an, mir vom Ort zu erzählen, an den die bösen Menschen kommen, worauf ich sagte, ich wünschte mich auch dahin.'] Prediction: ['Eine der bösen Menschen kann sich auf dem Ort zu erzählen, an den die bösen Menschen kommen, worauf ich sagte, ich wünschte mich auch dahin.\nDie beiden wünschten mich auch dahin.'] Label: [['Sie erzählt von einem Ort, der „Hölle “ heißt.\n11 Miss Watson sagt, dass diese Hölle etwas Schreckliches ist.\nIch finde diesen Ort eher spannend.']] Sacrebleu: {'score': 1.6047299884724648, 'counts': [6, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [16.666666666666668, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 36, 'reference_length': 30} Rouge: {'rouge1': 0.125, 'rouge2': 0.0, 'rougeL': 0.0625, 'rougeLsum': 0.0625} Sari: {'sari': 33.94809257669112} Flesh Reading Ease: 76.75 ---------------------------------------- Source: ["Da wurde sie böse und zeterte gewaltig, so schlimm hatte ich's aber gar nicht gemeint, ich wäre nur gern fortgewesen von ihr, irgendwo, der Ort war mir ganz einerlei, ich bin überhaupt nie sehr wählerisch."] Prediction: ["Eine der beiden wurde böse und zeterte gewaltig, so schlimm hatte ich's aber gar nicht gemeint, ich wäre nur gern fortgewesen von ihr, irgendwo, der Ort war mir ganz einerlei, ich bin überhaupt nie sehr wählerisch.\nAber auch wenn du nicht mehr wählerisch ist, wenn du nicht mehr wählerisch ist, wenn du nicht mehr wählerisch isst."] Label: [['Da wird sie aber schon wieder wütend.']] Sacrebleu: {'score': 0.6622258249686733, 'counts': [2, 0, 0, 0], 'totals': [65, 64, 63, 62], 'precisions': [3.076923076923077, 0.78125, 0.3968253968253968, 0.20161290322580644], 'bp': 1.0, 'sys_len': 65, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.03076923076923077, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 8.125, 'translation_length': 65, 'reference_length': 8} Rouge: {'rouge1': 0.05633802816901408, 'rouge2': 0.0, 'rougeL': 0.05633802816901408, 'rougeLsum': 0.05633802816901408} Sari: {'sari': 25.877192982456137} Flesh Reading Ease: 64.25 ---------------------------------------- Source: ['Dann kamen die Nigger herein, es wurde gebetet, und jedermann ging zu Bett.'] Prediction: ['Die Nigger konnten sich herein gebeten werden.\nSie wurde gebetet, und jedermann ging zu Bett.\nDie Nigger konnten sich auf dem Bett gebeten werden.'] Label: [['Sie sagt den Sklaven, dass sie hereinkommen sollen.\nUnd dann gehen alle schlafen.']] Sacrebleu: {'score': 1.8884748972625875, 'counts': [4, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [14.285714285714286, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 28, 'reference_length': 16} Rouge: {'rouge1': 0.10810810810810811, 'rouge2': 0.0, 'rougeL': 0.10810810810810811, 'rougeLsum': 0.10810810810810811} Sari: {'sari': 33.27205882352941} Flesh Reading Ease: 72.55 ---------------------------------------- Source: ['Ich fühlte mich so allein, daß ich wünschte, ich wäre tot.'] Prediction: ['Eine Frau wurde tot, wie sie ihn fühlte, wäre tot.\nIhr fühlte mich so allein, daß sie wünschte, ich wäre tot.\nIhr fühlte mich so allein, daß sie wäre tot, ich wäre tot.'] Label: [['Denn ich fühle mich einsam.']] Sacrebleu: {'score': 1.1493330194206166, 'counts': [3, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [7.142857142857143, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.0, 'translation_length': 42, 'reference_length': 6} Rouge: {'rouge1': 0.1276595744680851, 'rouge2': 0.0, 'rougeL': 0.1276595744680851, 'rougeLsum': 0.0851063829787234} Sari: {'sari': 28.086419753086417} Flesh Reading Ease: 87.1 ---------------------------------------- Source: ['Ich hörte aus der Ferne eine Eule, deren Schrei jemandes Tod bedeutete, und dann einen Hund, dessen klägliches Geheul verkündete, daß einer im Sterben liege, und der Wind schien mir etwas klagen zu wollen, was ich nicht verstand, so daß ich bald am ganzen Leibe zitterte und mir der kalte Schweiß auf die Stirne trat.'] Prediction: ['Ein Hund, dessen klägliches Geheul verkündete, hörte aus der Ferne eine Eule, deren Schrei jemandes Tod bedeutete, und dann einen Hund, dessen klägliches Geheul verkündete, daß einer im Sterben liege, und der Wind schien mir etwas klagen zu wollen, was ich nicht verstand, so daß ich bald am ganzen Leibe zitterte.'] Label: [['Von draußen kommen ein paar merkwürdige Geräusche.']] Sacrebleu: {'score': 0.5943123208853887, 'counts': [1, 0, 0, 0], 'totals': [61, 60, 59, 58], 'precisions': [1.639344262295082, 0.8333333333333334, 0.423728813559322, 0.21551724137931033], 'bp': 1.0, 'sys_len': 61, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.01639344262295082, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.625, 'translation_length': 61, 'reference_length': 8} Rouge: {'rouge1': 0.030303030303030304, 'rouge2': 0.0, 'rougeL': 0.030303030303030304, 'rougeLsum': 0.030303030303030304} Sari: {'sari': 35.79545454545455} Flesh Reading Ease: 29.55 ---------------------------------------- Source: ['Die ganze Nacht schien von lauter armen, unglücklichen Geistern belebt, die keine Ruhe in ihren Gräbern fanden und nun da draußen herumheulten, jammerten und zähneklapperten.'] Prediction: ['Die ganze Nacht schien von lauter armen, unglücklichen Geistern belebt, die keine Ruhe in ihren Gräbern fanden und nun da draußen herumheulten, jammerten und zähneklapperten.\nDie ganze Nacht schien von lauter armen, unglücklichen Geistern belebt, die keine Ruhe in ihren Gräbern fanden und nun da draußen herumheulten, jammerten und zähneklapperten.'] Label: [['Das sind bestimmt Geister!']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [58, 57, 56, 55], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 58, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 11.6, 'translation_length': 58, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.33333333333333} Flesh Reading Ease: 38.0 ---------------------------------------- Source: ['Mir wurde heiß und kalt, und ich hätte alles drum gegeben, wenn jemand bei mir gewesen wäre.'] Prediction: ['Im Alter von 99 Jahren wurde ein Drum auf dem Kanton Zürich geschickt.\nDer Drum wurde heiß und kalt, und ich hätte alles drum gegeben, wenn jemand bei mir gewesen wäre.\nDie beiden waren heiß und kalt, wenn jemand bei mir gewesen wäre.'] Label: [['Vor Geistern habe ich große Angst.']] Sacrebleu: {'score': 0.8853994618255676, 'counts': [2, 0, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [4.081632653061225, 1.0416666666666667, 0.5319148936170213, 0.2717391304347826], 'bp': 1.0, 'sys_len': 49, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.04081632653061224, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.0, 'translation_length': 49, 'reference_length': 7} Rouge: {'rouge1': 0.037037037037037035, 'rouge2': 0.0, 'rougeL': 0.037037037037037035, 'rougeLsum': 0.037037037037037035} Sari: {'sari': 35.08771929824561} Flesh Reading Ease: 77.95 ---------------------------------------- Source: ['Das Haus war so still und die Witwe nicht in meiner Nähe.'] Prediction: ['Ein Haus in der Nähe von Stadt Bern ist so still und die Witwe nicht in meiner Nähe.\nDas Haus war so still und die Witwe nicht in meiner Nähe.'] Label: [['Das beruhigt mich, und Miss Douglas merkt es zum Glück nicht.']] Sacrebleu: {'score': 1.6404472625060698, 'counts': [4, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [12.5, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4615384615384617, 'translation_length': 32, 'reference_length': 13} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 37.254901960784316} Flesh Reading Ease: 94.8 ---------------------------------------- Source: ['Da schlug die Uhr von der Ferne – bum – bum – bum – bum, zwölfmal, und wieder war alles still, stiller als vorher.'] Prediction: ['Die Ferne von der Ferne in der Nähe von Monte Carlo ist ein grosser Problem.\nEs ist der erste Problem, das ist der Problem.\nEs ist der Problem, das ist der Problem, das ist der Problem, das ist der Problem, das ist der Problem, das ist der Problem, das ist der Problem, das ist der Problem, das ist der Problem, das ist der Problem, das ist der Problem, das ist der Problem, das ist der Problem, das ist der Problem, das ist the Problem, das ist the Problem, das ist the Problem, das ist the Problem, das ist the Problem, das ist the Problem, das ist the Problem, das ist the Problem, das ist the Problem, das ist the Problem, das ist the Problem, das ist the Problem, das ist the Problem, das ist the Problem, das ist the Problem, das is the Problem, das is the Problem, das is the Problem, das is the Problem, das is the Problem, das is the Problem, das Problem, das is the Problem, das is the Problem, das is the Problem, das is the Problem, das ist the Problem, das ist the Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem, das Problem,'] Label: [['Nach einer Weile höre ich die Glocken im Dorf zwölf Uhr schlagen.\nDann wird es still, ganz still.']] Sacrebleu: {'score': 0.13994137144207802, 'counts': [3, 0, 0, 0], 'totals': [334, 333, 332, 331], 'precisions': [0.8982035928143712, 0.15015015015015015, 0.07530120481927711, 0.0377643504531722], 'bp': 1.0, 'sys_len': 334, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.008982035928143712, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 15.904761904761905, 'translation_length': 334, 'reference_length': 21} Rouge: {'rouge1': 0.01444043321299639, 'rouge2': 0.0, 'rougeL': 0.01444043321299639, 'rougeLsum': 0.01444043321299639} Sari: {'sari': 44.60939202980401} Flesh Reading Ease: 18.65 ---------------------------------------- Source: ['Plötzlich höre ich etwas unten im Garten unter den Bäumen, ein Rascheln und Knacken, ich halte den Atem an und lausche.'] Prediction: ['Ein Rascheln und Knacken hat in der Nacht auf Sonntag einen Rascheln und Knacken gegeben.\nDie beiden hören unter den Bäumen, ein Rascheln und Knacken.\nDie beiden hören unter den Bäumen, ein Rascheln und Knacken.'] Label: [['Aber dann höre ich, wie draußen ein Ast bricht.\nUnten im Dunkeln bewegt sich etwas zwischen den Bäumen.']] Sacrebleu: {'score': 2.4181756076515732, 'counts': [6, 1, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [15.0, 2.5641025641025643, 1.3157894736842106, 0.6756756756756757], 'bp': 1.0, 'sys_len': 40, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.02564102564102564, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9047619047619047, 'translation_length': 40, 'reference_length': 21} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.06896551724137931, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 34.4708110516934} Flesh Reading Ease: 86.4 ---------------------------------------- Source: ["Wieder hör' ich's, und dabei, leise wie ein Hauch, das schwächste ›Miau‹ einer Katze."] Prediction: ['Miau"s Katze ist wieder hör\' ich\'s, und dabei leise wie ein Hauch, das schwächste ›Miau‹ einer Katze.\nDie Katze ist wieder hör\' ich\'s, und dabei leise wie ein Hauch, das schwächste ›Miau‹ einer Katze.'] Label: [['„Miau!\n“, höre ich auf einmal.']] Sacrebleu: {'score': 1.038539619163422, 'counts': [2, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [4.761904761904762, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.047619047619047616, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.666666666666667, 'translation_length': 42, 'reference_length': 9} Rouge: {'rouge1': 0.1276595744680851, 'rouge2': 0.0, 'rougeL': 0.1276595744680851, 'rougeLsum': 0.1276595744680851} Sari: {'sari': 34.61538461538462} Flesh Reading Ease: 75.25 ---------------------------------------- Source: ['Und »miau, miau« antworte ich ebenso kläglich, ebenso leise, schlüpfe rasch in meine Kleider, lösche das Licht aus und steige durch das Fenster auf das Schuppendach.'] Prediction: ['Eine Frau aus dem Schuppendach wurde von einem schweren Schuppendach aufgefunden.\nDie Frau war dabei, dass sie sich ebenso kläglich, ebenso leise, schlüpfe rasch in meine Kleider.\nDie Frau ist nicht bekannt, sondern auch auf einem Schuppendach.'] Label: [['Ich miaue leise zurück und klettere durch das Fenster auf das Dach von der Scheune.']] Sacrebleu: {'score': 1.176877973200725, 'counts': [4, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [9.090909090909092, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 44, 'reference_length': 16} Rouge: {'rouge1': 0.1090909090909091, 'rouge2': 0.0, 'rougeL': 0.07272727272727274, 'rougeLsum': 0.1090909090909091} Sari: {'sari': 29.25280129227498} Flesh Reading Ease: 74.1 ---------------------------------------- Source: ['Dann lasse ich mich zu Boden gleiten, krieche auf allen vieren nach den Schatten der Bäume, und da war richtig und leibhaftig Tom Sawyer, mein alter Tom, und wartete auf mich.'] Prediction: ['Tom Sawyer (34) wurde bei einem Bäume in den USA leibhaftig geschickt.\nEr war leibhaftig und wartete auf mich. Seine Bäume waren nicht alle, sondern auch die Bäume.'] Label: [['Dann laufe ich in den Garten.\nUnd da steht Tom Sawyer zwischen den Bäumen und wartet auf mich!']] Sacrebleu: {'score': 4.05185766962521, 'counts': [8, 3, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [23.529411764705884, 9.090909090909092, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.09090909090909091, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7, 'translation_length': 34, 'reference_length': 20} Rouge: {'rouge1': 0.31999999999999995, 'rouge2': 0.125, 'rougeL': 0.24000000000000002, 'rougeLsum': 0.28} Sari: {'sari': 40.55278421395362} Flesh Reading Ease: 77.1 ---------------------------------------- Source: ['Nun langweilte ich mich aber schrecklich und wurde ganz unruhig.'] Prediction: ['Ein Mann wurde im Alter von 24 Jahren schwer verletzt.\nNun wurde er von der Polizei gefunden.\nEr wurde nur noch nie schwer verletzt.'] Label: [['Puh, das ist ziemlich schwierig und sehr, sehr langweilig!']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 27, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 27, 'reference_length': 12} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 57.291666666666664} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['So setzte ich mich zitternd auf den Bettrand und zündete mir zur Beruhigung mein Pfeifchen an.'] Prediction: ['Die Schweizer Stadt hatte am Sonntagabend einen Bettrand aufgefunden.\nDie Beruhigung zündete ihn zur Beruhigung mein Pfeifchen an.\nDie Schweizer Stadt hatte ihn zuvor zu einer Beruhigung mehrfach auf den Bettrand geschützt.'] Label: [['Ich zittere sogar vor Angst.\nDarum zünde ich eine Pfeife an.']] Sacrebleu: {'score': 2.3372496156461082, 'counts': [3, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [8.571428571428571, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.08571428571428572, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6923076923076925, 'translation_length': 35, 'reference_length': 13} Rouge: {'rouge1': 0.08695652173913045, 'rouge2': 0.0, 'rougeL': 0.08695652173913045, 'rougeLsum': 0.08695652173913045} Sari: {'sari': 36.790293040293044} Flesh Reading Ease: 64.0 ---------------------------------------- Source: ['Keine Antwort.'] Prediction: ['Die Weltforscherin von St. Gallen hatte sich mit einem Interview mit dem "Unchained" zu Gast mit dem "Unchained" zum Thema "Unchained" zu Gast gegen die Schweizerin Keine Antwort.\nDie Antworten waren im Interview mit dem "Unchained" zu Gast gegen die Antworten.'] Label: [['Es kommt keine Antwort.']] Sacrebleu: {'score': 1.4005547834201397, 'counts': [2, 1, 0, 0], 'totals': [52, 51, 50, 49], 'precisions': [3.8461538461538463, 1.9607843137254901, 1.0, 0.5102040816326531], 'bp': 1.0, 'sys_len': 52, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.038461538461538464, 0.0196078431372549, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 10.4, 'translation_length': 52, 'reference_length': 5} Rouge: {'rouge1': 0.08888888888888888, 'rouge2': 0.046511627906976744, 'rougeL': 0.08888888888888888, 'rougeLsum': 0.08888888888888888} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 66.85 ---------------------------------------- Source: ['»Tom!«'] Prediction: ['Tom (34) und Tom (29) sind die beiden auf der Welt.\nWir haben dir jeden Tag, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zum Gast, die beiden zum Gast, die beiden zum Gast, die beiden zum Gast, die beiden zum Gast, die beiden zum Gast, die beiden zum Gast, die beiden zum Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast,'] Label: [['Darum ruft die alte Dame noch einmal.']] Sacrebleu: {'score': 0.12348031546737163, 'counts': [2, 0, 0, 0], 'totals': [342, 341, 340, 339], 'precisions': [0.5847953216374269, 0.1466275659824047, 0.07352941176470588, 0.03687315634218289], 'bp': 1.0, 'sys_len': 342, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.005847953216374269, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 42.75, 'translation_length': 342, 'reference_length': 8} Rouge: {'rouge1': 0.007407407407407407, 'rouge2': 0.0, 'rougeL': 0.007407407407407407, 'rougeLsum': 0.007407407407407407} Sari: {'sari': 67.74193548387096} Flesh Reading Ease: -15.86 ---------------------------------------- Source: ['Keine Antwort.'] Prediction: ['Die Weltforscherin von St. Gallen hatte sich mit einem Interview mit dem "Unchained" zu Gast mit dem "Unchained" zum Thema "Unchained" zu Gast gegen die Schweizerin Keine Antwort.\nDie Antworten waren im Interview mit dem "Unchained" zu Gast gegen die Antworten.'] Label: [['Doch wieder bleibt es still im Haus.']] Sacrebleu: {'score': 0.8327748566971627, 'counts': [2, 0, 0, 0], 'totals': [52, 51, 50, 49], 'precisions': [3.8461538461538463, 0.9803921568627451, 0.5, 0.25510204081632654], 'bp': 1.0, 'sys_len': 52, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.038461538461538464, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.5, 'translation_length': 52, 'reference_length': 8} Rouge: {'rouge1': 0.04166666666666667, 'rouge2': 0.0, 'rougeL': 0.04166666666666667, 'rougeLsum': 0.04166666666666667} Sari: {'sari': 46.40804597701149} Flesh Reading Ease: 66.85 ---------------------------------------- Source: ['Sie sprach die Drohung nicht ganz aus, denn Sie hatte sich gebückt, um mit dem Besen unter das Bett zu stoßen und bedurfte ihres Atems, um jedem Stoß den gehörigen Nachdruck zu verleihen.'] Prediction: ['Eine Frau hatte sich mit dem Besen unter das Bett zu stoßen und bedurfte ihres Atems, um jedem Stoß den gehörigen Nachdruck zu verleihen.\nDie Frau sprach die Drohung nicht aus, denn Sie hatte sich gebückt, um mit dem Besen unter das Bett zu stoßen und bedurfte ihres Atems, um jedem Stoß den Nachdruck zu verleihen.'] Label: [['Tante Polly sieht unter dem Bett im Schlafzimmer nach.']] Sacrebleu: {'score': 0.8265874510641286, 'counts': [4, 0, 0, 0], 'totals': [62, 61, 60, 59], 'precisions': [6.451612903225806, 0.819672131147541, 0.4166666666666667, 0.211864406779661], 'bp': 1.0, 'sys_len': 62, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.06451612903225806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.2, 'translation_length': 62, 'reference_length': 10} Rouge: {'rouge1': 0.08695652173913045, 'rouge2': 0.0, 'rougeL': 0.08695652173913045, 'rougeLsum': 0.057971014492753624} Sari: {'sari': 35.23809523809524} Flesh Reading Ease: 64.25 ---------------------------------------- Source: ['Sie ging zur offnen Thür und suchte unter den Liebesapfelranken und dem Stechapfelkraut, die den Garten bildeten.'] Prediction: ['Eine Frau wurde im Thür von einem Stechapfelkraut gefunden.\nSie suchte unter den Liebesapfelranken und dem Stechapfelkraut, die den Garten bildeten.\nSie wurde von einem Liebesapfelranken und dem Stechapfelkraut gefunden.'] Label: [['Vielleicht im Garten?']] Sacrebleu: {'score': 1.2944532586971997, 'counts': [2, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [5.882352941176471, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 4} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 8.5, 'translation_length': 34, 'reference_length': 4} Rouge: {'rouge1': 0.1176470588235294, 'rouge2': 0.0, 'rougeL': 0.1176470588235294, 'rougeLsum': 0.1176470588235294} Sari: {'sari': 36.111111111111114} Flesh Reading Ease: 47.15 ---------------------------------------- Source: ['Sie erhob die Stimme und schrie: »Ohe–e–e Tom!«'] Prediction: ['Eine Frau (24) und ihr Ehemann (29) wurden im Alter von 99 Jahren gestohlen.\nSie erhoben die Stimme und schrie: "Ohe–e–e Tom!'] Label: [['„Tom!\n“, ruft Tante Polly, während sie zwischen den Bäumen und Sträuchern sucht.']] Sacrebleu: {'score': 1.633898440122165, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7647058823529411, 'translation_length': 30, 'reference_length': 17} Rouge: {'rouge1': 0.15384615384615385, 'rouge2': 0.0, 'rougeL': 0.10256410256410255, 'rougeLsum': 0.15384615384615385} Sari: {'sari': 38.39962121212121} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['Wie viel hundertmal habe ich dir gesagt, wenn du das Eingemachte nicht stehen ließest, würde ich dir die Haut abziehen!'] Prediction: ['Ein Eingemachte hatte viel hundertmal, wenn du das Eingemachte nicht stehen ließest, würde ich dir die Haut abziehen.\nWie viel hundertmal habe ich dir gesagt, würde ich dir die Haut abziehen!'] Label: [['„Das darfst du doch nicht!\n“']] Sacrebleu: {'score': 1.3494116947566301, 'counts': [3, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [8.333333333333334, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.142857142857143, 'translation_length': 36, 'reference_length': 7} Rouge: {'rouge1': 0.15384615384615385, 'rouge2': 0.0, 'rougeL': 0.10256410256410256, 'rougeLsum': 0.10256410256410256} Sari: {'sari': 35.507246376811594} Flesh Reading Ease: 70.9 ---------------------------------------- Source: ['Ein leises Geräusch erfolgte, sie wandte sich rasch um, eben zeitig genug, um einen kleinen Jungen bei der Jacke zu erwischen und seiner Flucht ein Ziel zu setzen.'] Prediction: ['Eine Frau wurde in der Jacke eines leises Geräuschs erfolgt, eben zeitig genug, um einen kleinen Jungen bei der Jacke zu erwischen und seiner Flucht ein Ziel zu setzen.\nDie Frau wurde dabei von einem leises Geräusch erfolgt, eben zeitig genug, um einen kleinen Jungen bei der Jacke zu erwischen und seiner Flucht ein Ziel zu setzen.'] Label: [['“ Plötzlich hört Tante Polly ein Geräusch hinter sich.\nSchnell dreht sie sich um.']] Sacrebleu: {'score': 0.8597935375255782, 'counts': [5, 0, 0, 0], 'totals': [63, 62, 61, 60], 'precisions': [7.936507936507937, 0.8064516129032258, 0.4098360655737705, 0.20833333333333334], 'bp': 1.0, 'sys_len': 63, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.07936507936507936, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.9375, 'translation_length': 63, 'reference_length': 16} Rouge: {'rouge1': 0.10666666666666667, 'rouge2': 0.027397260273972605, 'rougeL': 0.10666666666666667, 'rougeLsum': 0.10666666666666667} Sari: {'sari': 31.886792452830186} Flesh Reading Ease: 63.75 ---------------------------------------- Source: ['»Ja so! ich hätte an jenes Kabinett denken sollen.'] Prediction: ['Im Kabinett wurde ein Kabinett-Konkurrent von der EU entdeckt.\nEr hatte sich dabei nicht mehr zu den Kabinetten gesprochen.\nDie Schweizerin hatte sich mit dem Kabinett aufgekündigt.'] Label: [['Die Tür vom Vorrats - Schrank geht auf und ein Junge kommt hervor.']] Sacrebleu: {'score': 1.633898440122165, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.142857142857143, 'translation_length': 30, 'reference_length': 14} Rouge: {'rouge1': 0.09523809523809525, 'rouge2': 0.0, 'rougeL': 0.04761904761904762, 'rougeLsum': 0.09523809523809525} Sari: {'sari': 64.81481481481481} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['»Tom!«'] Prediction: ['Tom (34) und Tom (29) sind die beiden auf der Welt.\nWir haben dir jeden Tag, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zu Gast, die beiden zum Gast, die beiden zum Gast, die beiden zum Gast, die beiden zum Gast, die beiden zum Gast, die beiden zum Gast, die beiden zum Gast, die beiden zum Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast, die bei Gast,'] Label: [['„Tom, du musst zur Schule“, ruft Tante Polly.\n„Hey, Tom, wo steckst du schon wieder?\n“']] Sacrebleu: {'score': 0.16250923429778352, 'counts': [6, 0, 0, 0], 'totals': [342, 341, 340, 339], 'precisions': [1.7543859649122806, 0.1466275659824047, 0.07352941176470588, 0.03687315634218289], 'bp': 1.0, 'sys_len': 342, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.017543859649122806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 15.545454545454545, 'translation_length': 342, 'reference_length': 22} Rouge: {'rouge1': 0.014388489208633093, 'rouge2': 0.0, 'rougeL': 0.014388489208633093, 'rougeLsum': 0.014388489208633093} Sari: {'sari': 67.88617886178862} Flesh Reading Ease: -15.86 ---------------------------------------- Source: ["In keinem Comité der Verwaltung hatte dieser Gentleman einen Platz; nie hörte man seinen Namen in einem Advocaten -Colleg, oder im Temple, in Lincoln's -Inn oder Gray's -Inn. Er plaidirte niemals, weder beim Obergerichtshof noch bei der Kingsbench, beim Schatzkammergericht oder einem geistlichen Hof. Er war weder ein Industrieller, noch ein Großhändler, noch Kaufmann oder Landbauer. Er gehörte weder dem Königlichen Institut, noch dem Institut von London, noch sonst irgend einer Anstalt der Kunst, Wissenschaft oder Gewerbe an; noch endlich einer der zahlreichen Gesellschaften, wovon die Hauptstadt Englands wimmelt, von der Harmonie bis zur entomologischen Gesellschaft, welche hauptsächlich den Zweck verfolgt, die schädlichen Insecten zu vertilgen."] Prediction: ['Ein Gentleman hatte in Englands einen Platz.\nEr plaidirte niemals, weder beim Obergerichtshof noch bei der Kingsbench, beim Schatzkammergericht oder einem geistlichen Hof.\nDer Gentleman wurde von der Harmonie bis zur entomologischen Gesellschaft, welche hauptsächlich den Zweck verfolgt, die schädlichen Insecten zu vertilgen.'] Label: [['Er hat nämlich keine Arbeit.']] Sacrebleu: {'score': 0.8671339908544159, 'counts': [2, 0, 0, 0], 'totals': [50, 49, 48, 47], 'precisions': [4.0, 1.0204081632653061, 0.5208333333333334, 0.26595744680851063], 'bp': 1.0, 'sys_len': 50, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.04, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 8.333333333333334, 'translation_length': 50, 'reference_length': 6} Rouge: {'rouge1': 0.0392156862745098, 'rouge2': 0.0, 'rougeL': 0.0392156862745098, 'rougeLsum': 0.0392156862745098} Sari: {'sari': 33.63511868533171} Flesh Reading Ease: 48.7 ---------------------------------------- Source: ['Im Jahre 1872 wohnte im Hause Nummer 7, Saville -Row, Burlington Gardens, – worin Sheridan im Jahre 1814 starb, – Phileas Fogg, Sq., eines der ausgezeichnetsten und hervorragendsten Mitglieder des Reformclubs zu London, der jedoch dem Anschein nach beflissen war nichts zu thun, was Aufsehen erregen konnte.'] Prediction: ['Im Jahre 1872 wohnte im Hause Nummer 7, Saville -Row, Burlington Gardens, das im Jahre 1814 starb, wohnte ein Reformclubs-Mitglieder.\nIm Jahr 1872 wohnte ein ausgezeichnetster und hervorragendeter Mitglieder des Reformclubs zu London, der jedoch dem Anschein nach beflissen war.'] Label: [['Trotzdem wohnt er in einem großen Haus.\nMitten in London.']] Sacrebleu: {'score': 1.022951633574269, 'counts': [3, 0, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [6.382978723404255, 1.0869565217391304, 0.5555555555555556, 0.2840909090909091], 'bp': 1.0, 'sys_len': 47, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.06382978723404255, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.9166666666666665, 'translation_length': 47, 'reference_length': 12} Rouge: {'rouge1': 0.038461538461538464, 'rouge2': 0.0, 'rougeL': 0.038461538461538464, 'rougeLsum': 0.038461538461538464} Sari: {'sari': 34.44444444444445} Flesh Reading Ease: 48.85 ---------------------------------------- Source: ['Phileas Fogg war Mitglied des Reformclubs, nichts weiter.'] Prediction: ['Die Polizei hat im Rahmen einer Unwetternversuchung zwischen den Protesten eines Reformclubs in den USA gegeben.\nDie Polizei hatte den Mann nicht nur, sondern auch die Polizei.\nDie Polizei hatte den Mann nicht nur, sondern auch die Polizei.'] Label: [['Fogg ist Mitglied in einem vornehmen Club.\nIhm gehören nur reiche Männer an.\nDieser Club hat ein schönes Gebäude in London.\nDort treffen sich die Herren jeden Tag.\nSie reden über alles Mögliche oder sie spielen Karten.\nUnd sie trinken was.']] Sacrebleu: {'score': 1.263105514834796, 'counts': [7, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [16.27906976744186, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 0.9111723099960218, 'sys_len': 43, 'ref_len': 47} Bleu: {'bleu': 0.0, 'precisions': [0.16279069767441862, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9111723099960218, 'length_ratio': 0.9148936170212766, 'translation_length': 43, 'reference_length': 47} Rouge: {'rouge1': 0.09523809523809525, 'rouge2': 0.0, 'rougeL': 0.07142857142857144, 'rougeLsum': 0.09523809523809525} Sari: {'sari': 59.94227994227994} Flesh Reading Ease: 62.0 ---------------------------------------- Source: ['Sein einziger Zeitvertreib bestand im Lesen der Journale und im Whistspiel.'] Prediction: ['Im Whistspiel wurde ein einziger Zeitvertreib geschlossen.\nEs bestand im Lesen der Journale und im Whistspiel.'] Label: [['Er liebt Kartenspiele.']] Sacrebleu: {'score': 2.1476912089159055, 'counts': [1, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [5.555555555555555, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 4} Bleu: {'bleu': 0.0, 'precisions': [0.05555555555555555, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.5, 'translation_length': 18, 'reference_length': 4} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.848484848484844} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Bei diesem schweigsamen Spiel, welches so sehr seiner Natur angemessen war, gewann er oft, aber seine Gewinnste flossen nie in seine eigene Börse, sondern bildeten einen erheblichen Posten auf seinem Barmherzigkeits -Conto.'] Prediction: ['Bei einem schweigsamen Spiel gewann er oft, aber seine Gewinnste flossen nie in seine eigene Börse.\nAuf seinem Barmherzigkeits-Conto bildeten einen erheblichen Posten auf seinem Barmherzigkeits-Conto.'] Label: [['Dabei wird immer um etwas Geld gespielt.\nWenn Fogg gewinnt, verschenkt er das Geld an Bettler.']] Sacrebleu: {'score': 1.8196871111910016, 'counts': [4, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5263157894736843, 'translation_length': 29, 'reference_length': 19} Rouge: {'rouge1': 0.044444444444444446, 'rouge2': 0.0, 'rougeL': 0.044444444444444446, 'rougeLsum': 0.044444444444444446} Sari: {'sari': 35.101851851851855} Flesh Reading Ease: 38.3 ---------------------------------------- Source: ['Doch verlangte Phileas Fogg von seinem einzigen Diener eine außerordentliche Pünktlichkeit und Regelmäßigkeit.'] Prediction: ['Phileas Fogg verlangte eine außerordentliche Pünktlichkeit und Regelmäßigkeit.\nDer einzige Diener verlangte eine außerordentliche Pünktlichkeit und Regelmäßigkeit.'] Label: [['Bei Fogg muss immer alles pünktlich geschehen.']] Sacrebleu: {'score': 2.4074859035470344, 'counts': [2, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [10.526315789473685, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.375, 'translation_length': 19, 'reference_length': 8} Rouge: {'rouge1': 0.12903225806451613, 'rouge2': 0.0, 'rougeL': 0.12903225806451613, 'rougeLsum': 0.12903225806451613} Sari: {'sari': 36.11111111111111} Flesh Reading Ease: 1.85 ---------------------------------------- Source: ['Ein Bursche von etwa dreißig Jahren trat ein und grüßte.'] Prediction: ['Ein Bursche von etwa dreißig Jahren trat ein und grüßte ein.\nEr trat ein und grüßte ein und grüßte ein.'] Label: [['Der Mann ist 30 Jahre alt und kommt aus Frankreich.']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 22, 'reference_length': 11} Rouge: {'rouge1': 0.058823529411764705, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.058823529411764705} Sari: {'sari': 36.11111111111111} Flesh Reading Ease: 88.1 ---------------------------------------- Source: ['»Sie sind Franzose und heißen John?« fragte Phileas Fogg. – Jean, belieben mein Herr, erwiderte der neue Diener, Jean Passepartout, ein Beiname, der mein natürliches Geschick, mich aus Verlegenheiten zu ziehen, bezeichnet.'] Prediction: ['Jean Passepartout ist neu ein Beiname, der mein natürliches Geschick, mich aus Verlegenheiten zu ziehen, bezeichnet.\nDie neue Diener, Phileas Fogg, erwiderte der neue Diener, Jean Passepartout, ein Beiname, der mein natürliches Geschick, mich aus Verlegenheiten zu ziehen, bezeichnet.'] Label: [['„Ich heiße Jean Passepartout“, sagt er.\n„Merkwürdiger Nachname “, meint Fogg.\n„Das ist ein Spitzname“, sagt der Mann.\n„Nicht mein echter Name.\nMeine Freunde nennen mich so.“ „Aha “, sagt Fogg.\n„Was bedeutet Passepartout?\n“ „Das ist Französisch “, sagt der Mann.\n„Frei übersetzt bedeutet es: Alle Probleme lösen.\nDas kann ich nämlich sehr gut.“ Fogg nickt.']] Sacrebleu: {'score': 0.8751876403364495, 'counts': [16, 0, 0, 0], 'totals': [51, 50, 49, 48], 'precisions': [31.372549019607842, 1.0, 0.5102040816326531, 0.2604166666666667], 'bp': 0.6125062831380046, 'sys_len': 51, 'ref_len': 76} Bleu: {'bleu': 0.0, 'precisions': [0.3137254901960784, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6125062831380046, 'length_ratio': 0.6710526315789473, 'translation_length': 51, 'reference_length': 76} Rouge: {'rouge1': 0.20202020202020202, 'rouge2': 0.020618556701030927, 'rougeL': 0.20202020202020202, 'rougeLsum': 0.20202020202020202} Sari: {'sari': 36.95402385497031} Flesh Reading Ease: 49.35 ---------------------------------------- Source: ['Wieviel Uhr haben Sie? – Elf Uhr zweiundzwanzig Minuten, erwiderte Passepartout, indem er eine große silberne Uhr aus seiner Hosentasche hervorzog.'] Prediction: ['Eine große silberne Uhr aus seiner Hosentasche hervorzog.\nWie wie wie wie wie vor einem Jahr haben?\nWie wie wie wie vor einem Jahr aus seiner Hosentasche hervorzog.\nWie wie wie wie vor einem Jahr nicht mehr?\nWie wie wie wie wie vor einem Jahr?\nWie wie wie wie wie vor einem Jahr?\nWie wie wie wie vor einem Jahr?\nWie wie wie wie vor einem Jahr?\nWie wie wie wie vor einem Jahr?\nWie wie wie wie vor einem Jahr?\nWie wie wie wie wie wie vor einem Jahr?\nWie wie wie wie wie wie wie wie wie vor einem Jahr?\nWie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie wie'] Label: [['Nun möchte Fogg von Pas wissen, wie spät es ist.\nPas guckt auf seine Taschenuhr.\n„Es ist fünf Minuten vor zwölf“, antwortet er.']] Sacrebleu: {'score': 0.22271991114949566, 'counts': [4, 0, 0, 0], 'totals': [226, 225, 224, 223], 'precisions': [1.7699115044247788, 0.2222222222222222, 0.11160714285714286, 0.05605381165919283], 'bp': 1.0, 'sys_len': 226, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.017699115044247787, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 8.071428571428571, 'translation_length': 226, 'reference_length': 28} Rouge: {'rouge1': 0.01652892561983471, 'rouge2': 0.0, 'rougeL': 0.01652892561983471, 'rougeLsum': 0.01652892561983471} Sari: {'sari': 33.625} Flesh Reading Ease: 99.15 ---------------------------------------- Source: ['– Sie sind in der Zeit zurück, sagte Herr Fogg. – Verzeihen Sie, mein Herr, aber es ist nicht möglich.'] Prediction: ['Die Schweizer Weltforscherin Herr Fogg (45) und ihr Mann (29) sind in der Schweiz zurück.\nSie sind in der Zeit zurück, sagt Fogg.\nSie sind in der Zeit zurück, aber es ist nicht möglich.'] Label: [['„Deine Uhr geht nach“, sagt Fogg.']] Sacrebleu: {'score': 5.335343825807727, 'counts': [4, 3, 2, 1], 'totals': [43, 42, 41, 40], 'precisions': [9.30232558139535, 7.142857142857143, 4.878048780487805, 2.5], 'bp': 1.0, 'sys_len': 43, 'ref_len': 8} Bleu: {'bleu': 0.053353438258077264, 'precisions': [0.09302325581395349, 0.07142857142857142, 0.04878048780487805, 0.025], 'brevity_penalty': 1.0, 'length_ratio': 5.375, 'translation_length': 43, 'reference_length': 8} Rouge: {'rouge1': 0.09090909090909091, 'rouge2': 0.047619047619047616, 'rougeL': 0.09090909090909091, 'rougeLsum': 0.09090909090909091} Sari: {'sari': 38.962009803921575} Flesh Reading Ease: 98.5 ---------------------------------------- Source: ['Also, von diesem Augenblicke an, elf Uhr neunundzwanzig Minuten Vormittags, Mittwochs, 2. October 1872, sind Sie in meinem Dienst.«'] Prediction: ['Im September 1872 wurde im Alter von 2,5 Jahren ein neunundzwanzig Minuten Vormittags gemacht.\nDie beiden wurden am Mittwoch von seinem neunundzwanzig Vormittag gemacht.\nDie beiden wurden am Mittwoch von seinem Vormittag gemacht.'] Label: [['Dann sagt Fogg: „Du bist mein neuer Diener.\nAb sofort.\nEs ist jetzt eine Minute vor zwölf.\nAm Mittwoch, den 2.\nOktober 1872.“']] Sacrebleu: {'score': 1.533227700920213, 'counts': [5, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [13.88888888888889, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.1388888888888889, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1612903225806452, 'translation_length': 36, 'reference_length': 31} Rouge: {'rouge1': 0.13793103448275862, 'rouge2': 0.03571428571428572, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.13793103448275862} Sari: {'sari': 45.463578818841974} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Passepartout befand sich also, nachdem halb zwölf vorüber war, allein im Hause der Saville -Row. Sogleich machte er sich daran, es vom Keller bis zum Speicher zu besichtigen.'] Prediction: ['Im Keller befand sich am Sonntagabend ein grosses Leben in der Saville.\nSeitdem halb zwölf vorüber war, allein im Hause der Saville -Row.\nEin Keller hatte sich daran, es vom Keller bis zum Speicher zu besichtigen.'] Label: [['Pas spaziert durchs Haus.']] Sacrebleu: {'score': 0.8954307276600084, 'counts': [1, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [2.4390243902439024, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.024390243902439025, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 8.2, 'translation_length': 41, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.68794326241135} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['Er bemerkte auch in seinem Zimmer über der Standuhr ein Merkblatt angeheftet, mit der Vorschrift des täglichen Dienstes. Dasselbe enthielt – von acht Uhr Vormittags, der regelmäßigen Zeit, wo Phileas Fogg aufstand, bis zu halb zwölf, da er zum Frühstücken sich auf den Reformclub begab – alle Einzelheiten des Dienstes: Thee und geröstete Brodschnitten um acht Uhr dreiundzwanzig Minuten; Wasser zum Rasiren, um neun Uhr siebenunddreißig; Frisiren um neun Uhr vierzig, u.s.w. Nachher von halb zwölf Vormittags bis zu zwölf Uhr Nachts, wo der methodische Gentleman zu Bette ging, war alles aufgezeichnet, vorgesehen, geregelt.'] Prediction: ['Phileas Fogg enthielt vor acht Uhr Vormittags, der regelmäßige Zeit, wo Phileas Fogg aufstand, bis zu halb zwölf, da er zum Frühstücken sich auf den Reformclub begab.\nDie Einzelheiten des Dienstes: Thee und geröstete Brodschnitten um acht Uhr dreiundzwanzig Minuten; Wasser zum Rasiren, um neun Uhr siebenunddreißig; Frisiren um neun Uhr vierzig, u.s.w.\nNachher von halb zwölf Vormittags bis zu zwölf Vormittags bis zu zwölf Uhr Nachts, wo der methodische Gentleman zu Bette ging, war alles aufgezeichnet, vorgesehen, geregelt.'] Label: [['In der Küche hängt ein Zettel an der Wand.\n„Aha!\n“, sagt Pas.\n„Hier steht die Zeit fürs Frühstück.\nUnd wann mein Herr zu Bett geht.“']] Sacrebleu: {'score': 0.628115592342604, 'counts': [9, 0, 0, 0], 'totals': [99, 98, 97, 96], 'precisions': [9.090909090909092, 0.5102040816326531, 0.25773195876288657, 0.13020833333333334], 'bp': 1.0, 'sys_len': 99, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 99, 'reference_length': 33} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.01694915254237288, 'rougeL': 0.1, 'rougeLsum': 0.11666666666666667} Sari: {'sari': 33.72720477639008} Flesh Reading Ease: 48.4 ---------------------------------------- Source: ['Passepartout machte sich eine Freude daraus, dies Programm zu studieren und dessen verschiedene Artikel seinem Geist einzuprägen.'] Prediction: ['Eine Freude machte sich eine Freude daraus, dies Programm zu studieren und dessen verschiedene Artikel seinem Geist einzuprägen.\nDas Geist wurde von einem Passepartout aufgefunden, dessen verschiedene Artikel seinem Geist einzuprägen.'] Label: [['Pas gefällt das.\nIch muss nur die Zeit genau einhalten, denkt er.']] Sacrebleu: {'score': 1.389736936231864, 'counts': [3, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [8.571428571428571, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.08571428571428572, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 35, 'reference_length': 15} Rouge: {'rouge1': 0.043478260869565216, 'rouge2': 0.0, 'rougeL': 0.043478260869565216, 'rougeLsum': 0.043478260869565216} Sari: {'sari': 35.901027077497666} Flesh Reading Ease: 35.8 ---------------------------------------- Source: ['Es waren die gewöhnlichen Spielgenossen des Herrn Phileas Fogg, gleich ihm leidenschaftliche Whistspieler: der Ingenieur Andrew Stuart, die Banquiers John Sullivan und Samuel Fallentin, der Brauer Thomas Flanagan, Walther Ralph, einer der Administratoren der Bank von England, – reiche und angesehene Männer, selbst in diesem Club, welcher die hervorragendsten Glieder der Industrie und Finanzwelt in seiner Mitte zählt.'] Prediction: ['Ein Whistspieler wurde von einem Club in England als ein leidenschaftlicher Whistspieler.\nDie gewöhnlichen Spielgenossen des Herrn Phileas Fogg waren gleich ihm leidenschaftliche Whistspieler.'] Label: [['Fogg und die anderen Männer im Club spielen Karten.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6, 'translation_length': 26, 'reference_length': 10} Rouge: {'rouge1': 0.17142857142857143, 'rouge2': 0.0, 'rougeL': 0.05714285714285714, 'rougeLsum': 0.11428571428571428} Sari: {'sari': 35.8189711450581} Flesh Reading Ease: 45.15 ---------------------------------------- Source: ["»Nun Ralph, fragte Thomas Flanagan, wie steht's mit dem Diebstahl? – Nun, erwiderte Andrew Stuart, die Bank wird um ihr Geld kommen."] Prediction: ['Immer mehr als eine Million Franken kostete eine Bank in der Schweiz.\nDie Bank wird um ihr Geld kommen.\nDie Bank wird um ihr Geld kommen.'] Label: [['Sie sprechen über den Raubüberfall auf die Bank von England.']] Sacrebleu: {'score': 1.5301683686839007, 'counts': [2, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [6.896551724137931, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.06896551724137931, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6363636363636362, 'translation_length': 29, 'reference_length': 11} Rouge: {'rouge1': 0.10810810810810811, 'rouge2': 0.05714285714285714, 'rougeL': 0.10810810810810811, 'rougeLsum': 0.10810810810810811} Sari: {'sari': 39.96212121212121} Flesh Reading Ease: 89.4 ---------------------------------------- Source: ['– Wie, dieses Individuum, welches fünfundfünfzigtausend Pfund in Banknoten (2.100,000 Mark) entwendet hat, ist nicht ein Dieb zu nennen?'] Prediction: ['Der fünfundfünfzigtausend Pfund in Banknoten (2.100,000 Mark) ist nicht ein Dieb zu nennen?\nWie, welches fünfundfünfzigtausend Pfund in Banknoten entwendet hat, ist nicht ein Dieb zu nennen?'] Label: [['55.000 Pfund hat der Dieb mitgenommen.\nSo viel Geld ist noch nie geraubt worden.']] Sacrebleu: {'score': 1.5883027492953543, 'counts': [4, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [12.121212121212121, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.12121212121212122, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0625, 'translation_length': 33, 'reference_length': 16} Rouge: {'rouge1': 0.25000000000000006, 'rouge2': 0.0, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.20833333333333331} Sari: {'sari': 37.5} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['»Ich behaupte, sagte Andrew Stuart, daß der Dieb unfehlbar ein gewandter Mensch ist, welcher alle Aussicht hat, zu entkommen.'] Prediction: ['Ein Dieb wurde in der Nacht auf Sonntag von einem Tötungsdelikt entdeckt.\nDie Frau wurde dabei entdeckt, dass er sich einen gewandter Mensch behauptet hat.'] Label: [['„Der Dieb ist weg“, sagt Andrew, einer der Herren.\n„Die Polizei wird ihn nicht finden.']] Sacrebleu: {'score': 1.996819088094332, 'counts': [5, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [17.857142857142858, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.17857142857142858, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4736842105263157, 'translation_length': 28, 'reference_length': 19} Rouge: {'rouge1': 0.14634146341463417, 'rouge2': 0.0, 'rougeL': 0.14634146341463417, 'rougeLsum': 0.14634146341463417} Sari: {'sari': 52.85714285714286} Flesh Reading Ease: 73.9 ---------------------------------------- Source: ['Ist die Erde etwa kleiner geworden?'] Prediction: ['Die Erde wurde kleiner geworden.\nIst die Erde etwa kleiner geworden?'] Label: [['„Die Welt wird doch nicht kleiner?\n“']] Sacrebleu: {'score': 3.673526562988939, 'counts': [2, 0, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [15.384615384615385, 4.166666666666667, 2.272727272727273, 1.25], 'bp': 1.0, 'sys_len': 13, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.625, 'translation_length': 13, 'reference_length': 8} Rouge: {'rouge1': 0.23529411764705885, 'rouge2': 0.0, 'rougeL': 0.23529411764705885, 'rougeLsum': 0.23529411764705885} Sari: {'sari': 37.03703703703704} Flesh Reading Ease: 63.35 ---------------------------------------- Source: ['Die Erde hat an Umfang verloren, weil man jetzt zehnmal rascher wie vor hundert Jahren um sie herum reisen kann.'] Prediction: ['Die Erde hat an Umfang verloren, weil man jetzt zehnmal rascher wie vor hundert Jahren um sie herum reisen kann.\nDie Erde hat an Umfang verloren, weil man jetzt zehnmal rascher wie vor hundert Jahren um sie herum reisen kann.'] Label: [['„Weil man heute so schnell um die Erde reisen kann.\nZehnmal schneller als vor 100 Jahren!']] Sacrebleu: {'score': 3.9585298754221863, 'counts': [8, 2, 1, 0], 'totals': [44, 43, 42, 41], 'precisions': [18.181818181818183, 4.651162790697675, 2.380952380952381, 1.2195121951219512], 'bp': 1.0, 'sys_len': 44, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.046511627906976744, 0.023809523809523808, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4444444444444446, 'translation_length': 44, 'reference_length': 18} Rouge: {'rouge1': 0.35714285714285715, 'rouge2': 0.1111111111111111, 'rougeL': 0.28571428571428575, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 41.41865079365079} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['In achtzig Tagen nur, sagte Phileas Fogg.'] Prediction: ['Die Schweiz ist in den vergangenen Tagen nicht mehr gesunken.\nDie Schweiz ist nicht mehr gesunken, sagt Phileas Fogg.'] Label: [['„In genau 80 Tagen kann man um die Erde reisen.“']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 22, 'reference_length': 12} Rouge: {'rouge1': 0.20689655172413793, 'rouge2': 0.0, 'rougeL': 0.20689655172413793, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 46.71052631578947} Flesh Reading Ease: 82.75 ---------------------------------------- Source: ['– Wirklich, meine Herren, setzte John Sullivan hinzu, achtzig Tage, seitdem auf der großen Indischen Eisenbahn die Strecke zwischen Rothel und Allahabad eröffnet worden ist, wie das »Morning Chronicle« die Route berechnet, nämlich: Von London nach Suez über den Mont - Cenis und Brindisi, Eisenbahn und Packetboot 7 Tage.'] Prediction: ['Auf der Indischen Eisenbahn wurde eine Strecke zwischen Rothel und Allahabad eröffnet.\nDie Route berechnet, nämlich: Von London nach Suez über den Mont - Cenis und Brindisi, Eisenbahn und Packetboot 7 Tage.'] Label: [['Dann liest er vor: „Mit Zug und Schiff von London nach Suez: 7 Tage.']] Sacrebleu: {'score': 6.703084558950244, 'counts': [8, 4, 2, 0], 'totals': [37, 36, 35, 34], 'precisions': [21.62162162162162, 11.11111111111111, 5.714285714285714, 1.4705882352941178], 'bp': 1.0, 'sys_len': 37, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.21621621621621623, 0.1111111111111111, 0.05714285714285714, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.176470588235294, 'translation_length': 37, 'reference_length': 17} Rouge: {'rouge1': 0.3404255319148936, 'rouge2': 0.17777777777777778, 'rougeL': 0.2978723404255319, 'rougeLsum': 0.2978723404255319} Sari: {'sari': 41.3116120511173} Flesh Reading Ease: 53.35 ---------------------------------------- Source: ['Von Suez nach Bombay, Packetboot 13". Von Bombay nach Calcutta, Eisenbahn 3". Von Calcutta nach Hongkong, Packetboot 13". Von Hongkong nach Yokohama in Japan, Packetboot 6". Von Yokohama n. San Francisco, Packetb. 22". Von San Francisco n. New -York, Eisenb. 7". V. New -York n. London, Packetb. u. Eisenb. 9". Sa. 80 Tage.'] Prediction: ['Von Suez nach Bombay, Packetboot 13".\nVon Hongkong nach Hongkong, Packetboot 13".\nVon Hongkong nach Yokohama in Japan, Packetboot 6".\nVon Yokohama n. San Francisco, Packetb.\n22".\nVon San Francisco n. New -York, Eisenb.\n7".\nV. New -York n. London, Packetb.\nu. Eisenb.\n9".\nSa.\n80 Tage.'] Label: [['Mit dem Schiff von Suez nach Mumbai in Indien: 13 Tage.\nMit dem Zug von Mumbai nach Kalkutta in Indien: 3 Tage.\nMit dem Schiff von Kalkutta nach Hongkong in China: 13 Tage.\nMit dem Schiff von Hongkong nach Yokohama in Japan: 6 Tage.\nMit dem Schiff von Yokohama nach San Francisco in Amerika: 22 Tage.\nMit dem Zug von San Francisco nach New York: 7 Tage.\nUnd das Schiff von New York nach London braucht 9 Tage.“ „Insgesamt sind das 80 Tage“, sagt er.']] Sacrebleu: {'score': 6.32412992140792, 'counts': [34, 9, 3, 2], 'totals': [76, 75, 74, 73], 'precisions': [44.73684210526316, 12.0, 4.054054054054054, 2.73972602739726], 'bp': 0.7196808936920782, 'sys_len': 76, 'ref_len': 101} Bleu: {'bleu': 0.0632412992140792, 'precisions': [0.4473684210526316, 0.12, 0.04054054054054054, 0.0273972602739726], 'brevity_penalty': 0.7196808936920782, 'length_ratio': 0.7524752475247525, 'translation_length': 76, 'reference_length': 101} Rouge: {'rouge1': 0.48484848484848475, 'rouge2': 0.23076923076923075, 'rougeL': 0.48484848484848475, 'rougeLsum': 0.48484848484848475} Sari: {'sari': 40.15816264142789} Flesh Reading Ease: 80.5 ---------------------------------------- Source: ['– Der Himmel behüte mich! rief Stuart, aber ich würde schon um viertausend Pfund wetten, daß eine solche Reise, unter solchen Bedingungen, unmöglich ist.'] Prediction: ['Stuart (34) ist der frühere Himmel-Hochtäter.\nEr würde seine Pfund wetten, da er sich nicht mehr nur einmal auf dem Himmel behütete.\nAuch seine Reise ist unter solchen Bedingungen, unmöglich ist.'] Label: [['„Ich wette um 4000 Pfund, dass es in 80 Tagen nicht gelingt“, sagt Andrew.']] Sacrebleu: {'score': 1.4491339833989647, 'counts': [5, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [13.157894736842104, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.13157894736842105, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.235294117647059, 'translation_length': 38, 'reference_length': 17} Rouge: {'rouge1': 0.0784313725490196, 'rouge2': 0.0, 'rougeL': 0.0784313725490196, 'rougeLsum': 0.0784313725490196} Sari: {'sari': 35.534471194986004} Flesh Reading Ease: 64.4 ---------------------------------------- Source: ['– Sehr möglich, vielmehr, erwiderte Herr Fogg.'] Prediction: ['Im Alter von 99 Jahren wurde die Schweizerin Herr Fogg (68) von einem Mann verstorben.\nDer Mann war mit einem ehemaligen Mann auf dem Kanton Bern gesucht.\nNun hat sich die Schweizerin auf den Kanton Bern einen gemeinsamen Schritt geschlossen.'] Label: [['„Gut“, antwortet Fogg.\n„Ich nehme die Wette an!\nIch wette, dass ich in 80 Tagen einmal um die Erde reisen kann.']] Sacrebleu: {'score': 1.2157709822493183, 'counts': [5, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [11.11111111111111, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7307692307692308, 'translation_length': 45, 'reference_length': 26} Rouge: {'rouge1': 0.0983606557377049, 'rouge2': 0.0, 'rougeL': 0.0655737704918033, 'rougeLsum': 0.0983606557377049} Sari: {'sari': 52.67148526077098} Flesh Reading Ease: 73.1 ---------------------------------------- Source: ['– Wann? – Augenblicklich.'] Prediction: ['Im Interview mit dem 20-Minuten-Podcast "Unchained" diskutieren die besten Fragen der Radio-Section deiner 20-Minuten-App sowie auf Spotify und Tune In.\nIm Direktstream wirft die Fragen der Radio-Section deiner 20-Minuten-App zum Thema "Unchained" auf Spotify und Tune In.'] Label: [['Ich werde noch heute losfahren.“ „Was?\n“, rufen die anderen.']] Sacrebleu: {'score': 0.9798555761147508, 'counts': [3, 0, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [6.122448979591836, 1.0416666666666667, 0.5319148936170213, 0.2717391304347826], 'bp': 1.0, 'sys_len': 49, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.061224489795918366, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2666666666666666, 'translation_length': 49, 'reference_length': 15} Rouge: {'rouge1': 0.037037037037037035, 'rouge2': 0.0, 'rougeL': 0.037037037037037035, 'rougeLsum': 0.037037037037037035} Sari: {'sari': 62.24415204678362} Flesh Reading Ease: 32.8 ---------------------------------------- Source: ["– 's ist Narrheit! rief Andrew Stuart, dem das Drängen seines Spielgenossen lästig ward."] Prediction: ['Im Spiel von "Fortnite" wurde ein Drängen von einem Drängen geschickt.\nDer Drängen seines Spielgenossen lästigt die Welt.\nIm Spiel wurde ein Drängen von einem Drängen geschickt.'] Label: [['„Das kann nicht Ihr Ernst sein!\n“']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 32, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 32, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 41.02564102564103} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Dann zu seinen Collegen gewendet: – Ich habe zwanzigtausend Pfund bei Gebr. Baring stehen.'] Prediction: ['Ein französischer Student aus den USA hat einen Pfund bei seinen französischen Bündnerinnen und Bündnerinnen gefunden.\nEr hatte sich zu seinen französischen Bündnerinnen und Bündner gefunden.\nDie beiden haben zwanzigtausend Pfund bei Gebr.'] Label: [['„Auf meinem Konto stehen 20.000 Pfund “, sagt er.']] Sacrebleu: {'score': 1.2193311110766474, 'counts': [2, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [5.555555555555555, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.05555555555555555, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.272727272727273, 'translation_length': 36, 'reference_length': 11} Rouge: {'rouge1': 0.0816326530612245, 'rouge2': 0.0, 'rougeL': 0.0816326530612245, 'rougeLsum': 0.0816326530612245} Sari: {'sari': 35.7273940607274} Flesh Reading Ease: 52.0 ---------------------------------------- Source: ['Die setze ich gerne daran.'] Prediction: ['Die Schweizerin verliert die Schweizerin auf ihre ersten Halbfinalisten.\nDie setze sich gerne daran.\nDie Schweizerin hatte sich mit ihrem Partner auf die setzte Frau aufgefordert.'] Label: [['„Um dieses Geld wette ich mit Ihnen.“']] Sacrebleu: {'score': 1.5301683686839007, 'counts': [2, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [6.896551724137931, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.06896551724137931, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2222222222222223, 'translation_length': 29, 'reference_length': 9} Rouge: {'rouge1': 0.060606060606060615, 'rouge2': 0.0, 'rougeL': 0.060606060606060615, 'rougeLsum': 0.060606060606060615} Sari: {'sari': 36.507936507936506} Flesh Reading Ease: 60.15 ---------------------------------------- Source: ['... – Zwanzigtausend Pfund ! rief John Sullivan .'] Prediction: ['Die Schweizer Welt hat einen neuen Sieg auf den Markt gegeben.\nDie Schweizer Welt hat einen neuen Sieg auf den Markt gegeben.\nDie Schweizer Welt hat einen neuen Sieg auf den Markt gegeben.'] Label: [['„Oh nein!\n“, ruft John, ein anderer Herr aus dem Club.']] Sacrebleu: {'score': 1.0253311603116817, 'counts': [1, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [2.7777777777777777, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.027777777777777776, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4, 'translation_length': 36, 'reference_length': 15} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 57.98611111111111} Flesh Reading Ease: 87.1 ---------------------------------------- Source: ['Zwanzigtausend Pfund, die Sie durch eine unvorausgesehene Verspätung verlieren können! –'] Prediction: ['Zwanzigtausend Pfund, die Sie durch eine unvorausgesehene Verspätung verlieren können, werden können!\nDie Zwanzigtausend Pfund, die Sie durch eine unvorausgesehene Verspätung verlieren können, werden zwanzigtausend Pfund.'] Label: [['„Wenn Sie ein Schiff verpassen, verlieren Sie alles!\n“']] Sacrebleu: {'score': 1.7345617945636578, 'counts': [5, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [15.625, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.15625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.909090909090909, 'translation_length': 32, 'reference_length': 11} Rouge: {'rouge1': 0.15384615384615383, 'rouge2': 0.0, 'rougeL': 0.15384615384615383, 'rougeLsum': 0.10256410256410256} Sari: {'sari': 37.5} Flesh Reading Ease: 26.6 ---------------------------------------- Source: ['Es giebt nichts Unvorhergesehenes, erwiderte Phileas Fogg einfach.'] Prediction: ['Ein US-Präsident hat in der Nacht auf Sonntag seine Frauen verhaftet.\nDie Frau war nicht nur immer, sondern auch immer wieder in Sicherheit.\nDie Frau war nicht nur immer, sondern auch immer wieder in Sicherheit.'] Label: [['„Aber nein“, beruhigt Fogg ihn.']] Sacrebleu: {'score': 1.092534162077208, 'counts': [2, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [5.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.05, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.714285714285714, 'translation_length': 40, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 63.95833333333333} Flesh Reading Ease: 74.7 ---------------------------------------- Source: ['Ich wette mit Jedem, der Lust dazu hat, um zwanzigtausend Pfund, daß ich die Reise um den Erdball in längstens achtzig Tagen machen werde, d.h. in neunzehnhundertundzwanzig Stunden, oder hundertfünfzehntausendzweihundert Minuten.'] Prediction: ['Der Schweizer Erdball-Profi ist in der Schweiz nicht mehr zwanzigtausend Pfund.\nEr wette mit Jedem, der Lust dazu hat, um zwanzigtausend Pfund.\nDie Reise um den Erdball in längstens achtzig Tagen machen wird d.h. in neunzehnhundertundzwanzig Stunden, oder hundertfünfzehntausendzweihundert Minuten.'] Label: [['„Ich wette um 20.000 Pfund, dass ich es schaffe.']] Sacrebleu: {'score': 1.1133308819227488, 'counts': [5, 0, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [10.204081632653061, 1.0416666666666667, 0.5319148936170213, 0.2717391304347826], 'bp': 1.0, 'sys_len': 49, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.10204081632653061, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.454545454545454, 'translation_length': 49, 'reference_length': 11} Rouge: {'rouge1': 0.11111111111111109, 'rouge2': 0.0, 'rougeL': 0.11111111111111109, 'rougeLsum': 0.11111111111111109} Sari: {'sari': 31.86801187980433} Flesh Reading Ease: 58.85 ---------------------------------------- Source: ['– Wir nehmen die Wette an, erwiderten, nachdem sie sich unter einander verständigt, die Herren Stuart, Fallentin, Sullivan, Flanagan und Ralph.'] Prediction: ['Wir nehmen die Wette an, erwiderten, nachdem sie sich unter einander verständigt, die Herren Stuart, Fallentin, Sullivan, Flanagan und Ralph.\nWir nehmen die Wette an, erwiderten, nachdem sie sich unter einander verständigt, die Herren Stuart, Fallentin, Sullivan, Flanagan und Ralph.'] Label: [['Die anderen fünf Männer machen mit.\nJeder von ihnen setzt 4000 Pfund ein.\nAlle denken, dass Fogg es nicht schaffen wird.\nNiemand glaubt, dass er in 80 Tagen um die Erde reisen kann.']] Sacrebleu: {'score': 1.0072487110349273, 'counts': [5, 0, 0, 0], 'totals': [54, 53, 52, 51], 'precisions': [9.25925925925926, 0.9433962264150944, 0.4807692307692308, 0.24509803921568626], 'bp': 1.0, 'sys_len': 54, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.09259259259259259, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3846153846153846, 'translation_length': 54, 'reference_length': 39} Rouge: {'rouge1': 0.05194805194805195, 'rouge2': 0.0, 'rougeL': 0.05194805194805195, 'rougeLsum': 0.05194805194805195} Sari: {'sari': 35.0} Flesh Reading Ease: 43.0 ---------------------------------------- Source: ['Der Zug nach Dover geht um acht Uhr fünfundvierzig Minuten ab. Mit dem reise ich. – Heute Abend? fragte Stuart. – Heute Abend, versetzte Phileas Fogg.'] Prediction: ['Am Freitagabend ist der Zug nach Dover in England gestorben.\nDie Veranstalter der Sussex-Familie waren auf der Strasse fünf Jahre alt.\nDie Sussex-Familie erzählt, wie sie sich nach dem Zug nach dem portugiesischen Dover schreiben.'] Label: [['„Ich steige heute Abend um 8.45 Uhr in den Zug“, sagt Fogg.']] Sacrebleu: {'score': 1.2413584734794654, 'counts': [3, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [7.6923076923076925, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7857142857142856, 'translation_length': 39, 'reference_length': 14} Rouge: {'rouge1': 0.07692307692307693, 'rouge2': 0.0, 'rougeL': 0.07692307692307693, 'rougeLsum': 0.07692307692307693} Sari: {'sari': 33.25} Flesh Reading Ease: 68.85 ---------------------------------------- Source: ['Also, fuhr er fort, indem er einen Kalender aus der Tasche zog und nachsah, weil heute Mittwoch, der 2. October, so muß ich Samstags, den 21. December um acht Uhr fünfundvierzig Minuten Abends wieder in London sein, hier in diesem Salon des Reformclubs, sonst sollen die zwanzigtausend Pfund, welche eben für mich bei den Gebr. Baring stehen, mit Recht und Fug Ihnen, meine Herren, angehören.'] Prediction: ['Der 21.\nDecember sollen in London fünf Minuten Abends wieder in den Jahren sein.\nDenn die zwanzigtausend Pfund, welche eben für mich bei den Gebr handeln, sollen die zwanzigtausend Pfund.\nDie Pfund sollen in der Salon des Reformclubs in London eben für mich bei den Gebr.'] Label: [['Er schaut in seinen Kalender.\n„Heute ist der 2.\nOktober.\nAm 21.\nDezember werde ich zur selben Zeit wieder hier sein.“']] Sacrebleu: {'score': 2.425832043667307, 'counts': [9, 2, 0, 0], 'totals': [52, 51, 50, 49], 'precisions': [17.307692307692307, 3.9215686274509802, 1.0, 0.5102040816326531], 'bp': 1.0, 'sys_len': 52, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.17307692307692307, 0.0392156862745098, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9259259259259258, 'translation_length': 52, 'reference_length': 27} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.0, 'rougeL': 0.11428571428571428, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 35.57588604984478} Flesh Reading Ease: 76.95 ---------------------------------------- Source: ['Man forderte Herrn Fogg auf, sein Spiel zu unterbrechen, um seine Reisevorbereitungen zu treffen.'] Prediction: ['Herrn Fogg hatte einen Spiel in der Nacht auf Sonntag einen Reisevorbereitungen-Spiel verloren.\nDer Schweizer hatte seinen Spieler aufgefunden, um seine Reisevorbereitungen zu treffen.\nDer Schweizer hatte seinen Spieler zu unterbrechen, um seine Reisevorbereitungen zu treffen.'] Label: [['„Sie müssen jetzt doch Koffer packen, Fogg.']] Sacrebleu: {'score': 1.1784531110724779, 'counts': [3, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [7.317073170731708, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.07317073170731707, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.555555555555555, 'translation_length': 41, 'reference_length': 9} Rouge: {'rouge1': 0.044444444444444446, 'rouge2': 0.0, 'rougeL': 0.044444444444444446, 'rougeLsum': 0.044444444444444446} Sari: {'sari': 36.206896551724135} Flesh Reading Ease: 45.15 ---------------------------------------- Source: ['»Ich bin stets reisefertig!« erwiderte dieser leidenschaftslose Gentleman, gab seine Karten und sprach: »Ich schlage Eckstein um, Sie spielen aus, Herr Stuart.«'] Prediction: ['Ein leidenschaftslose Gentleman hat seine Karten geschlagen, dass er sich um Eckstein umsteckt.\nDer Gentleman erwiderte dieser leidenschaftslose Gentleman, gab seine Karten und sprach: "Ich schlage Eckstein um, Sie spielen aus, Herr Stuart spielen aus, Herr Stuart spielen aus, Herr Stuart spielen aus, Herr Stuart spielen aus, Herr Stuart spielen aus, Herr Stuart.'] Label: [['„Nein“, sagt Fogg.\n„Ich habe genug Zeit.\nIch möchte noch ein bisschen weiterspielen.“']] Sacrebleu: {'score': 0.7753102943211388, 'counts': [4, 0, 0, 0], 'totals': [66, 65, 64, 63], 'precisions': [6.0606060606060606, 0.7692307692307693, 0.390625, 0.1984126984126984], 'bp': 1.0, 'sys_len': 66, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.06060606060606061, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6666666666666665, 'translation_length': 66, 'reference_length': 18} Rouge: {'rouge1': 0.05970149253731343, 'rouge2': 0.0, 'rougeL': 0.029850746268656716, 'rougeLsum': 0.05970149253731343} Sari: {'sari': 35.76388888888889} Flesh Reading Ease: 48.2 ---------------------------------------- Source: ['Um sieben Uhr fünfzig öffnete er seine Hausthüre und trat in sein Haus. Passepartout, welcher sein Programm gewissenhaft einstudiert hatte, war sehr überrascht, als er Herrn Fogg so ungenau sah, daß er zu dieser ungewöhnlichen Stunde erschien.'] Prediction: ['Ein Programm-Programm-Passepartout hatte am Freitag eine Hausthüre einstudiert.\nDie Hausthüre wurde fünfzig öffnet.\nDie Hausthüre wurde von einem Besuch in seinem Haus erschien.'] Label: [['Pas wundert sich.\nSein Herr kommt viel früher als erwartet.']] Sacrebleu: {'score': 1.7179060012299232, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1666666666666665, 'translation_length': 26, 'reference_length': 12} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 51.22023809523809} Flesh Reading Ease: 49.45 ---------------------------------------- Source: ['In zehn Minuten reisen wir nach Dover und Calais.«'] Prediction: ['Im Tessin wird es zu einer grossen Verfügung gekommen.\nDie Vergangenheit ist nicht bekannt, sondern auch auch auch in der Schweiz.\nIm Tessin wird es zu einer grossen Verfügung gekommen.'] Label: [['„In zehn Minuten fahren wir los“, sagt Fogg.']] Sacrebleu: {'score': 1.2944532586971997, 'counts': [2, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [5.882352941176471, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4, 'translation_length': 34, 'reference_length': 10} Rouge: {'rouge1': 0.05, 'rouge2': 0.0, 'rougeL': 0.05, 'rougeLsum': 0.05} Sari: {'sari': 49.83333333333333} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['»Der Herr will eine Reise machen? fragte er. – Ja, erwiderte Phileas Fogg.'] Prediction: ['Phileas Fogg fragte im Interview, wie er seine Ex-Frau Phileas Fogg fragte.\nEr wollte eine Reise machen, fragte er.'] Label: [['„Sie fahren weg?“, fragt Pas.\n„Ja“, antwortet Fogg.']] Sacrebleu: {'score': 2.4623373672221804, 'counts': [5, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [21.73913043478261, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6428571428571428, 'translation_length': 23, 'reference_length': 14} Rouge: {'rouge1': 0.07142857142857144, 'rouge2': 0.0, 'rougeL': 0.07142857142857144, 'rougeLsum': 0.07142857142857144} Sari: {'sari': 43.6401833460657} Flesh Reading Ease: 71.05 ---------------------------------------- Source: ['Wir wollen eine Reise um die Erde vornehmen.«'] Prediction: ['Immer wieder wieder kommt es zu einer Reise um die Erde.\nDie Reise wurde von der Frau aufgefunden.\nDie Frau wurde von ihrem Mann aufgefunden.'] Label: [['„Und du auch.\nWir machen eine Reise um die Erde.“']] Sacrebleu: {'score': 13.083737883508872, 'counts': [6, 4, 3, 2], 'totals': [28, 27, 26, 25], 'precisions': [21.428571428571427, 14.814814814814815, 11.538461538461538, 8.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 13} Bleu: {'bleu': 0.13083737883508872, 'precisions': [0.21428571428571427, 0.14814814814814814, 0.11538461538461539, 0.08], 'brevity_penalty': 1.0, 'length_ratio': 2.1538461538461537, 'translation_length': 28, 'reference_length': 13} Rouge: {'rouge1': 0.22857142857142856, 'rouge2': 0.18181818181818182, 'rougeL': 0.22857142857142856, 'rougeLsum': 0.22857142857142856} Sari: {'sari': 53.759236453201964} Flesh Reading Ease: 78.1 ---------------------------------------- Source: ['Da staunte Passepartout über die Maßen. Er riß die Augen weit auf, spannte die Wimpern und Brauen, streckte die Hände aus – Symptome förmlicher Bestürzung.'] Prediction: ['Ein Passepartout riß die Augen weit auf, spannte die Brauen und streckte die Hände aus.\nSymptome förmlicher Bestürzung war ein Symptome förmlicher Bestürzung.'] Label: [['„Wie … wie meinen Sie das?\n“, fragt Pas.']] Sacrebleu: {'score': 1.7179060012299232, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1666666666666665, 'translation_length': 26, 'reference_length': 12} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.75875875875876} Flesh Reading Ease: 63.2 ---------------------------------------- Source: ['»Reise um die Erde! brummte er. – In achtzig Tagen, erwiderte Herr Fogg.'] Prediction: ['Herr Fogg (34) ist ein Schweizer Chef und war mit seinem Mann auf der Kippe.\nEr war mit seinem Mann auf der Kippe zu Gast.\nEr wurde von seinem Mann aufgefunden.'] Label: [['„Eine Reise um die Erde in 80 Tagen, Pas.']] Sacrebleu: {'score': 1.0253311603116817, 'counts': [1, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [2.7777777777777777, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.027777777777777776, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.272727272727273, 'translation_length': 36, 'reference_length': 11} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 36.38888888888889} Flesh Reading Ease: 93.65 ---------------------------------------- Source: ['Also, wir haben keinen Augenblick Zeit zu verlieren.'] Prediction: ['Die Welt ist eine neue Woche, das am Sonntagabend in der Schweiz geht.\nDie Welt ist eine neue Woche, das am Sonntagabend in der Schweiz geht.\nDie Welt ist eine Woche nach dem Anlass, das ist eine Woche nicht mehr.'] Label: [['Wir müssen uns beeilen.“']] Sacrebleu: {'score': 0.7947529289544674, 'counts': [1, 0, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [2.1739130434782608, 1.1111111111111112, 0.5681818181818182, 0.29069767441860467], 'bp': 1.0, 'sys_len': 46, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.021739130434782608, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.666666666666667, 'translation_length': 46, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 61.458333333333336} Flesh Reading Ease: 90.65 ---------------------------------------- Source: ['– Aber die Koffer? ... sagte Passepartout mit unwillkürlichem Kopfschütteln .'] Prediction: ['Die Kämpferin Passepartout ist mit unwillkürlichem Kopfschütteln zu sehen.\nDie Frau ist mit unwillkürlichem Kopfschütteln zu sehen.\nDie Frau ist mit unwillkürlichem Kopfschütteln zu sehen.'] Label: [['„Müssen wir keine Koffer packen?\n“, will Pas wissen.']] Sacrebleu: {'score': 1.3353534059549443, 'counts': [1, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [3.5714285714285716, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.03571428571428571, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 28, 'reference_length': 12} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 38.29365079365079} Flesh Reading Ease: 54.7 ---------------------------------------- Source: ['– Keine Koffer.'] Prediction: ['Die Schweizer Kinos starten 2020 in der Schweiz.\nBei den Kinos kommt es zu einem neuen Rekord.\nDie Schweizer Kinos starten 2020 in der Schweiz.'] Label: [['„Brauchen wir nicht “, sagt Fogg.']] Sacrebleu: {'score': 1.3353534059549443, 'counts': [1, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [3.5714285714285716, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.03571428571428571, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 28, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 89.8 ---------------------------------------- Source: ["Nur eines Reisesackes bedarf's, mit zwei wollenen Hemden darin, und drei Paar Strümpfen; ebensoviel für Sie. Weiteres kaufen wir unterwegs."] Prediction: ["Im Reisesack bedarf's, mit zwei wollenen Hemden darin, und drei Paar Strümpfen.\nWeiteres kaufen wir unterwegs."] Label: [['„Eine Reisetasche mit etwas Kleidung reicht.“']] Sacrebleu: {'score': 2.276859592073037, 'counts': [2, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [10.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 20, 'reference_length': 8} Rouge: {'rouge1': 0.08333333333333333, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.08333333333333333} Sari: {'sari': 34.761904761904766} Flesh Reading Ease: 60.85 ---------------------------------------- Source: ['Passepartout hätte gern geantwortet, konnte aber nicht.'] Prediction: ['Die Schweizer Fahrt hat einen grossen Sportler aus dem Kanton Bern gegeben.\nDer Fahrer hätte gern geantwortet, konnte aber nicht gefallen werden.\nDie Fahrtler haben sich mit dem Sportler aufgefordert.'] Label: [['Das kann doch nicht wahr sein, denkt Pas.']] Sacrebleu: {'score': 1.432548017297354, 'counts': [3, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [8.823529411764707, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.08823529411764706, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4, 'translation_length': 34, 'reference_length': 10} Rouge: {'rouge1': 0.05128205128205128, 'rouge2': 0.0, 'rougeL': 0.05128205128205128, 'rougeLsum': 0.05128205128205128} Sari: {'sari': 37.878787878787875} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Und ich wollte ruhig leben! ...« Er machte mechanisch seine Vorbereitungen zur Reise.'] Prediction: ['Ein Schweizer machte seine Vorbereitungen zur Reise.\nEr machte seine Vorbereitungen zur Reise.'] Label: [['Eine ruhige Arbeitsstelle ist das hier also nicht!']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 15, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 15, 'reference_length': 9} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 32.407407407407405} Flesh Reading Ease: 44.8 ---------------------------------------- Source: ["Hatte er's mit einem Narren zu thun?"] Prediction: ['Ein 20-Minuten-Radio-Host hatte mit einem Narren zu thun, wie er sich mit einem Narren zu thun hatte.\nEr hatte sich mit einem Narren zu thun und wurde mit einem Narren zu thun gesucht.\nDie beiden waren immer wieder auf der Radio-Section deiner 20-Minuten-App sowie auf Spotify, Apple Podcasts und Tune In.'] Label: [['Ist mein Herr verrückt geworden?']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [60, 59, 58, 57], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 60, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 10.0, 'translation_length': 60, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 29.166666666666668} Flesh Reading Ease: 57.7 ---------------------------------------- Source: ['Um acht Uhr hatte Passepartout den bescheidenen Sack mit seiner und seines Herrn Garderobe zurecht gemacht;'] Prediction: ['Ein Passepartout hatte am Mittwoch einen bescheidenen Sack mit seiner und seiner Herrn Garderobe zurecht gemacht.\nDie Garderobe wurden dabei zurecht gemacht.\nDie Polizei sucht Zeugen.'] Label: [['Pas packt schnell eine Reisetasche.']] Sacrebleu: {'score': 1.286713095960916, 'counts': [1, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [3.4482758620689653, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.034482758620689655, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.833333333333333, 'translation_length': 29, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.31372549019607} Flesh Reading Ease: 54.3 ---------------------------------------- Source: ['Er nahm Passepartout den Reisesack aus der Hand, öffnete ihn und schob ein starkes Bündel von den schönen Banknoten hinein, welche in aller Welt Cours haben.'] Prediction: ['Passepartout nahm seinen Reisesack aus der Hand und öffnete ihn.\nEr schob ein starkes Bündel von den schönen Banknoten hinein.\nIn aller Welt Cours haben sich die Banknoten gekürt.'] Label: [['Sein Herr steckt noch ein Bündel Geldscheine dazu.\n„Die werde ich brauchen “, sagt Fogg.']] Sacrebleu: {'score': 1.6404472625060698, 'counts': [4, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [12.5, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 32, 'reference_length': 18} Rouge: {'rouge1': 0.1702127659574468, 'rouge2': 0.044444444444444446, 'rougeL': 0.1702127659574468, 'rougeLsum': 0.1702127659574468} Sari: {'sari': 33.668582375478934} Flesh Reading Ease: 76.7 ---------------------------------------- Source: ['In diesem Augenblicke trat eine arme Bettlerin mit einem Kinde an der Hand, barfuß im Koth, zerrissenem Hut mit jämmerlich herabhängender Feder, zerfetztem Shawl über dem Lumpenkleid, zu Herrn Fogg heran und bat um ein Almosen.'] Prediction: ['Eine Bettlerin hat eine arme Bettlerin mit einem Kinde an der Hand, barfuß im Koth, zerrissenem Hut mit jämmerlich herabhängender Feder, zerfetztem Shawl über dem Lumpenkleid und bat um ein Almosen.\nDie Bettlerin bat um ein Almosen.'] Label: [['Auf dem Weg zum Bahnhof sehen sie eine Bettlerin.']] Sacrebleu: {'score': 1.2350387043213578, 'counts': [4, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [9.523809523809524, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.09523809523809523, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.2, 'translation_length': 42, 'reference_length': 10} Rouge: {'rouge1': 0.125, 'rouge2': 0.043478260869565216, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.08333333333333333} Sari: {'sari': 36.395202020202014} Flesh Reading Ease: 56.2 ---------------------------------------- Source: ['Herr Fogg zog die zwanzig Guineen, welche er beim Whist gewonnen hatte, aus der Tasche und überreichte sie der Bettlerin mit den Worten: »Hier nehmen Sie, brave Frau, es ist mir lieb, daß ich Sie getroffen habe!«'] Prediction: ['Eine Frau aus der Tasche hatte zwei Guineen, welche er beim Whist gewonnen hatte, aus der Tasche und überreichte sie mit den Worten.\nDie zwanzig Guineen, welche er beim Whist gewonnen hatte, sind aus der Tasche und überreichte sie mit den Worten: "Hier nehmen Sie, brave Frau, es ist mir lieb, daß ich Sie getroffen habe!'] Label: [['Fogg gibt ihr 100 Pfund.\nEr sagt: „Gnädige Frau!\nIch freue mich, dass ich Sie treffe!\n“']] Sacrebleu: {'score': 1.4768078630909174, 'counts': [7, 1, 0, 0], 'totals': [67, 66, 65, 64], 'precisions': [10.447761194029852, 1.5151515151515151, 0.7692307692307693, 0.390625], 'bp': 1.0, 'sys_len': 67, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.1044776119402985, 0.015151515151515152, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0454545454545454, 'translation_length': 67, 'reference_length': 22} Rouge: {'rouge1': 0.1095890410958904, 'rouge2': 0.02816901408450704, 'rougeL': 0.1095890410958904, 'rougeLsum': 0.1095890410958904} Sari: {'sari': 35.739728296885346} Flesh Reading Ease: 58.4 ---------------------------------------- Source: ['Als er sich hierauf umdrehte, sah er sich von seinen fünf Collegen des Reformclubs umgeben.'] Prediction: ['Ein früherer Student aus den USA wurde in einem frühen Reformclub umdrehte.\nEr wurde von seinen fünf Collegen des Reformclubs umgeben.\nNun hat er sich auf einen frühen Collegen umdrehte.'] Label: [['Am Bahnhof sieht Fogg die Männer aus dem Club.\nMit ihnen hat er die Wette abgeschlossen.\nSie wollen sehen, ob Fogg wirklich losfährt.']] Sacrebleu: {'score': 2.9561645124389617, 'counts': [6, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [18.181818181818183, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2222222222222223, 'translation_length': 33, 'reference_length': 27} Rouge: {'rouge1': 0.10169491525423728, 'rouge2': 0.03508771929824561, 'rougeL': 0.10169491525423728, 'rougeLsum': 0.10169491525423728} Sari: {'sari': 34.845976126299576} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ["»Meine Herren, sprach er, jetzt reise ich ab, und die Visa's auf meinem Paß werden Ihnen bei meiner Rückkehr den Nachweis meiner Reiseroute geben."] Prediction: ["Ein Mann aus den USA reise eine Visa ab.\nDie Visa's auf seinem Paß werden bei meiner Rückkehr den Nachweis meiner Reiseroute geben."] Label: [['„Meine Herren, es geht los“, sagt er.\n„In jedem Land bekomme ich einen Stempel in meinen Pass.\nSo können Sie später sehen, dass ich wirklich dort war.“']] Sacrebleu: {'score': 1.2496576442016178, 'counts': [2, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [8.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.697676326071031, 'sys_len': 25, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.08, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6976763260710311, 'length_ratio': 0.7352941176470589, 'translation_length': 25, 'reference_length': 34} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 30.236742424242426} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['– Sie vergessen nicht, daß Sie wieder hier sein müssen? ... bemerkte Andrew Stuart ... – Binnen achtzig Tagenerwiderte Herr Fogg , Samstags , den 21 . December 1872, um acht Uhr fünfundvierzig Minuten Abends.'] Prediction: ['Im November 1872 wurde die erste Woche von Andrew Stuart auf der Kippe von "The Sun" aufgefunden.\nDer Bündnerin wurde acht Jahre alt.\nNun hat Andrew Stuart die Wiederwiderung von "The Sun" ausgegeben.'] Label: [['„Und Sie kommen tatsächlich in 80 Tagen wieder?“, fragt einer der Männer.\n„Am Samstag, den 21.\nDezember.\nAbends um 8.45 Uhr.']] Sacrebleu: {'score': 1.2992493989257516, 'counts': [4, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [10.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3793103448275863, 'translation_length': 40, 'reference_length': 29} Rouge: {'rouge1': 0.034482758620689655, 'rouge2': 0.0, 'rougeL': 0.034482758620689655, 'rougeLsum': 0.034482758620689655} Sari: {'sari': 31.52149010777262} Flesh Reading Ease: 69.55 ---------------------------------------- Source: ['Auf Wiedersehen, meine Herren.«'] Prediction: ['Immer mehr als die Schweizer Schweizerinnen und Schweizerinnen und Schweizerinnen und Schweizerinnen und Schweizer auf Wiedersehen.\nIm Interview mit mehreren über die Wiedersehen, die sie sind, wie sie ihnen im Interview mit ihnen schreiben.\nIm Interview spricht sie über ihre Herren, die sie sind, wie sie ihnen ihnen ihnen ihnen ihnen kam.'] Label: [['Auf Wiedersehen!\n“']] Sacrebleu: {'score': 0.6149917424924614, 'counts': [1, 0, 0, 0], 'totals': [59, 58, 57, 56], 'precisions': [1.694915254237288, 0.8620689655172413, 0.43859649122807015, 0.22321428571428573], 'bp': 1.0, 'sys_len': 59, 'ref_len': 4} Bleu: {'bleu': 0.0, 'precisions': [0.01694915254237288, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 14.75, 'translation_length': 59, 'reference_length': 4} Rouge: {'rouge1': 0.07407407407407407, 'rouge2': 0.038461538461538464, 'rougeL': 0.07407407407407407, 'rougeLsum': 0.07407407407407407} Sari: {'sari': 60.317460317460316} Flesh Reading Ease: 57.4 ---------------------------------------- Source: ['Um acht Uhr vierzig Minuten setzten sich Phileas Fogg und sein Diener in dieselbe Waggon - Abtheilung.'] Prediction: ['Am Mittwochabend verlierten Phileas Fogg und sein Diener in Waggon.\nDie beiden waren acht Uhr vierzig Minuten in dieselbe Waggon.\nPhileas Fogg und sein Diener setzten sich in dieselbe Waggon Abtheilung.'] Label: [['Fogg und Pas steigen in den Zug.']] Sacrebleu: {'score': 2.5889065173943995, 'counts': [4, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [11.764705882352942, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.25, 'translation_length': 34, 'reference_length': 8} Rouge: {'rouge1': 0.15789473684210525, 'rouge2': 0.05555555555555555, 'rougeL': 0.15789473684210525, 'rougeLsum': 0.15789473684210525} Sari: {'sari': 37.94871794871795} Flesh Reading Ease: 58.55 ---------------------------------------- Source: ['Die Neuigkeit von der Wette verbreitete sich zuerst im Reformclub und erregte unter den Mitgliedern dieser ehrenwerthen Gesellschaft eine arge Aufregung, welche sich durch die Berichterstatter von da in die Journale verbreitete und durch diese das Publicum von London und im ganzen Vereinigten Königreiche durchdrang.'] Prediction: ['Die Neuigkeit von der Wette verbreitete sich zuerst im Reformclub.\nDie Neuigkeit von der Wette verbreitete sich zuerst im Reformclub und erregte unter den Mitgliedern dieser ehrenwerthen Gesellschaft eine arge Aufregung.'] Label: [['Schon bald berichten Zeitungen über die Wette.']] Sacrebleu: {'score': 1.3355980882200826, 'counts': [2, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [6.0606060606060606, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.06060606060606061, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.125, 'translation_length': 33, 'reference_length': 8} Rouge: {'rouge1': 0.10526315789473685, 'rouge2': 0.0, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.10526315789473685} Sari: {'sari': 34.571050642479214} Flesh Reading Ease: 41.65 ---------------------------------------- Source: ['Die einen ergriffen Partei für Phileas Fogg, die anderen – und sie bildeten bald eine ansehnliche Majorität – sprachen sich gegen ihn aus.'] Prediction: ['Die einen ergriffenen Partei für Phileas Fogg, die anderen wollen, sprachen sich gegen ihn aus.\nDie einen ergriffen Partei für Phileas Fogg, die anderen wollen, sprachen sich gegen ihn aus.'] Label: [['„Fogg wird verlieren “, schreibt eine Zeitung.']] Sacrebleu: {'score': 1.2193311110766474, 'counts': [2, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [5.555555555555555, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.05555555555555555, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 36, 'reference_length': 9} Rouge: {'rouge1': 0.05263157894736842, 'rouge2': 0.0, 'rougeL': 0.05263157894736842, 'rougeLsum': 0.05263157894736842} Sari: {'sari': 34.14351851851852} Flesh Reading Ease: 65.55 ---------------------------------------- Source: ['Diese Reise um die Erde, innerhalb der geringen Frist, mit den jetzt im Gebrauch befindlichen Verkehrsmitteln anders als in der Theorie und auf dem Papier fertig zu bringen, war nicht allein unmöglich, sondern unsinnig! »Times«, »Standard«, »Evening - Star«, »Morning Chronicle« und zwanzig andere Journale ersten Ranges erklärten sich gegen Fogg.'] Prediction: ['Einige Journale erklären sich gegen Fogg.\nDie Erde, die sich um die Erde befindlichen Verkehrsmitteln zu bringen, war nicht allein unmöglich, sondern unsinnig.'] Label: [['„Schiffe fahren oft später los als geplant.\nNiemand kann in 80 Tagen um die Erde reisen.“']] Sacrebleu: {'score': 5.64785727197696, 'counts': [5, 2, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [17.857142857142858, 7.407407407407407, 3.8461538461538463, 2.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.17857142857142858, 0.07407407407407407, 0.038461538461538464, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4736842105263157, 'translation_length': 28, 'reference_length': 19} Rouge: {'rouge1': 0.14285714285714282, 'rouge2': 0.1, 'rougeL': 0.14285714285714282, 'rougeLsum': 0.14285714285714282} Sari: {'sari': 38.64370705547176} Flesh Reading Ease: 51.5 ---------------------------------------- Source: ['An diesem Tage, um neun Uhr Abends, erhielt der Polizeidirector der Hauptstadt folgende telegraphische Depesche: »Suez nach London.« »Rowan, Polizeidirector, Centralverwaltung, Schottlandplatz.«'] Prediction: ['Am Mittwochabend wurde die Suez nach London aufgefunden.\nDie Polizei erhielt dabei einen Tag auf die Hauptstadt.\nDie Depesche wurde von der Polizei nicht erhoben.'] Label: [['Detektiv Fix.\nAm 9.\nOktober kommen Fogg und Pas mit dem Schiff in Ägypten an.']] Sacrebleu: {'score': 1.8884748972625875, 'counts': [4, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [14.285714285714286, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5555555555555556, 'translation_length': 28, 'reference_length': 18} Rouge: {'rouge1': 0.05, 'rouge2': 0.0, 'rougeL': 0.05, 'rougeLsum': 0.05} Sari: {'sari': 52.09305944600062} Flesh Reading Ease: 60.55 ---------------------------------------- Source: ['Dieser Mann hieß Fix, und war einer jener »Detectives« oder geheimen Agenten, welche die englische Polizei nach dem Diebstahl auf der Bank in die verschiedenen Häfen abgeschickt hatte.'] Prediction: ['Ein Mann hatte am Donnerstag einen Bankaufgebot auf der Bank in die verschiedenen Häfen abgeschickt.\nDie Polizei hatte den Mann nach dem Diebstahl auf der Bank in die verschiedenen Häfen abgeschickt.'] Label: [['Sie wissen nicht, dass im Hafen ein Detektiv wartet.\nEr ist von der Polizei in London.\nUnd er heißt Fix.']] Sacrebleu: {'score': 1.6794256847485503, 'counts': [5, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [15.151515151515152, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.15151515151515152, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.375, 'translation_length': 33, 'reference_length': 24} Rouge: {'rouge1': 0.14814814814814814, 'rouge2': 0.0, 'rougeL': 0.14814814814814814, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 35.70887445887445} Flesh Reading Ease: 65.05 ---------------------------------------- ---------------------------------------- Average scores: Sacrebleu: 9.449469540199589 Bleu: 0.0761871410720519 Rouge1: 0.2698981229302532 Rouge2: 0.14895317074999165 RougeL: 0.23677456969960203 Sari: 39.50535784603556 Flesh Reading Ease: 52.454458288190686 ---------------------------------------- ---------------------------------------- Total scores: Sacrebleu: 7.978669452487333 Bleu: 0.07978669452487336 Rouge1: 0.2699488365891911 Rouge2: 0.1490793480211293 RougeL: 0.2368951511667879 Sari: 39.50535784603558 Flesh Reading Ease: 52.454458288190686 ----------------------------------------