R-best-fine-tuned-bart-base-full-ft-reward_short_sentences_and_words-2023-07-13T06-49-08 Test scores and corresponding predictions Source: ['Sport baut durch die intensive körperliche Betätigung Aggressionen ab und trägt so zum spielerischen Umgang von deutschen und ausländischen Sportlern aller Altersstufen bei.'] Prediction: ['Bei Aggressionen trägt ein Spielerische Umgang von deutschen und ausländischen Sportlern aller Altersstufen bei.\nAls Aggressionen baut durch die intensive körperliche Betätigung Aggressionen ab.'] Label: [['Sport baut als intensive körperliche Betätigung Aggressionen ab und trägt so zum spielerischen Umgang von deutschen und ausländischen Sportlern bei.']] Sacrebleu: {'score': 34.779770928081405, 'counts': [15, 10, 7, 5], 'totals': [26, 25, 24, 23], 'precisions': [57.69230769230769, 40.0, 29.166666666666668, 21.73913043478261], 'bp': 1.0, 'sys_len': 26, 'ref_len': 21} Bleu: {'bleu': 0.34779770928081405, 'precisions': [0.5769230769230769, 0.4, 0.2916666666666667, 0.21739130434782608], 'brevity_penalty': 1.0, 'length_ratio': 1.2380952380952381, 'translation_length': 26, 'reference_length': 21} Rouge: {'rouge1': 0.7307692307692307, 'rouge2': 0.52, 'rougeL': 0.4230769230769231, 'rougeLsum': 0.6923076923076924} Sari: {'sari': 25.095020720020717} Flesh Reading Ease: 21.75 ---------------------------------------- Source: ['Der Generator kann rund sieben Watt erzeugen – um Mobiltelefone, Taschenlampen oder GPS-Geräte mit Energie zu speisen.'] Prediction: ['In der Schweiz ist ein Generator ausgebaut.\nDie mobilenen Taschenlampen und GPS-Geräte sind unterwegs.'] Label: [['Der Generator kann rund sieben Watt erzeugen – um Mobiltelefone, Taschenlampen oder GPS-Geräte mit Energie zu versorgen.']] Sacrebleu: {'score': 2.867273570500278, 'counts': [4, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [25.0, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 0.8290291181804004, 'sys_len': 16, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8290291181804004, 'length_ratio': 0.8421052631578947, 'translation_length': 16, 'reference_length': 19} Rouge: {'rouge1': 0.35294117647058826, 'rouge2': 0.125, 'rougeL': 0.35294117647058826, 'rougeLsum': 0.35294117647058826} Sari: {'sari': 7.166411250490534} Flesh Reading Ease: 50.15 ---------------------------------------- Source: ['Sie sollen die Natur dabei nah, intensiv und ursprünglich erleben.'] Prediction: ['Sie sollen die Natur dabei nah, intensiv und ursprünglich erleben.\nWir haben die besten Experten zum Thema.'] Label: [['Die Natur sollen sie dabei nah, intensiv und ursprünglich erleben.']] Sacrebleu: {'score': 36.658827296012404, 'counts': [10, 7, 6, 5], 'totals': [20, 19, 18, 17], 'precisions': [50.0, 36.8421052631579, 33.333333333333336, 29.41176470588235], 'bp': 1.0, 'sys_len': 20, 'ref_len': 12} Bleu: {'bleu': 0.3665882729601239, 'precisions': [0.5, 0.3684210526315789, 0.3333333333333333, 0.29411764705882354], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 20, 'reference_length': 12} Rouge: {'rouge1': 0.7586206896551725, 'rouge2': 0.5185185185185185, 'rougeL': 0.6206896551724137, 'rougeLsum': 0.6206896551724137} Sari: {'sari': 60.88659147869674} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['Das Lebendige Museum Online (LeMO) ist ein Gang durch die deutsche Geschichte von der Mitte des 19. Jahrhunderts bis zur Gegenwart.'] Prediction: ['Im Juni 2020 wurde die Lebendige Museum Online veröffentlicht.\nDas Lebendige Museum Online (LeMO) ist ein Gang durch die deutsche Geschichte von der Mitte des 19.\nJahrhunderts.'] Label: [['Bekannt ist das Lebendige Museum Online (LeMO).\nEs zeigt online die deutsche Geschichte von der Mitte des 19.\nJahrhunderts bis zur Gegenwart.']] Sacrebleu: {'score': 43.85387652569965, 'counts': [19, 14, 12, 10], 'totals': [32, 31, 30, 29], 'precisions': [59.375, 45.16129032258065, 40.0, 34.48275862068966], 'bp': 1.0, 'sys_len': 32, 'ref_len': 27} Bleu: {'bleu': 0.4385387652569967, 'precisions': [0.59375, 0.45161290322580644, 0.4, 0.3448275862068966], 'brevity_penalty': 1.0, 'length_ratio': 1.1851851851851851, 'translation_length': 32, 'reference_length': 27} Rouge: {'rouge1': 0.64, 'rouge2': 0.5, 'rougeL': 0.56, 'rougeLsum': 0.6} Sari: {'sari': 25.1541418050852} Flesh Reading Ease: 55.35 ---------------------------------------- Source: ['So schnell kann man zu Fuß oder mit der Bahn keinen Rundgang machen.'] Prediction: ['Die Bahn ist ein grosser Rundgang.\nDas ist nicht bekannt.'] Label: [['Ein großer Vorteil des virtuellen Museums: So schnell kann man zu Fuß oder mit der Bahn keinen Rundgang machen!']] Sacrebleu: {'score': 1.902337345686792, 'counts': [2, 0, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [16.666666666666668, 4.545454545454546, 2.5, 1.3888888888888888], 'bp': 0.4723665527410147, 'sys_len': 12, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 0.4723665527410147, 'length_ratio': 0.5714285714285714, 'translation_length': 12, 'reference_length': 21} Rouge: {'rouge1': 0.2, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 5.287490287490288} Flesh Reading Ease: 98.95 ---------------------------------------- Source: ['Google hat vor über einem Jahr 17 bedeutende Museen und Galerien im Internet unter "Art Project" für alle zugänglich gemacht.'] Prediction: ['Google hat 17 Galerien im Internet für alle zugänglich gemacht.\nSie haben Google-Art Project für alle zugänglich gemacht.'] Label: [['Google hat vor über einem Jahr 17 Museen und Galerien im Internet unter "Art Project" eröffnet.']] Sacrebleu: {'score': 10.079037376973913, 'counts': [8, 3, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [40.0, 15.789473684210526, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.4, 0.15789473684210525, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0526315789473684, 'translation_length': 20, 'reference_length': 19} Rouge: {'rouge1': 0.39999999999999997, 'rouge2': 0.2105263157894737, 'rougeL': 0.39999999999999997, 'rougeLsum': 0.39999999999999997} Sari: {'sari': 15.889285006932067} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Er besteht aus beschilderten Stationen an historischen Orten in Bonn.'] Prediction: ['Der Chef des Bundesstaats, Thomas Müller, ist tot.\nEr besteht aus beschilderten Stationen in Bonn.\nEr besteht aus beschilderten Stationen an historischen Orten in Bonn.'] Label: [['Er besteht aus Stationen an historischen Orten in Bonn.']] Sacrebleu: {'score': 23.244223633311687, 'counts': [10, 8, 6, 4], 'totals': [30, 29, 28, 27], 'precisions': [33.333333333333336, 27.586206896551722, 21.428571428571427, 14.814814814814815], 'bp': 1.0, 'sys_len': 30, 'ref_len': 10} Bleu: {'bleu': 0.23244223633311675, 'precisions': [0.3333333333333333, 0.27586206896551724, 0.21428571428571427, 0.14814814814814814], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 30, 'reference_length': 10} Rouge: {'rouge1': 0.5142857142857142, 'rouge2': 0.42424242424242425, 'rougeL': 0.5142857142857142, 'rougeLsum': 0.5142857142857142} Sari: {'sari': 60.899470899470906} Flesh Reading Ease: 60.55 ---------------------------------------- Source: ['Der Rundgang beginnt am Haus der Geschichte der Bundesrepublik Deutschland und führt in etwa 90 bis 120 Minuten an zwölf der 18 Stationen vorbei.'] Prediction: ['Der Bundesrat hat am Mittwoch einen Rundgang erlassen.\nEs ist der erste Rundgang in der Schweiz.\nDie 18 Stationen werden in den letzten Tagen vorbei.'] Label: [['Der Rundgang beginnt am Haus der Geschichte der Bundesrepublik Deutschland und führt an zwölf der 18 Stationen vorbei.']] Sacrebleu: {'score': 4.625799890348224, 'counts': [9, 2, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [32.142857142857146, 7.407407407407407, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.32142857142857145, 0.07407407407407407, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4736842105263157, 'translation_length': 28, 'reference_length': 19} Rouge: {'rouge1': 0.35555555555555557, 'rouge2': 0.04651162790697675, 'rougeL': 0.3111111111111111, 'rougeLsum': 0.2666666666666666} Sari: {'sari': 18.613271747445996} Flesh Reading Ease: 78.1 ---------------------------------------- Source: ['So kann man mit Bildern, Videos und Texten bequem vom Computer aus Geschichte und Kultur erleben und sich so viel Zeit wie nötig lassen.'] Prediction: ['Die Welt ist so viel Zeit wie nötig lassen.\nSo kann man mit Bildern, Videos und Texten bequem vom Computer aus Geschichte und Kultur erleben und sich so viel Zeit wie nötig lassen.'] Label: [['Mit Bildern, Videos und Texten kann man bequem vom Computer aus Geschichte und Kultur erleben.']] Sacrebleu: {'score': 30.41372354917695, 'counts': [16, 12, 9, 7], 'totals': [36, 35, 34, 33], 'precisions': [44.44444444444444, 34.285714285714285, 26.470588235294116, 21.21212121212121], 'bp': 1.0, 'sys_len': 36, 'ref_len': 17} Bleu: {'bleu': 0.3041372354917695, 'precisions': [0.4444444444444444, 0.34285714285714286, 0.2647058823529412, 0.21212121212121213], 'brevity_penalty': 1.0, 'length_ratio': 2.1176470588235294, 'translation_length': 36, 'reference_length': 17} Rouge: {'rouge1': 0.6, 'rouge2': 0.5, 'rougeL': 0.52, 'rougeLsum': 0.52} Sari: {'sari': 54.99099733564757} Flesh Reading Ease: 75.75 ---------------------------------------- Source: ['So kann man die Innenräume der Alten Nationalgalerie und die Gemäldegalerie in Berlin oder das New Yorker Museum of Modern Art besuchen.'] Prediction: ['Die Innenräume der Alten Nationalgalerie und die Gemäldegalerie in Berlin oder das New Yorker Museum of Modern Art sind so viel geworden.\nDie Innenräume der Alten Nationalgalerie und die Gemäldegalerie in Berlin oder das New Yorker Museum of Modern Art sind so viel geworden.'] Label: [['So kann man das Innere der Alten Nationalgalerie und die Gemäldegalerie in Berlin oder das New Yorker Museum of Modern Art besuchen.']] Sacrebleu: {'score': 33.46847458314313, 'counts': [18, 15, 14, 13], 'totals': [46, 45, 44, 43], 'precisions': [39.130434782608695, 33.333333333333336, 31.818181818181817, 30.232558139534884], 'bp': 1.0, 'sys_len': 46, 'ref_len': 23} Bleu: {'bleu': 0.33468474583143115, 'precisions': [0.391304347826087, 0.3333333333333333, 0.3181818181818182, 0.3023255813953488], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 46, 'reference_length': 23} Rouge: {'rouge1': 0.5352112676056338, 'rouge2': 0.46376811594202894, 'rougeL': 0.5070422535211269, 'rougeLsum': 0.4788732394366197} Sari: {'sari': 38.63695090439276} Flesh Reading Ease: 41.0 ---------------------------------------- Source: ['In den 34 Industriestaaten, die zur OECD gehören, liegt die Differenz im Schnitt bei 16 Prozent.'] Prediction: ['Die OECD hat 34 Industriestaaten in den 34 Schweizer Staaten gehört.\nDie Differenz liegt bei 16 Prozent.'] Label: [['In den 34 Industriestaaten, die zur OECD gehören, liegt die Differenz bei 16 Prozent.']] Sacrebleu: {'score': 18.107197870881738, 'counts': [10, 5, 2, 1], 'totals': [19, 18, 17, 16], 'precisions': [52.63157894736842, 27.77777777777778, 11.764705882352942, 6.25], 'bp': 1.0, 'sys_len': 19, 'ref_len': 17} Bleu: {'bleu': 0.18107197870881736, 'precisions': [0.5263157894736842, 0.2777777777777778, 0.11764705882352941, 0.0625], 'brevity_penalty': 1.0, 'length_ratio': 1.1176470588235294, 'translation_length': 19, 'reference_length': 17} Rouge: {'rouge1': 0.7878787878787877, 'rouge2': 0.3870967741935484, 'rougeL': 0.5454545454545454, 'rougeLsum': 0.5454545454545454} Sari: {'sari': 27.80393217893218} Flesh Reading Ease: 77.9 ---------------------------------------- Source: ['An der Spitze, in den Führungspositionen, ist für Frauen "die Luft dünn". In Deutschlands großen Banken, Energie- und Automobilfirmen, in den Telefon- und Kommunikationsunternehmen, die an der Börse gelistet sind, arbeiten nur sehr wenige Frauen:'] Prediction: ['Deutschland arbeitet nur sehr wenige Frauen.\nIn der Spitze, in den Führungspositionen, ist für Frauen "die Luft dünn".\nIn Deutschland arbeiten nur sehr wenige Frauen.'] Label: [['Hier ist "die Luft dünn" in Deutschlands großen Banken, Energie- und Automobilfirmen, in den Telefon- und Kommunikationsunternehmen, die an der Börse gelistet sind.']] Sacrebleu: {'score': 16.073034972341446, 'counts': [12, 6, 4, 2], 'totals': [32, 31, 30, 29], 'precisions': [37.5, 19.35483870967742, 13.333333333333334, 6.896551724137931], 'bp': 1.0, 'sys_len': 32, 'ref_len': 29} Bleu: {'bleu': 0.16073034972341446, 'precisions': [0.375, 0.1935483870967742, 0.13333333333333333, 0.06896551724137931], 'brevity_penalty': 1.0, 'length_ratio': 1.103448275862069, 'translation_length': 32, 'reference_length': 29} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.1923076923076923, 'rougeL': 0.22222222222222224, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 15.705535625835335} Flesh Reading Ease: 60.55 ---------------------------------------- Source: ['Die Gründe: Um Beruf und Familie zu vereinbaren verzichten auch heute noch immer viele Frauen auf eine Karriere.'] Prediction: ['Um Beruf und Familie zu vereinbaren verzichten auch heute noch immer viele Frauen auf eine Karriere.\nDas hat die Gründe: Um Beruf und Familie zu vereinbaren verzichten auch heute noch immer viele Frauen auf eine Karriere.'] Label: [['Warum ist das so?\nUm Beruf und Familie zu vereinbaren, verzichten auch heute noch immer viele Frauen auf eine Karriere.']] Sacrebleu: {'score': 36.86641837726626, 'counts': [17, 15, 13, 11], 'totals': [39, 38, 37, 36], 'precisions': [43.58974358974359, 39.473684210526315, 35.13513513513514, 30.555555555555557], 'bp': 1.0, 'sys_len': 39, 'ref_len': 23} Bleu: {'bleu': 0.3686641837726626, 'precisions': [0.4358974358974359, 0.39473684210526316, 0.35135135135135137, 0.3055555555555556], 'brevity_penalty': 1.0, 'length_ratio': 1.6956521739130435, 'translation_length': 39, 'reference_length': 23} Rouge: {'rouge1': 0.5964912280701754, 'rouge2': 0.5454545454545454, 'rougeL': 0.5964912280701754, 'rougeLsum': 0.5964912280701754} Sari: {'sari': 63.96413186024191} Flesh Reading Ease: 50.85 ---------------------------------------- Source: ['In Norwegen etwa bekommen Frauen lediglich 8,4 Prozent und in Belgien 8,9 Prozent weniger.'] Prediction: ['Frauen in Norwegen und Belgien sind lediglich 8,4 Prozent weniger.\nIn Norwegen etwa bekommen Frauen lediglich 8,4 Prozent und in Belgien 8,9 Prozent weniger.'] Label: [['In Norwegen etwa bekommen Frauen nur 8,4 Prozent und in Belgien 8,9 Prozent weniger.']] Sacrebleu: {'score': 43.9933170526582, 'counts': [14, 12, 10, 8], 'totals': [26, 25, 24, 23], 'precisions': [53.84615384615385, 48.0, 41.666666666666664, 34.78260869565217], 'bp': 1.0, 'sys_len': 26, 'ref_len': 15} Bleu: {'bleu': 0.439933170526582, 'precisions': [0.5384615384615384, 0.48, 0.4166666666666667, 0.34782608695652173], 'brevity_penalty': 1.0, 'length_ratio': 1.7333333333333334, 'translation_length': 26, 'reference_length': 15} Rouge: {'rouge1': 0.6976744186046512, 'rouge2': 0.6341463414634146, 'rougeL': 0.6976744186046512, 'rougeLsum': 0.6976744186046512} Sari: {'sari': 62.9386845039019} Flesh Reading Ease: 51.0 ---------------------------------------- Source: ['Auch in der Schule wird das Reden in der Mundart gefördert, denn vielerorts wird es in den Unterricht integriert.'] Prediction: ['In der Mundart wird das Reden in der Mundart gefördert.\nDas Reden in der Schule wird vielerorts in den Unterricht integriert.'] Label: [['Heute lernen in einigen Regionen sogar die Schüler im Unterreicht wieder " ihren" Dialekt.']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4375, 'translation_length': 23, 'reference_length': 16} Rouge: {'rouge1': 0.05555555555555555, 'rouge2': 0.0, 'rougeL': 0.05555555555555555, 'rougeLsum': 0.05555555555555555} Sari: {'sari': 34.883720930232556} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['Auch Teilzeitarbeit oder Telearbeit, die Arbeit von zu Hause, machen das Arbeitsleben flexibler.'] Prediction: ['Immer mehr Arbeitsleben werden viele von ihnen flexibler.\nAuch Teilzeitarbeit oder Telearbeit machen das Arbeitsleben flexibler.'] Label: [['Auch Teilzeitarbeit oder Homeoffice machen das Arbeitsleben flexibler.']] Sacrebleu: {'score': 26.89054715066592, 'counts': [8, 6, 4, 2], 'totals': [18, 17, 16, 15], 'precisions': [44.44444444444444, 35.294117647058826, 25.0, 13.333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 9} Bleu: {'bleu': 0.2689054715066593, 'precisions': [0.4444444444444444, 0.35294117647058826, 0.25, 0.13333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 18, 'reference_length': 9} Rouge: {'rouge1': 0.5833333333333334, 'rouge2': 0.4545454545454545, 'rougeL': 0.5833333333333334, 'rougeLsum': 0.5833333333333334} Sari: {'sari': 62.5071225071225} Flesh Reading Ease: 31.6 ---------------------------------------- Source: ['Kartons bestehen zu mehr als 90 Prozent aus Recyclingfasern.'] Prediction: ['Der Schweizer Kartons bestehen zu mehr als 90 Prozent aus Recyclingfasern.\nDas besteht zu mehr als 90 Prozent.'] Label: [['Kartons bestehen zu über 90 Prozent aus Recyclingfasern.']] Sacrebleu: {'score': 23.972125922151484, 'counts': [8, 6, 4, 2], 'totals': [20, 19, 18, 17], 'precisions': [40.0, 31.57894736842105, 22.22222222222222, 11.764705882352942], 'bp': 1.0, 'sys_len': 20, 'ref_len': 9} Bleu: {'bleu': 0.2397212592215149, 'precisions': [0.4, 0.3157894736842105, 0.2222222222222222, 0.11764705882352941], 'brevity_penalty': 1.0, 'length_ratio': 2.2222222222222223, 'translation_length': 20, 'reference_length': 9} Rouge: {'rouge1': 0.5384615384615385, 'rouge2': 0.4166666666666667, 'rougeL': 0.5384615384615385, 'rougeLsum': 0.5384615384615385} Sari: {'sari': 56.66666666666668} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Die Bräuche sind häufig ähnlich, diese Jahreszeit hat nur – abhängig von der Region in Deutschland – verschiedene Namen.'] Prediction: ['Die Bräuche in Deutschland sind häufig ähnlich.\nDie Bräuche sind häufig ähnlich, diese Jahreszeit hat nur verschiedene Namen.'] Label: [['Die Bräuche sind häufig ähnlich, diese Zeit hat nur – je nach Region in Deutschland – verschiedene Namen.']] Sacrebleu: {'score': 39.1080327529236, 'counts': [14, 10, 6, 4], 'totals': [21, 20, 19, 18], 'precisions': [66.66666666666667, 50.0, 31.57894736842105, 22.22222222222222], 'bp': 1.0, 'sys_len': 21, 'ref_len': 20} Bleu: {'bleu': 0.391080327529236, 'precisions': [0.6666666666666666, 0.5, 0.3157894736842105, 0.2222222222222222], 'brevity_penalty': 1.0, 'length_ratio': 1.05, 'translation_length': 21, 'reference_length': 20} Rouge: {'rouge1': 0.7000000000000001, 'rouge2': 0.5263157894736842, 'rougeL': 0.6, 'rougeLsum': 0.6} Sari: {'sari': 41.78273115773116} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Sie beginnt mit Weiberfastnacht, auch Weiberfasching (oder auf Kölsch: „Wieverfastelovend") oder „schmotziger Donnerstag" genannt.'] Prediction: ['Weiberfastnacht ist eine weitere Form.\nDie Schweizerin startet mit Weiberfasching.'] Label: [['Sie beginnt mit Weiberfastnacht, auch Weiberfasching oder „schmotziger Donnerstag" genannt.']] Sacrebleu: {'score': 4.406306339938217, 'counts': [4, 0, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [33.333333333333336, 4.545454545454546, 2.5, 1.3888888888888888], 'bp': 0.9200444146293233, 'sys_len': 12, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9200444146293233, 'length_ratio': 0.9230769230769231, 'translation_length': 12, 'reference_length': 13} Rouge: {'rouge1': 0.3, 'rouge2': 0.0, 'rougeL': 0.20000000000000004, 'rougeLsum': 0.3} Sari: {'sari': 21.039015021213167} Flesh Reading Ease: 46.3 ---------------------------------------- Source: ['Am Rosenmontag gibt es in vielen Städten Umzüge mit Mottowagen, die häufig lokale, nationale und auch internationale Politik kommentieren und von vielen Tausend kostümierten Zuschauern besucht werden.'] Prediction: ['Am Rosenmontag werden in vielen Städten Umzüge mit Mottowagen, die häufig lokale, nationale und auch internationale Politik kommentieren und von vielen Tausend kostümierten Zuschauern besucht werden.\nDie Schweiz wird am Rosenmontag in Zuschauern geschickt.'] Label: [['Am Rosenmontag gibt es in vielen Städten Umzüge mit Mottowagen.']] Sacrebleu: {'score': 13.829446068705526, 'counts': [9, 6, 4, 3], 'totals': [38, 37, 36, 35], 'precisions': [23.68421052631579, 16.216216216216218, 11.11111111111111, 8.571428571428571], 'bp': 1.0, 'sys_len': 38, 'ref_len': 11} Bleu: {'bleu': 0.13829446068705525, 'precisions': [0.23684210526315788, 0.16216216216216217, 0.1111111111111111, 0.08571428571428572], 'brevity_penalty': 1.0, 'length_ratio': 3.4545454545454546, 'translation_length': 38, 'reference_length': 11} Rouge: {'rouge1': 0.39999999999999997, 'rouge2': 0.33333333333333337, 'rougeL': 0.39999999999999997, 'rougeLsum': 0.39999999999999997} Sari: {'sari': 10.61028257456829} Flesh Reading Ease: 28.45 ---------------------------------------- Source: ['Vielerorts beginnt die „fünfte Jahreszeit" aber schon am 11.11 (November) um 11:11 Uhr.'] Prediction: ['Am 11.11 (November) startet die "fünfte Jahreszeit" in der Schweiz.\nDie "fünfte Jahreszeit" beginnt am 11.11 (November) um 11:11 Uhr.'] Label: [['An vielen Orten beginnt die „fünfte Jahreszeit" aber schon am 11.11 (November) um 11:11 Uhr.']] Sacrebleu: {'score': 34.252823678705816, 'counts': [15, 11, 9, 8], 'totals': [32, 31, 30, 29], 'precisions': [46.875, 35.483870967741936, 30.0, 27.586206896551722], 'bp': 1.0, 'sys_len': 32, 'ref_len': 21} Bleu: {'bleu': 0.34252823678705807, 'precisions': [0.46875, 0.3548387096774194, 0.3, 0.27586206896551724], 'brevity_penalty': 1.0, 'length_ratio': 1.5238095238095237, 'translation_length': 32, 'reference_length': 21} Rouge: {'rouge1': 0.6046511627906976, 'rouge2': 0.48780487804878053, 'rougeL': 0.5581395348837209, 'rougeLsum': 0.5581395348837209} Sari: {'sari': 31.277620929794843} Flesh Reading Ease: 79.7 ---------------------------------------- Source: ['Von „Fasching" spricht man in Teilen Bayerns und auch in Norddeutschland, von „Fastnacht" unter anderem in Hessen, Baden und Württemberg. Der „Karneval" hat seine Hochburgen am Rhein wie in Köln oder Düsseldorf.'] Prediction: ['In der Schweiz werden die Hochburgen von "Fasching" geschickt.\nIn der Nacht auf Sonntag werden die Hochburgen von "Fastnacht" geschickt.\nIn der Nacht auf Sonntag werden die Hochburgen geschickt.'] Label: [['Von „Fasching" spricht man in Teilen Bayerns und auch in Norddeutschland, von „Fastnacht" unter anderem in Hessen, Baden und Württemberg, der „Karneval" ist besonders populär am Rhein in Städten wie Köln oder Düsseldorf.']] Sacrebleu: {'score': 1.4359754865562318, 'counts': [6, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [16.666666666666668, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 0.8948393168143697, 'sys_len': 36, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8948393168143697, 'length_ratio': 0.9, 'translation_length': 36, 'reference_length': 40} Rouge: {'rouge1': 0.23880597014925373, 'rouge2': 0.06153846153846154, 'rougeL': 0.208955223880597, 'rougeLsum': 0.208955223880597} Sari: {'sari': 12.03207018270539} Flesh Reading Ease: 76.7 ---------------------------------------- Source: ['Auf Burn-out war in Deutschland im Jahr 2010 fast jeder zehnte Fehltag zurückzuführen, ein Anstieg von rund 80 Prozent gegenüber 1999.Die Krankheitstage kosten viel Geld:'] Prediction: ['Burn-out ist ein neuer Teil der Krankheit.\nDie Krankheitstage kostet viel Geld.'] Label: [['Auf Burn-out war in Deutschland im Jahr 2010 fast jeder zehnte Fehltag zurückzuführen.\nDie Krankheitstage kosten viel Geld:']] Sacrebleu: {'score': 9.063023185560711, 'counts': [6, 3, 1, 0], 'totals': [14, 13, 12, 11], 'precisions': [42.857142857142854, 23.076923076923077, 8.333333333333334, 4.545454545454546], 'bp': 0.6514390575310556, 'sys_len': 14, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.42857142857142855, 0.23076923076923078, 0.08333333333333333, 0.0], 'brevity_penalty': 0.6514390575310556, 'length_ratio': 0.7, 'translation_length': 14, 'reference_length': 20} Rouge: {'rouge1': 0.35294117647058826, 'rouge2': 0.18749999999999997, 'rougeL': 0.35294117647058826, 'rougeLsum': 0.35294117647058826} Sari: {'sari': 20.800479476950066} Flesh Reading Ease: 80.4 ---------------------------------------- Source: ['So zahlt sich jeder einzelne Euro, der in Prävention investiert wird, für die deutsche Volkswirtschaft mit mindestens fünf und bis zu 16 Euro aus.'] Prediction: ['Jeder einzelne Euro, der in Prävention investiert wird, zahlt sich für die deutsche Volkswirtschaft mit mindestens fünf und bis zu 16 Euro aus.\nSo zahlt sich jeder einzelne Euro, der in Prävention investiert wird, für die deutsche Volkswirtschaft mit mindestens fünf und bis zu 16 Euro aus.'] Label: [['So zahlt sich jeder einzelne Euro, der in Prävention investiert wird, für die deutsche Volkswirtschaft mit bis zu 16 Euro aus.']] Sacrebleu: {'score': 40.55358545342962, 'counts': [24, 22, 20, 18], 'totals': [53, 52, 51, 50], 'precisions': [45.283018867924525, 42.30769230769231, 39.21568627450981, 36.0], 'bp': 1.0, 'sys_len': 53, 'ref_len': 24} Bleu: {'bleu': 0.4055358545342963, 'precisions': [0.4528301886792453, 0.4230769230769231, 0.39215686274509803, 0.36], 'brevity_penalty': 1.0, 'length_ratio': 2.2083333333333335, 'translation_length': 53, 'reference_length': 24} Rouge: {'rouge1': 0.6052631578947368, 'rouge2': 0.5675675675675677, 'rougeL': 0.6052631578947368, 'rougeLsum': 0.6052631578947368} Sari: {'sari': 71.65723854553642} Flesh Reading Ease: 62.9 ---------------------------------------- Source: ['In diesem Jahr gibt es laut Michelin-Restaurantführer in Deutschland 249 Sterne-Restaurants, neun davon haben drei Sterne. Die Speisen der rund sieben Millionen Einwanderer prägen und ergänzen die deutsche Küche.'] Prediction: ['Michelin-Restaurantführer in Deutschland hat seine Sterne-Speisen veröffentlicht.\nDiese gibt es in 249 Sterne-Restaurants.'] Label: [['Aktuell gibt es laut Michelin-Restaurantführer in Deutschland 308 Sterne-Restaurants.\nRund sieben Millionen Einwanderer prägen und ergänzen die deutsche Küche.']] Sacrebleu: {'score': 9.964975370452011, 'counts': [8, 4, 1, 0], 'totals': [15, 14, 13, 12], 'precisions': [53.333333333333336, 28.571428571428573, 7.6923076923076925, 4.166666666666667], 'bp': 0.6703200460356393, 'sys_len': 15, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.5333333333333333, 0.2857142857142857, 0.07692307692307693, 0.0], 'brevity_penalty': 0.6703200460356393, 'length_ratio': 0.7142857142857143, 'translation_length': 15, 'reference_length': 21} Rouge: {'rouge1': 0.41860465116279066, 'rouge2': 0.2926829268292683, 'rougeL': 0.32558139534883723, 'rougeLsum': 0.41860465116279066} Sari: {'sari': 28.409156031842052} Flesh Reading Ease: 21.4 ---------------------------------------- Source: ['Nicht mehr wegzudenken ist die italienische Küche:'] Prediction: ['Die italienische Küche ist in der Schweiz nicht mehr wegzudenken.\nDie italienische Küche ist nicht mehr wegzudenken.'] Label: [['Dazu gehört vor allem die italienische Küche:']] Sacrebleu: {'score': 4.048892532133102, 'counts': [2, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [10.526315789473685, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 1.0, 'sys_len': 19, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.375, 'translation_length': 19, 'reference_length': 8} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.23076923076923078, 'rougeL': 0.2857142857142857, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 31.9462481962482} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['Jede Person braucht am Tag etwa 42 Liter für die Toilettenspülung, 39 Liter fürs Baden oder Duschen, 18 Liter fürs Wäschewaschen, vier Liter für das Kochen und Trinken und zwei Liter für die Autowäsche.'] Prediction: ['Ein Tag hat ein Schweizer Person mit 42 Liter für die Toilettenspülung, 39 Liter fürs Baden oder Duschen, 18 Liter fürs Wäschewaschen, vier Liter für das Kochen und Trinken und zwei Liter für die Autowäsche.\nDas hat die Schweizer Gemeinde mit dem Tag eine Toilettenspülung geschützt.'] Label: [['Jede Person braucht am Tag etwa 42 Liter für die Toilettenspülung, 39 Liter fürs Baden oder Duschen, 18 Liter für das Waschen von Wäsche, vier Liter für das Kochen und Trinken und zwei Liter für die Autowäsche.']] Sacrebleu: {'score': 55.25591505748986, 'counts': [32, 28, 26, 24], 'totals': [51, 50, 49, 48], 'precisions': [62.745098039215684, 56.0, 53.06122448979592, 50.0], 'bp': 1.0, 'sys_len': 51, 'ref_len': 41} Bleu: {'bleu': 0.5525591505748985, 'precisions': [0.6274509803921569, 0.56, 0.5306122448979592, 0.5], 'brevity_penalty': 1.0, 'length_ratio': 1.2439024390243902, 'translation_length': 51, 'reference_length': 41} Rouge: {'rouge1': 0.7326732673267325, 'rouge2': 0.6262626262626263, 'rougeL': 0.6930693069306931, 'rougeLsum': 0.7128712871287128} Sari: {'sari': 28.540038000653734} Flesh Reading Ease: 63.4 ---------------------------------------- Source: ['Die Ressource Wasser ist in Deutschland ausreichend vorhanden, auch wenn es so wenig regnet wie im Herbst 2011.'] Prediction: ['Die Ressource Wasser ist in Deutschland ausreichend vorhanden.\nEs ist wenig regnet wie im Herbst 2011.'] Label: [['Die Ressource Wasser ist in Deutschland ausreichend vorhanden, auch wenn es in manchen Jahres sehr wenig regnet.']] Sacrebleu: {'score': 41.18986261905915, 'counts': [11, 8, 6, 5], 'totals': [18, 17, 16, 15], 'precisions': [61.111111111111114, 47.05882352941177, 37.5, 33.333333333333336], 'bp': 0.9459594689067654, 'sys_len': 18, 'ref_len': 19} Bleu: {'bleu': 0.41189862619059153, 'precisions': [0.6111111111111112, 0.47058823529411764, 0.375, 0.3333333333333333], 'brevity_penalty': 0.9459594689067654, 'length_ratio': 0.9473684210526315, 'translation_length': 18, 'reference_length': 19} Rouge: {'rouge1': 0.6666666666666667, 'rouge2': 0.5161290322580646, 'rougeL': 0.6666666666666667, 'rougeLsum': 0.6060606060606061} Sari: {'sari': 33.775686977299884} Flesh Reading Ease: 72.55 ---------------------------------------- Source: ['Wissenschaftler haben in deutschen Flüssen 257 schädliche Chemikalien nachgewiesen.'] Prediction: ['In Deutschland wurden 257 schädliche Chemikalien nachgewiesen.\nDie Chemikalien-Fälle sind in den USA unterwegs.'] Label: [['Wissenschaftler*inenn haben in deutschen Flüssen 257 schädliche Chemikalien nachgewiesen.']] Sacrebleu: {'score': 23.961829057131983, 'counts': [6, 4, 3, 2], 'totals': [16, 15, 14, 13], 'precisions': [37.5, 26.666666666666668, 21.428571428571427, 15.384615384615385], 'bp': 1.0, 'sys_len': 16, 'ref_len': 12} Bleu: {'bleu': 0.23961829057131984, 'precisions': [0.375, 0.26666666666666666, 0.21428571428571427, 0.15384615384615385], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 16, 'reference_length': 12} Rouge: {'rouge1': 0.41379310344827586, 'rouge2': 0.2962962962962963, 'rougeL': 0.41379310344827586, 'rougeLsum': 0.41379310344827586} Sari: {'sari': 25.972222222222225} Flesh Reading Ease: 32.6 ---------------------------------------- Source: ['Die Vereinten Nationen haben daher die Jahre 2005 bis 2015 zur Dekade des Wassers, „International Decade for Action – Water for Life“, erklärt.'] Prediction: ['Vereinten Nationen haben eine internationale Dekade des Wassers.\nSie haben die internationale Decade for Action vorgeworfen, "International Decade for Action – Water for Life“ zu haben.'] Label: [['Die Jahre 2005 bis 2015 wurden zur Dekade des Wassers, „International Decade for Action – Water for Life“ von den Vereinten Nationen erklärt.']] Sacrebleu: {'score': 26.039652524962975, 'counts': [14, 9, 6, 4], 'totals': [30, 29, 28, 27], 'precisions': [46.666666666666664, 31.03448275862069, 21.428571428571427, 14.814814814814815], 'bp': 1.0, 'sys_len': 30, 'ref_len': 25} Bleu: {'bleu': 0.2603965252496297, 'precisions': [0.4666666666666667, 0.3103448275862069, 0.21428571428571427, 0.14814814814814814], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 30, 'reference_length': 25} Rouge: {'rouge1': 0.5416666666666667, 'rouge2': 0.3913043478260869, 'rougeL': 0.41666666666666663, 'rougeLsum': 0.4583333333333333} Sari: {'sari': 34.255311189351815} Flesh Reading Ease: 15.4 ---------------------------------------- Source: ['Studien beweisen: Unternehmen, die gesellschaftliche Verantwortung übernehmen, stärken ihr positives Image.'] Prediction: ['Unternehmen, die gesellschaftliche Verantwortung übernehmen, stärken ihr positives Image.\nUnternehmen, die gesellschaftliche Verantwortung übernehmen, stärken ihr positives Image.'] Label: [['Studien beweisen: Unternehmen, die gesellschaftliche Verantwortung übernehmen, haben ein positives Image.']] Sacrebleu: {'score': 29.45642544824926, 'counts': [10, 8, 6, 4], 'totals': [24, 23, 22, 21], 'precisions': [41.666666666666664, 34.78260869565217, 27.272727272727273, 19.047619047619047], 'bp': 1.0, 'sys_len': 24, 'ref_len': 15} Bleu: {'bleu': 0.29456425448249246, 'precisions': [0.4166666666666667, 0.34782608695652173, 0.2727272727272727, 0.19047619047619047], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 24, 'reference_length': 15} Rouge: {'rouge1': 0.45161290322580644, 'rouge2': 0.3448275862068966, 'rougeL': 0.45161290322580644, 'rougeLsum': 0.45161290322580644} Sari: {'sari': 22.098360137428074} Flesh Reading Ease: 7.2 ---------------------------------------- Source: ['Sie sind wettbewerbsfähiger, steigern ihre Produktivität und damit ihren wirtschaftlichen Erfolg.'] Prediction: ['Wettbewerbsfähiger steigern ihre Produktivität und damit ihren wirtschaftlichen Erfolg.\nDas ist ein wettbewerbsfähiger Wettbewerbsfähiger.'] Label: [['Sie sind wettbewerbsfähiger, steigern ihre Produktivität und sind so wirtschaftlich erfolgreich.']] Sacrebleu: {'score': 16.94357181593088, 'counts': [6, 3, 2, 1], 'totals': [16, 15, 14, 13], 'precisions': [37.5, 20.0, 14.285714285714286, 7.6923076923076925], 'bp': 1.0, 'sys_len': 16, 'ref_len': 13} Bleu: {'bleu': 0.16943571815930883, 'precisions': [0.375, 0.2, 0.14285714285714285, 0.07692307692307693], 'brevity_penalty': 1.0, 'length_ratio': 1.2307692307692308, 'translation_length': 16, 'reference_length': 13} Rouge: {'rouge1': 0.45161290322580644, 'rouge2': 0.41379310344827586, 'rougeL': 0.45161290322580644, 'rougeLsum': 0.45161290322580644} Sari: {'sari': 12.675745307324254} Flesh Reading Ease: 3.35 ---------------------------------------- Source: ['Die Bereiche, die besonders beachtet werden, sind Menschenrechte, Arbeitsnormen, Bildung und Umweltschutz.'] Prediction: ['Die Bereiche, die besonders beachtet werden, sind Menschenrechte, Arbeitsnormen, Bildung und Umweltschutz.\nDie Bereiche, die besonders beachtet werden, sind Menschenrechte, Arbeitsnormen, Bildung und Umweltschutz.'] Label: [['Besonders beachtet werden Menschenrechte, Arbeitsnormen, Bildung und Umweltschutz.']] Sacrebleu: {'score': 21.54897801937284, 'counts': [10, 8, 6, 5], 'totals': [34, 33, 32, 31], 'precisions': [29.41176470588235, 24.242424242424242, 18.75, 16.129032258064516], 'bp': 1.0, 'sys_len': 34, 'ref_len': 11} Bleu: {'bleu': 0.2154897801937284, 'precisions': [0.29411764705882354, 0.24242424242424243, 0.1875, 0.16129032258064516], 'brevity_penalty': 1.0, 'length_ratio': 3.090909090909091, 'translation_length': 34, 'reference_length': 11} Rouge: {'rouge1': 0.5, 'rouge2': 0.4, 'rougeL': 0.5, 'rougeLsum': 0.5} Sari: {'sari': 64.3926989190147} Flesh Reading Ease: 33.45 ---------------------------------------- Source: ['Tokio ist aktuell die größte Stadt der Welt:'] Prediction: ['In Tokyo ist die größte Stadt der Welt.\nDie grösste Stadt der Welt ist aktuell die grösste Stadt.'] Label: [['Tokio ist die größte Stadt der Welt:']] Sacrebleu: {'score': 23.588448106534212, 'counts': [6, 5, 4, 3], 'totals': [20, 19, 18, 17], 'precisions': [30.0, 26.31578947368421, 22.22222222222222, 17.647058823529413], 'bp': 1.0, 'sys_len': 20, 'ref_len': 8} Bleu: {'bleu': 0.23588448106534202, 'precisions': [0.3, 0.2631578947368421, 0.2222222222222222, 0.17647058823529413], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 20, 'reference_length': 8} Rouge: {'rouge1': 0.48275862068965514, 'rouge2': 0.4444444444444444, 'rougeL': 0.48275862068965514, 'rougeLsum': 0.48275862068965514} Sari: {'sari': 40.78197945845005} Flesh Reading Ease: 94.95 ---------------------------------------- Source: ['Besonders profitiert hat der Buchhandel im Internet:'] Prediction: ['Der Buchhandel profitiert mit einem Buchhandel.\nDer Buchhandel profitiert mit einem Buchhandel.'] Label: [['Besonders hat der Buchhandel im Internet profitiert:']] Sacrebleu: {'score': 3.377156414337854, 'counts': [2, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [14.285714285714286, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 14, 'reference_length': 8} Rouge: {'rouge1': 0.3157894736842105, 'rouge2': 0.11764705882352942, 'rougeL': 0.3157894736842105, 'rougeLsum': 0.3157894736842105} Sari: {'sari': 21.21212121212121} Flesh Reading Ease: 45.3 ---------------------------------------- Source: ['Inzwischen fallen 18 Prozent des Buchumsatzes auf den Online-Handel.'] Prediction: ['Im Buchumsatz fallen 18 Prozent des Buchumsatzes auf den Online-Handel.'] Label: [['18 Prozent des Buchumsatzes entstehen im Online-Handel.']] Sacrebleu: {'score': 27.901593935858266, 'counts': [6, 4, 2, 1], 'totals': [11, 10, 9, 8], 'precisions': [54.54545454545455, 40.0, 22.22222222222222, 12.5], 'bp': 1.0, 'sys_len': 11, 'ref_len': 8} Bleu: {'bleu': 0.27901593935858265, 'precisions': [0.5454545454545454, 0.4, 0.2222222222222222, 0.125], 'brevity_penalty': 1.0, 'length_ratio': 1.375, 'translation_length': 11, 'reference_length': 8} Rouge: {'rouge1': 0.7368421052631579, 'rouge2': 0.47058823529411764, 'rougeL': 0.631578947368421, 'rougeLsum': 0.631578947368421} Sari: {'sari': 55.8068783068783} Flesh Reading Ease: 47.15 ---------------------------------------- Source: ['Viele Kunden kaufen nicht mehr in den Buchläden ein, sondern lassen sich die Ware nach Hause liefern.'] Prediction: ['Die Ware in den Buchläden sind nicht mehr gefunden.\nDie Kunden kaufen nicht mehr in den Buchläden ein.'] Label: [['Viele Kunden kaufen nicht mehr in Buchläden ein.\nSie lassen sich die Ware nach Hause liefern.']] Sacrebleu: {'score': 25.34743707366162, 'counts': [10, 6, 4, 2], 'totals': [20, 19, 18, 17], 'precisions': [50.0, 31.57894736842105, 22.22222222222222, 11.764705882352942], 'bp': 1.0, 'sys_len': 20, 'ref_len': 18} Bleu: {'bleu': 0.2534743707366162, 'precisions': [0.5, 0.3157894736842105, 0.2222222222222222, 0.11764705882352941], 'brevity_penalty': 1.0, 'length_ratio': 1.1111111111111112, 'translation_length': 20, 'reference_length': 18} Rouge: {'rouge1': 0.5405405405405405, 'rouge2': 0.39999999999999997, 'rougeL': 0.4324324324324324, 'rougeLsum': 0.5405405405405405} Sari: {'sari': 30.39464302944695} Flesh Reading Ease: 83.25 ---------------------------------------- Source: ['Die Staatsministerin für Kultur und Medien, Monika Grütters, bezeichnet die Buchhändler als „Überzeugungstäter aus Liebe zum Buch“. Sie gelten „als Fürsprecher auch unbekannter Autorinnen und Autoren und als Botschafter unabhängiger Verlage.'] Prediction: ['Monika Grütters, Staatsministerin für Kultur und Medien, bezeichnet die Buchhändler als Überzeugungstäter aus Liebe zum Buch.\nSie gelten "als Fürsprecher auch unbekannter Autorinnen und Autoren und als Botschafter unabhängiger Verlage".'] Label: [['Die Staatsministerin für Kultur und Medien, Monika Grütters, bezeichnet die Buchhändler „als Fürsprecher auch unbekannter Autorinnen und Autoren und als Botschafter unabhängiger Verlage.']] Sacrebleu: {'score': 50.52947267973926, 'counts': [24, 20, 16, 12], 'totals': [36, 35, 34, 33], 'precisions': [66.66666666666667, 57.142857142857146, 47.05882352941177, 36.36363636363637], 'bp': 1.0, 'sys_len': 36, 'ref_len': 26} Bleu: {'bleu': 0.5052947267973926, 'precisions': [0.6666666666666666, 0.5714285714285714, 0.47058823529411764, 0.36363636363636365], 'brevity_penalty': 1.0, 'length_ratio': 1.3846153846153846, 'translation_length': 36, 'reference_length': 26} Rouge: {'rouge1': 0.8437499999999999, 'rouge2': 0.7741935483870968, 'rougeL': 0.75, 'rougeLsum': 0.75} Sari: {'sari': 44.743161644408666} Flesh Reading Ease: 30.45 ---------------------------------------- Source: ['“ Sie wecken oft erst die Lesebegeisterung und zeigen was es neben den Bestsellerlisten noch gibt.'] Prediction: ['Die besten Schweizer bestsellersten weisen oft erst die Lesebegeisterung.\nSie wecken oft erst die Lesebegeisterung.'] Label: [['“ Sie wecken oft erst die Begeisterung für das Lesen.']] Sacrebleu: {'score': 22.407508680204355, 'counts': [6, 4, 3, 2], 'totals': [17, 16, 15, 14], 'precisions': [35.294117647058826, 25.0, 20.0, 14.285714285714286], 'bp': 1.0, 'sys_len': 17, 'ref_len': 11} Bleu: {'bleu': 0.2240750868020436, 'precisions': [0.35294117647058826, 0.25, 0.2, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 1.5454545454545454, 'translation_length': 17, 'reference_length': 11} Rouge: {'rouge1': 0.4, 'rouge2': 0.34782608695652173, 'rougeL': 0.4, 'rougeLsum': 0.4} Sari: {'sari': 55.8423520923521} Flesh Reading Ease: 37.95 ---------------------------------------- Source: ['Die bekannteste deutsche Rockband sind die Scorpions, die vor allem im Ausland große Erfolge feierten.'] Prediction: ['Die bekannteste deutsche Rockband sind die Scorpions.\nDie bekannteste deutsche Rockband sind die Scorpions, die vor allem im Ausland große Erfolge feierten.'] Label: [['Die bekannteste deutsche Rockband sind die Scorpions, die vor allem im Ausland Erfolg hatten.']] Sacrebleu: {'score': 49.6706736311865, 'counts': [14, 12, 11, 10], 'totals': [25, 24, 23, 22], 'precisions': [56.0, 50.0, 47.82608695652174, 45.45454545454545], 'bp': 1.0, 'sys_len': 25, 'ref_len': 16} Bleu: {'bleu': 0.4967067363118649, 'precisions': [0.56, 0.5, 0.4782608695652174, 0.45454545454545453], 'brevity_penalty': 1.0, 'length_ratio': 1.5625, 'translation_length': 25, 'reference_length': 16} Rouge: {'rouge1': 0.6486486486486486, 'rouge2': 0.6285714285714286, 'rougeL': 0.6486486486486486, 'rougeLsum': 0.6486486486486486} Sari: {'sari': 61.87932437932437} Flesh Reading Ease: 52.0 ---------------------------------------- Source: ['Rockmusik, zu der auch Metal und Punk gezählt werden, lag im Umsatz bei knapp 22 Prozent.'] Prediction: ['Die Schweizer Welt hat mit den meisten Punkern einen Umsatz verloren.\nDie Schweizer Welt hat mit 22 Prozent eine neue Welt geschlossen.\nDie Schweizer Welt hat mit 22 Prozent einen Punk-Sturz geklaut.'] Label: [['Rockmusik, zu der auch Metal und Punk gezählt werden, lag beim Umsatz bei knapp 22 Prozent.']] Sacrebleu: {'score': 2.5115381601394384, 'counts': [4, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [11.428571428571429, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.11428571428571428, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8421052631578947, 'translation_length': 35, 'reference_length': 19} Rouge: {'rouge1': 0.16, 'rouge2': 0.041666666666666664, 'rougeL': 0.12000000000000001, 'rougeLsum': 0.12000000000000001} Sari: {'sari': 9.140247007894066} Flesh Reading Ease: 87.4 ---------------------------------------- Source: ['Rockmusik klingt wesentlich härter im Vergleich zu Schlager oder auch Pop.'] Prediction: ['Die Schweizer Musikerin Andrea Marzini (34) ist ein neuer Song.\nDie Zürcherin veröffentlicht ihre neue Single "Unchained".\nDie Zürcherin hat sich mit ihrem neuen Song "Unchained" zu Gast gekürt.'] Label: [['Rockmusik klingt härter als Popmusik.']] Sacrebleu: {'score': 0.969094302009921, 'counts': [1, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [2.6315789473684212, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.02631578947368421, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.333333333333333, 'translation_length': 38, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 49.520202020202014} Flesh Reading Ease: 59.15 ---------------------------------------- Source: ['Deshalb wurde sie als „Rock“ bezeichnet, das englische Wort für „Felsen“.'] Prediction: ['Deshalb wurde als "Rock“ bezeichnet, das englische Wort für die Schweizer Band ist.\nDie Zürcher Band veröffentlicht einen neuen Song.'] Label: [['Die Bezeichnung „Rock“ kommt aus dem Englischen und heißt „Felsen“.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1818181818181817, 'translation_length': 24, 'reference_length': 11} Rouge: {'rouge1': 0.1176470588235294, 'rouge2': 0.0, 'rougeL': 0.0588235294117647, 'rougeLsum': 0.0588235294117647} Sari: {'sari': 28.54813315339631} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Hip-Hop entstand in den 70er Jahren und hat seine Wurzeln in der schwarzen Funk- und Soul-Musik.'] Prediction: ['Hip-Hop ist ein internationaler Form.\nDie Schweizer Welt hat seine Wurzeln in der schwarzen Funk und Soul-Musik.'] Label: [['Hip-Hop entstand in den 70er Jahren.']] Sacrebleu: {'score': 2.6643211213888947, 'counts': [3, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7142857142857144, 'translation_length': 19, 'reference_length': 7} Rouge: {'rouge1': 0.23076923076923078, 'rouge2': 0.08333333333333333, 'rougeL': 0.23076923076923078, 'rougeLsum': 0.23076923076923078} Sari: {'sari': 20.08643861585038} Flesh Reading Ease: 60.35 ---------------------------------------- Source: ['Über 1.000 Betriebe ernten in der Region etwa 250.000 Tonnen pro Jahr.'] Prediction: ['In der Schweiz wurden über 1.000 Betriebe mit 250.000 Tonnen pro Jahr gefeiert.\nDie Betriebe ernten 250.000 Tonnen pro Jahr.'] Label: [['Es gibt über 1.000 Apfelbauern in der Region.\nSie ernten jedes Jahr im Herbst ungefähr 250.000 Tonnen Äpfel.']] Sacrebleu: {'score': 5.983278752571241, 'counts': [9, 2, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [40.90909090909091, 9.523809523809524, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.4090909090909091, 0.09523809523809523, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1, 'translation_length': 22, 'reference_length': 20} Rouge: {'rouge1': 0.4545454545454545, 'rouge2': 0.23809523809523808, 'rougeL': 0.31818181818181823, 'rougeLsum': 0.31818181818181823} Sari: {'sari': 37.202380952380956} Flesh Reading Ease: 88.25 ---------------------------------------- Source: ['Im Jahr 2017 war es im Frühling zur Zeit der Apfelblüte sehr kalt und feucht, weshalb in jenem Jahr deutlich weniger Äpfel an den Bäumen wuchsen.'] Prediction: ['2017 wurde der Apfelblüte in der Schweiz sehr kalt und feucht.\nDer Verkaufspartner wurde bereits in der Schweiz weniger Äpfel an den Bäumen gesucht.'] Label: [['Im Jahr 2017 gab es leider eine schlechte Ernte.\nIm Frühling zur Zeit der Apfelblüte war es sehr kalt.\nAußerdem hat es viel geregnet.\nDeshalb gab es in jenem Jahr deutlich weniger Äpfel.']] Sacrebleu: {'score': 3.724386426757373, 'counts': [10, 3, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [38.46153846153846, 12.0, 2.0833333333333335, 1.0869565217391304], 'bp': 0.6550282443857736, 'sys_len': 26, 'ref_len': 37} Bleu: {'bleu': 0.0, 'precisions': [0.38461538461538464, 0.12, 0.0, 0.0], 'brevity_penalty': 0.6550282443857737, 'length_ratio': 0.7027027027027027, 'translation_length': 26, 'reference_length': 37} Rouge: {'rouge1': 0.2903225806451613, 'rouge2': 0.13333333333333333, 'rougeL': 0.2903225806451613, 'rougeLsum': 0.2903225806451613} Sari: {'sari': 23.099108064278344} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['Das milde Klima sorgt normalerweise für eine reiche Ernte im Herbst.'] Prediction: ['Das milde Klima sorgt für eine reiche Ernte im Herbst.\nEs ist ein milder Teil der Klima.'] Label: [['Das milde Klima sorgt normalerweise für eine reiche Ernte.']] Sacrebleu: {'score': 26.104909033290696, 'counts': [9, 6, 4, 2], 'totals': [19, 18, 17, 16], 'precisions': [47.36842105263158, 33.333333333333336, 23.529411764705884, 12.5], 'bp': 1.0, 'sys_len': 19, 'ref_len': 10} Bleu: {'bleu': 0.26104909033290696, 'precisions': [0.47368421052631576, 0.3333333333333333, 0.23529411764705882, 0.125], 'brevity_penalty': 1.0, 'length_ratio': 1.9, 'translation_length': 19, 'reference_length': 10} Rouge: {'rouge1': 0.6428571428571429, 'rouge2': 0.5384615384615384, 'rougeL': 0.6428571428571429, 'rougeLsum': 0.6428571428571429} Sari: {'sari': 20.81741787624141} Flesh Reading Ease: 89.6 ---------------------------------------- Source: ['Die Erdbeerzeit beginnt je nach Witterung normalerweise im Mai und endet im Juni. Eltern gehen gern mit ihren Kindern auf die Erdbeerfelder.'] Prediction: ['Die Erdbeerzeit beginnt im Mai und endet im Juni.\nEltern gehen gern mit ihren Kindern auf die Erdbeerfelder.'] Label: [['Während der Erdbeerzeit im Frühjahr gehen Eltern gern mit ihren Kindern auf die Erdbeerfelder.']] Sacrebleu: {'score': 38.36841681691307, 'counts': [12, 7, 6, 5], 'totals': [20, 19, 18, 17], 'precisions': [60.0, 36.8421052631579, 33.333333333333336, 29.41176470588235], 'bp': 1.0, 'sys_len': 20, 'ref_len': 15} Bleu: {'bleu': 0.38368416816913054, 'precisions': [0.6, 0.3684210526315789, 0.3333333333333333, 0.29411764705882354], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 20, 'reference_length': 15} Rouge: {'rouge1': 0.6470588235294118, 'rouge2': 0.37500000000000006, 'rougeL': 0.5882352941176471, 'rougeLsum': 0.5882352941176471} Sari: {'sari': 53.295055821371605} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Zu den beliebtesten heimischen Früchten gehören Erdbeeren, die allerdings nur relativ kurze Zeit geerntet werden.'] Prediction: ['Erdogan gehören nur relativ kurze Zeit.\nDer Erdbeeren gehören nur relativ kurze Zeit.'] Label: [['Zu den beliebtesten heimischen Früchten gehören Erdbeeren.\nMan kann sie leider nur für kurze Zeit ernten.']] Sacrebleu: {'score': 5.885822266254752, 'counts': [7, 1, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [46.666666666666664, 7.142857142857143, 3.8461538461538463, 2.0833333333333335], 'bp': 0.8187307530779819, 'sys_len': 15, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.4666666666666667, 0.07142857142857142, 0.0, 0.0], 'brevity_penalty': 0.8187307530779819, 'length_ratio': 0.8333333333333334, 'translation_length': 15, 'reference_length': 18} Rouge: {'rouge1': 0.35294117647058826, 'rouge2': 0.125, 'rougeL': 0.35294117647058826, 'rougeLsum': 0.29411764705882354} Sari: {'sari': 26.773504273504265} Flesh Reading Ease: 50.65 ---------------------------------------- Source: ['2014 war Frau Merkel an Rosenmontag als „intergalaktische Kanzlerin“ auf einem Mottowagen in Köln unterwegs, in Mainz tippte sie eine Textnachricht in ihr Mobiltelefon - Uncle Sam schaute ihr dabei über die Schulter.'] Prediction: ['Die Frau hat sich 2014 als "intergalaktische Kanzlerin" auf einem Mottowagen unterwegs.\nUnter anderem war sie in einem Video auf Social Media gesprochen.\nUnter anderem war sie in einem Video auf Social Media gesprochen.'] Label: [['2014 war Frau Merkel an Rosenmontag als „intergalaktische Kanzlerin“ auf einem Mottowagen in Köln unterwegs, in Mainz tippte sie eine Textnachricht in ihr Mobiltelefon - Uncle Sam stand natürlich dabei.']] Sacrebleu: {'score': 4.965433893917862, 'counts': [12, 2, 1, 0], 'totals': [39, 38, 37, 36], 'precisions': [30.76923076923077, 5.2631578947368425, 2.7027027027027026, 1.3888888888888888], 'bp': 1.0, 'sys_len': 39, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.3076923076923077, 0.05263157894736842, 0.02702702702702703, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.21875, 'translation_length': 39, 'reference_length': 32} Rouge: {'rouge1': 0.39999999999999997, 'rouge2': 0.15873015873015872, 'rougeL': 0.3384615384615384, 'rougeLsum': 0.3384615384615384} Sari: {'sari': 13.26569833783296} Flesh Reading Ease: 51.7 ---------------------------------------- Source: ['40 Tage vor Ostern geht es in vielen Städten von Weiberfastnacht bis Aschermittwoch vor allem am Rosenmontag bunt und laut zu.'] Prediction: ['Weiberfastnacht geht es in vielen Städten bis Aschermittwoch bunt und laut zu.\nBis Aschermittwoch geht es in vielen Städten bunt und laut zu.'] Label: [['40 Tage vor Ostern geht es in vielen Städten vor allem am Rosenmontag bunt und laut zu.']] Sacrebleu: {'score': 28.20004915753773, 'counts': [10, 8, 6, 4], 'totals': [25, 24, 23, 22], 'precisions': [40.0, 33.333333333333336, 26.08695652173913, 18.181818181818183], 'bp': 1.0, 'sys_len': 25, 'ref_len': 18} Bleu: {'bleu': 0.28200049157537727, 'precisions': [0.4, 0.3333333333333333, 0.2608695652173913, 0.18181818181818182], 'brevity_penalty': 1.0, 'length_ratio': 1.3888888888888888, 'translation_length': 25, 'reference_length': 18} Rouge: {'rouge1': 0.46511627906976744, 'rouge2': 0.39024390243902435, 'rougeL': 0.46511627906976744, 'rougeLsum': 0.46511627906976744} Sari: {'sari': 39.489439324116745} Flesh Reading Ease: 80.75 ---------------------------------------- Source: ['Aber auch in vielen anderen Städten gibt es Veranstaltungen mit „Büttenreden“, bei denen die Obrigkeit bissige Seitenhiebe abbekommt.'] Prediction: ['In den Obrigenden werden in der Schweiz bissige Seitenhiebe abbekommt.\nDie Obrigkeit wird bissig abbekommt.'] Label: [['In vielen Städten gibt es „Büttenreden“ mit Seitenhieben auf die Obrigkeit.']] Sacrebleu: {'score': 3.0098043843528286, 'counts': [3, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [17.647058823529413, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4166666666666667, 'translation_length': 17, 'reference_length': 12} Rouge: {'rouge1': 0.21428571428571427, 'rouge2': 0.07692307692307691, 'rougeL': 0.21428571428571427, 'rougeLsum': 0.21428571428571427} Sari: {'sari': 33.304581447963805} Flesh Reading Ease: 49.65 ---------------------------------------- Source: ['Doch die Preußen waren den Kölnern nicht sehr sympathisch und daher schnell ein Ziel von Spott und Spaß.'] Prediction: ['Die Preußen sind schnell sympathisch.\nDoch die Kölner waren schnell ein Ziel von Spott und Spaß.'] Label: [['Doch die Preußen waren den Kölnern nicht sehr sympathisch und daher schnell ein Ziel von Spott.']] Sacrebleu: {'score': 26.46015952359329, 'counts': [12, 5, 3, 2], 'totals': [18, 17, 16, 15], 'precisions': [66.66666666666667, 29.41176470588235, 18.75, 13.333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 17} Bleu: {'bleu': 0.2646015952359329, 'precisions': [0.6666666666666666, 0.29411764705882354, 0.1875, 0.13333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.0588235294117647, 'translation_length': 18, 'reference_length': 17} Rouge: {'rouge1': 0.7222222222222222, 'rouge2': 0.4117647058823529, 'rougeL': 0.5, 'rougeLsum': 0.6111111111111112} Sari: {'sari': 15.185185185185187} Flesh Reading Ease: 95.95 ---------------------------------------- Source: ['Viele Karnevalsgruppen tragen in den Straßenumzügen Fantasieuniformen, die an die preußischen Uniformen erinnern, dazu Holzgewehre, in deren Lauf Blumen stecken.'] Prediction: ['Karnevalsgruppen tragen in den Straßenumzügen Fantasieuniformen.\nDie Karnevalsgruppen tragen dazu Holzgewehre, in deren Lauf Blumen stecken.'] Label: [['Viele Karnevalsgruppen tragen in den Straßenumzügen Fantasieuniformen, die an die preußischen Uniformen erinnern.\nDazu tragen sie Holzgewehre, die mit Blumen geschmückt sind.']] Sacrebleu: {'score': 21.477140237444164, 'counts': [12, 6, 4, 3], 'totals': [19, 18, 17, 16], 'precisions': [63.1578947368421, 33.333333333333336, 23.529411764705884, 18.75], 'bp': 0.6918258252705171, 'sys_len': 19, 'ref_len': 26} Bleu: {'bleu': 0.21477140237444164, 'precisions': [0.631578947368421, 0.3333333333333333, 0.23529411764705882, 0.1875], 'brevity_penalty': 0.6918258252705171, 'length_ratio': 0.7307692307692307, 'translation_length': 19, 'reference_length': 26} Rouge: {'rouge1': 0.5909090909090908, 'rouge2': 0.38095238095238104, 'rougeL': 0.5454545454545455, 'rougeLsum': 0.5454545454545455} Sari: {'sari': 21.591069809252126} Flesh Reading Ease: 14.05 ---------------------------------------- Source: ['Berlin, Hamburg, München und Köln sind Millionenstädte, d. h. hier wohnen mehr als eine Million Einwohner.'] Prediction: ['Die Millionen-Städte in der Schweiz sind in mehreren europäischen Ländern.\nDie meisten Ländern sind in mehreren Ländern.\nDie meisten Ländern sind in mehreren Ländern.'] Label: [['Berlin, Hamburg, München und Köln sind Millionenstädte.\nHier wohnen mehr als eine Million Einwohner.']] Sacrebleu: {'score': 1.826472886268134, 'counts': [3, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [11.11111111111111, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 27, 'reference_length': 18} Rouge: {'rouge1': 0.08163265306122448, 'rouge2': 0.0, 'rougeL': 0.04081632653061224, 'rougeLsum': 0.04081632653061224} Sari: {'sari': 11.084395015316069} Flesh Reading Ease: 60.85 ---------------------------------------- Source: ['Sie entstanden aus alten römischen Siedlungen wie Köln, wurden um eine Burg oder ein Kloster gebaut wie etwa München oder sie entstanden als größere Siedlungen von Kaufleuten wie Hamburg.'] Prediction: ['In der Schweiz entstanden mehrere grössere Siedlungen.\nSie entstanden aus alten römischen Siedlungen wie Köln, wurden um eine Burg oder ein Kloster gebaut wie etwa München oder sie entstanden als größere Siedlungen von Kaufleuten wie Hamburg.'] Label: [['Sie entstanden aus alten römischen Siedlungen wie Köln.\nAndere wurden um eine Burg oder ein Kloster gebaut wie München oder sie entstanden als größere Siedlungen von Kaufleuten wie Hamburg.']] Sacrebleu: {'score': 65.29425958294773, 'counts': [30, 26, 23, 20], 'totals': [39, 38, 37, 36], 'precisions': [76.92307692307692, 68.42105263157895, 62.16216216216216, 55.55555555555556], 'bp': 1.0, 'sys_len': 39, 'ref_len': 31} Bleu: {'bleu': 0.6529425958294773, 'precisions': [0.7692307692307693, 0.6842105263157895, 0.6216216216216216, 0.5555555555555556], 'brevity_penalty': 1.0, 'length_ratio': 1.2580645161290323, 'translation_length': 39, 'reference_length': 31} Rouge: {'rouge1': 0.8648648648648648, 'rouge2': 0.8055555555555555, 'rougeL': 0.8648648648648648, 'rougeLsum': 0.8648648648648648} Sari: {'sari': 63.351733143399805} Flesh Reading Ease: 56.7 ---------------------------------------- Source: ['Hier siedelten sich auch viele Handwerker an, es kamen immer mehr Kaufleute hinzu, und so wuchsen die Städte, große wie kleine.'] Prediction: ['Ein Kaufleute-Kaufleute-Kaufleute wurde in der Schweiz geschickt.\nDie Städte wurden große wie kleine.'] Label: [['Hier siedelten sich auch viele Handwerker an.\nEs kamen immer mehr Kaufleute hinzu, und so wuchsen die Städte.']] Sacrebleu: {'score': 2.318363625143845, 'counts': [3, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [20.0, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.6703200460356393, 'sys_len': 15, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6703200460356393, 'length_ratio': 0.7142857142857143, 'translation_length': 15, 'reference_length': 21} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.11764705882352941, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 10.265747324570855} Flesh Reading Ease: 50.65 ---------------------------------------- Source: ['Und gerade die Kleinstädte – sie haben zwischen 5.000 und 20.000 Einwohner – sind oft die schönsten mit viel mittelalterlichem Flair und tollen historischen Gebäuden.'] Prediction: ['Die Schweizer Grenze hat sich mit viel mittelalterlichem Flair verloren.\nDie Grenze sind oft die schönsten mit viel mittelalterlichem Flair.'] Label: [['Und gerade die Kleinstädte – sie haben zwischen 5.000 und 20.000 Einwohner – sind oft die schönsten.']] Sacrebleu: {'score': 11.433361115787452, 'counts': [5, 3, 2, 1], 'totals': [22, 21, 20, 19], 'precisions': [22.727272727272727, 14.285714285714286, 10.0, 5.2631578947368425], 'bp': 1.0, 'sys_len': 22, 'ref_len': 18} Bleu: {'bleu': 0.11433361115787453, 'precisions': [0.22727272727272727, 0.14285714285714285, 0.1, 0.05263157894736842], 'brevity_penalty': 1.0, 'length_ratio': 1.2222222222222223, 'translation_length': 22, 'reference_length': 18} Rouge: {'rouge1': 0.3, 'rouge2': 0.2105263157894737, 'rougeL': 0.3, 'rougeLsum': 0.3} Sari: {'sari': 17.19182641665479} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Mit dem Osterfest feiern Christen die Auferstehung Jesu.'] Prediction: ['Mit dem Osterfest feiern Christen die Auferstehung Jesu.\nDie Frau war mit ihrem Partner aus der Schweiz.\nSie war mit ihrem Partnern auf der Suche.'] Label: [['Mit dem Osterfest feiern Christen die Auferstehung von Jesus.']] Sacrebleu: {'score': 21.023693683267553, 'counts': [8, 6, 5, 4], 'totals': [28, 27, 26, 25], 'precisions': [28.571428571428573, 22.22222222222222, 19.23076923076923, 16.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 10} Bleu: {'bleu': 0.2102369368326755, 'precisions': [0.2857142857142857, 0.2222222222222222, 0.19230769230769232, 0.16], 'brevity_penalty': 1.0, 'length_ratio': 2.8, 'translation_length': 28, 'reference_length': 10} Rouge: {'rouge1': 0.4117647058823529, 'rouge2': 0.375, 'rougeL': 0.4117647058823529, 'rougeLsum': 0.4117647058823529} Sari: {'sari': 61.930438842203536} Flesh Reading Ease: 83.95 ---------------------------------------- Source: ['In Deutschland und vielen anderen Ländern ist das Osterfest von vielen Bräuchen und Traditionen geprägt.'] Prediction: ['In Deutschland ist das Osterfest von vielen Bräuchen und Traditionen geprägt.\nIn vielen anderen Ländern ist das Osterfest von vielen Bräuchen und Traditionen geprägt.'] Label: [['In Deutschland und vielen anderen Ländern hat das Osterfest viele Bräuche und Traditionen.']] Sacrebleu: {'score': 9.356643117452581, 'counts': [11, 5, 1, 0], 'totals': [26, 25, 24, 23], 'precisions': [42.30769230769231, 20.0, 4.166666666666667, 2.1739130434782608], 'bp': 1.0, 'sys_len': 26, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.4230769230769231, 0.2, 0.041666666666666664, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 26, 'reference_length': 14} Rouge: {'rouge1': 0.5454545454545454, 'rouge2': 0.2857142857142857, 'rougeL': 0.5454545454545454, 'rougeLsum': 0.5} Sari: {'sari': 20.34869976359338} Flesh Reading Ease: 51.0 ---------------------------------------- Source: ['Der OsterhaseIn den deutschsprachigen Ländern suchen Kinder am Ostersonntag bunt bemalte Eier, Süßigkeiten und auch kleine Geschenke, die vom Osterhasen versteckt werden.'] Prediction: ['In den deutschsprachigen Ländern suchen Kinder am Ostersonntag bemalte Eier, Süßigkeiten und auch kleine Geschenke.\nDer Osterhase ist eine grosse Geschenke, die vom Osterhasen versteckt werden soll.'] Label: [['In den deutschsprachigen Ländern suchen Kinder am Ostersonntag bunt bemalte Eier, Süßigkeiten und auch kleine Geschenke, die der Osterhase versteckt.']] Sacrebleu: {'score': 49.04118018080795, 'counts': [21, 16, 13, 10], 'totals': [31, 30, 29, 28], 'precisions': [67.74193548387096, 53.333333333333336, 44.827586206896555, 35.714285714285715], 'bp': 1.0, 'sys_len': 31, 'ref_len': 23} Bleu: {'bleu': 0.49041180180807975, 'precisions': [0.6774193548387096, 0.5333333333333333, 0.4482758620689655, 0.35714285714285715], 'brevity_penalty': 1.0, 'length_ratio': 1.3478260869565217, 'translation_length': 31, 'reference_length': 23} Rouge: {'rouge1': 0.823529411764706, 'rouge2': 0.6938775510204083, 'rougeL': 0.7843137254901961, 'rougeLsum': 0.7450980392156864} Sari: {'sari': 49.62538862717647} Flesh Reading Ease: 43.65 ---------------------------------------- Source: ['In Westfalen oder Hannover war es lange Zeit der Fuchs, in der Schweiz der Kuckuck, in Schleswig-Holstein, Oberbayern und Österreich der Hahn, in Thüringen der Storch.'] Prediction: ['In Westfalen oder Hannover war es lange Zeit der Fuchs.\nIn der Schweiz der Kuckuck war es in Schleswig-Holstein, Oberbayern und Österreich der Hahn.\nIn Thüringen der Storch war es lange Zeit der Fuchs.'] Label: [['In Westfalen oder Hannover war es lange Zeit der Fuchs, in der Schweiz der Kuckuck, in Schleswig-Holstein, Oberbayern und Österreich der Hahn.']] Sacrebleu: {'score': 49.8591339693519, 'counts': [23, 20, 17, 14], 'totals': [38, 37, 36, 35], 'precisions': [60.526315789473685, 54.054054054054056, 47.22222222222222, 40.0], 'bp': 1.0, 'sys_len': 38, 'ref_len': 26} Bleu: {'bleu': 0.49859133969351915, 'precisions': [0.6052631578947368, 0.5405405405405406, 0.4722222222222222, 0.4], 'brevity_penalty': 1.0, 'length_ratio': 1.4615384615384615, 'translation_length': 38, 'reference_length': 26} Rouge: {'rouge1': 0.7796610169491525, 'rouge2': 0.7368421052631579, 'rougeL': 0.7796610169491525, 'rougeLsum': 0.7796610169491525} Sari: {'sari': 51.07168221870685} Flesh Reading Ease: 80.95 ---------------------------------------- Source: ['Für Kinder verstecken die Eltern diese Eier und natürlich auch Schokoladeneier im Haus und im Garten. Das Ostereiersuchen ist ein großer Spaß für Alt und Jung.'] Prediction: ['Schokoladeneier und Spaß sind für Kinder.\nDas Ostereiersuchen ist ein großer Spaß für Alt und Jung.'] Label: [['Für Kinder verstecken die Eltern diese Eier und natürlich auch Schokoladeneier im Haus und im Garten, das Ostereiersuchen ist ein großer Spaß für alle.']] Sacrebleu: {'score': 19.741631775244883, 'counts': [11, 5, 4, 3], 'totals': [18, 17, 16, 15], 'precisions': [61.111111111111114, 29.41176470588235, 25.0, 20.0], 'bp': 0.6411803884299546, 'sys_len': 18, 'ref_len': 26} Bleu: {'bleu': 0.19741631775244883, 'precisions': [0.6111111111111112, 0.29411764705882354, 0.25, 0.2], 'brevity_penalty': 0.6411803884299546, 'length_ratio': 0.6923076923076923, 'translation_length': 18, 'reference_length': 26} Rouge: {'rouge1': 0.6382978723404255, 'rouge2': 0.4444444444444445, 'rougeL': 0.5106382978723404, 'rougeLsum': 0.46808510638297873} Sari: {'sari': 17.53654201512851} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Klassische Unternehmen streben danach, ihren Gewinn zu vergrößern und zu expandieren.'] Prediction: ['Klassische Unternehmen streben einen Gewinn zu vergrößern und zu expandieren.\nDas ist ein grosser Unternehmen-Gewinn.'] Label: [['Klassische Unternehmen wollen ihren Gewinn vergrößern und expandieren.']] Sacrebleu: {'score': 8.233514927922947, 'counts': [7, 3, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 18.75, 3.3333333333333335, 1.7857142857142858], 'bp': 1.0, 'sys_len': 17, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.4117647058823529, 0.1875, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8888888888888888, 'translation_length': 17, 'reference_length': 9} Rouge: {'rouge1': 0.5384615384615384, 'rouge2': 0.25, 'rougeL': 0.5384615384615384, 'rougeLsum': 0.5384615384615384} Sari: {'sari': 39.501633986928105} Flesh Reading Ease: 43.8 ---------------------------------------- Source: ['Geschäftsmodell mit sozialem Bezug ist die Ausstellung „Dialog im Dunkeln“.'] Prediction: ['Die Schweizerische Geschäfts-Österreichschaft hat einen neuen Ausstellungsmodell lanciert.\nIm Interview mit 20 Minuten spricht sich über die Geschäfts-Österreichschaft über Dialog.'] Label: [['Ein Geschäftsmodell mit sozialem Bezug ist die Ausstellung „Dialog im Dunkeln“.']] Sacrebleu: {'score': 2.2731543567022867, 'counts': [3, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [13.636363636363637, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.13636363636363635, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 22, 'reference_length': 12} Rouge: {'rouge1': 0.2777777777777778, 'rouge2': 0.0, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 4.444444444444445} Flesh Reading Ease: 41.3 ---------------------------------------- Source: ['In komplett abgedunkelten Räumen führen blinde Menschen das Publikum zum Beispiel durch einen Park oder eine Stadt.'] Prediction: ['In komplett abgedunkelten Räumen führen blinde Menschen das Publikum zum Beispiel durch einen Park oder eine Stadt.\nIn komplett abgedunkelten Räumen führen blinde Menschen das Publikum zum Beispiel durch einen Park oder eine Stadt.'] Label: [['In komplett dunklen Räumen führen blinde Menschen das Publikum zum Beispiel durch einen Park oder eine Stadt.']] Sacrebleu: {'score': 40.956736513065295, 'counts': [17, 15, 13, 12], 'totals': [36, 35, 34, 33], 'precisions': [47.22222222222222, 42.857142857142854, 38.23529411764706, 36.36363636363637], 'bp': 1.0, 'sys_len': 36, 'ref_len': 18} Bleu: {'bleu': 0.4095673651306528, 'precisions': [0.4722222222222222, 0.42857142857142855, 0.38235294117647056, 0.36363636363636365], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 36, 'reference_length': 18} Rouge: {'rouge1': 0.631578947368421, 'rouge2': 0.5818181818181818, 'rougeL': 0.631578947368421, 'rougeLsum': 0.631578947368421} Sari: {'sari': 64.11974320379493} Flesh Reading Ease: 57.7 ---------------------------------------- Source: ['Blind erleben die Besucher die Alltagssituationen von Blinden, die geprägt ist von Geräuschen, Gerüchen und Tasten.'] Prediction: ['Die Alltagssituationen von Blinden sind geprägt von Geräuschen, Gerüchen und Tasten.\nDie Besucher erleben die Alltagssituationen von Blinden.'] Label: [['Blind erleben die Besucher die Alltagssituationen von Blinden.']] Sacrebleu: {'score': 19.554016376461796, 'counts': [7, 5, 3, 2], 'totals': [21, 20, 19, 18], 'precisions': [33.333333333333336, 25.0, 15.789473684210526, 11.11111111111111], 'bp': 1.0, 'sys_len': 21, 'ref_len': 9} Bleu: {'bleu': 0.19554016376461797, 'precisions': [0.3333333333333333, 0.25, 0.15789473684210525, 0.1111111111111111], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 21, 'reference_length': 9} Rouge: {'rouge1': 0.48275862068965514, 'rouge2': 0.37037037037037035, 'rougeL': 0.4137931034482759, 'rougeLsum': 0.4137931034482759} Sari: {'sari': 41.00451910796738} Flesh Reading Ease: 36.45 ---------------------------------------- Source: ['Das soziale Geschäftsmodell veranstaltet jetzt zahlreiche Ausstellungen in 32 Ländern.'] Prediction: ['Die soziale Geschäftsmodell veranstaltet zahlreiche Ausstellungen in 32 Ländern.\nDie soziale Geschäftsmodell veranstaltet jetzt zahlreiche Ausstellungen in 32 Ländern.'] Label: [['Das Geschäftsmodell hat jetzt zahlreiche Ausstellungen in 32 Ländern.']] Sacrebleu: {'score': 28.592291256793107, 'counts': [8, 6, 5, 4], 'totals': [21, 20, 19, 18], 'precisions': [38.095238095238095, 30.0, 26.31578947368421, 22.22222222222222], 'bp': 1.0, 'sys_len': 21, 'ref_len': 10} Bleu: {'bleu': 0.28592291256793106, 'precisions': [0.38095238095238093, 0.3, 0.2631578947368421, 0.2222222222222222], 'brevity_penalty': 1.0, 'length_ratio': 2.1, 'translation_length': 21, 'reference_length': 10} Rouge: {'rouge1': 0.5294117647058824, 'rouge2': 0.4375, 'rougeL': 0.5294117647058824, 'rougeLsum': 0.5294117647058824} Sari: {'sari': 51.155072997178266} Flesh Reading Ease: 24.25 ---------------------------------------- Source: ['Viele Sozialunternehmen finden sich im Bereich der Bildung (Wikipedia) oder der Kultur, einige in der Pflege oder in der Jugendhilfe, aber auch im Bankenwesen (Grameen Bank in Bangladesh).Inzwischen ist jedes vierte in der Europäischen Union neu gegründete Unternehmen ein Sozialunternehmen.'] Prediction: ['In der Europäischen Union ist neu gegründete Unternehmen ein Sozialunternehmen.\nInzwischen ist jedes vierte in der Europäischen Union neu gegründete Unternehmen ein Sozialunternehmen.'] Label: [['Inzwischen ist jedes vierte in der Europäischen Union neu gegründete Unternehmen ein soziales Unternehmen.']] Sacrebleu: {'score': 46.2237702360567, 'counts': [14, 11, 10, 9], 'totals': [25, 24, 23, 22], 'precisions': [56.0, 45.833333333333336, 43.47826086956522, 40.90909090909091], 'bp': 1.0, 'sys_len': 25, 'ref_len': 15} Bleu: {'bleu': 0.4622377023605667, 'precisions': [0.56, 0.4583333333333333, 0.43478260869565216, 0.4090909090909091], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 25, 'reference_length': 15} Rouge: {'rouge1': 0.6976744186046512, 'rouge2': 0.6341463414634146, 'rougeL': 0.6511627906976744, 'rougeLsum': 0.6511627906976744} Sari: {'sari': 61.827306680247865} Flesh Reading Ease: 16.4 ---------------------------------------- Source: ['Kinder, das wissen mehrsprachige Eltern und das ist wissenschaftlich erwiesen, können mehrere Sprachen gleichzeitig erwerben.'] Prediction: ['Einige Sprachen können gleichzeitig erwerben.\nDas wissen mehrsprachige Eltern und das ist wissenschaftlich erwiesen.'] Label: [['Kinder, können mehrere Sprachen gleichzeitig erwerben, das können mehrsprachige Eltern bestätigen.']] Sacrebleu: {'score': 8.225964699966557, 'counts': [8, 2, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [50.0, 13.333333333333334, 3.5714285714285716, 1.9230769230769231], 'bp': 1.0, 'sys_len': 16, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.5, 0.13333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 16, 'reference_length': 14} Rouge: {'rouge1': 0.5517241379310344, 'rouge2': 0.29629629629629634, 'rougeL': 0.4827586206896552, 'rougeLsum': 0.4827586206896552} Sari: {'sari': 17.919189439807994} Flesh Reading Ease: 38.45 ---------------------------------------- Source: ['Auch wenn Bildung Sache der Bundesländer ist, gibt es doch seit einigen Jahren das deutschlandweite Programm „Schwerpunkt Kitas Sprache & Integration“.'] Prediction: ['Schwerpunkt Kitas Sprache & Integration gibt es in den letzten Tagen.\nAuch wenn Bildung Sache der Bundesländer ist, gibt es in den letzten Tagen das deutschlandweite Programm.'] Label: [['Seit einigen Jahren gibt es das Programm „Schwerpunkt Kitas Sprache & Integration “.']] Sacrebleu: {'score': 10.228757016163994, 'counts': [9, 4, 2, 1], 'totals': [30, 29, 28, 27], 'precisions': [30.0, 13.793103448275861, 7.142857142857143, 3.7037037037037037], 'bp': 1.0, 'sys_len': 30, 'ref_len': 14} Bleu: {'bleu': 0.1022875701616399, 'precisions': [0.3, 0.13793103448275862, 0.07142857142857142, 0.037037037037037035], 'brevity_penalty': 1.0, 'length_ratio': 2.142857142857143, 'translation_length': 30, 'reference_length': 14} Rouge: {'rouge1': 0.42105263157894735, 'rouge2': 0.2222222222222222, 'rougeL': 0.21052631578947367, 'rougeLsum': 0.42105263157894735} Sari: {'sari': 33.26979974799447} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Damit werden Programme gefördert wie das Kooperationsprojekt „Sprachförderung in Kindertagesstätten unter der Mitwirkung von Grundschullehrkräften“ der Hamburger Schulbehörde.'] Prediction: ['Das Kooperationsprojekt für Sprachförderung in Kindertagesstätten wird von der Hamburger Schulbehörde gefördert.\nDamit werden Programme gefördert wie das Kooperationsprojekt.'] Label: [['Damit werden Projekte wie das Kooperationsprojekt „Sprachförderung in Kindertagesstätten unter der Mitwirkung von Grundschullehrkräften“ gefördert, zum Beispiel in Hamburg.']] Sacrebleu: {'score': 11.124661907380256, 'counts': [11, 4, 1, 0], 'totals': [21, 20, 19, 18], 'precisions': [52.38095238095238, 20.0, 5.2631578947368425, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.5238095238095238, 0.2, 0.05263157894736842, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 21, 'reference_length': 21} Rouge: {'rouge1': 0.5833333333333334, 'rouge2': 0.34782608695652173, 'rougeL': 0.41666666666666663, 'rougeLsum': 0.5416666666666667} Sari: {'sari': 17.668640427261114} Flesh Reading Ease: 12.55 ---------------------------------------- Source: ['Neben dem Spitzenreiter Kaffee sind dies vor allem Reis, Bananen, Zucker und Blumen.'] Prediction: ['Neben dem Spitzenreiter Kaffee sind Reis, Bananen, Zucker und Blumen gekommen.\nDie Reise sind Reis, Bananen, Zucker und Blumen gekommen.'] Label: [['Neben Kaffee sind dies vor allem Reis, Bananen, Zucker und Blumen.']] Sacrebleu: {'score': 25.595703555783782, 'counts': [11, 7, 5, 4], 'totals': [26, 25, 24, 23], 'precisions': [42.30769230769231, 28.0, 20.833333333333332, 17.391304347826086], 'bp': 1.0, 'sys_len': 26, 'ref_len': 14} Bleu: {'bleu': 0.25595703555783794, 'precisions': [0.4230769230769231, 0.28, 0.20833333333333334, 0.17391304347826086], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 26, 'reference_length': 14} Rouge: {'rouge1': 0.5161290322580645, 'rouge2': 0.3448275862068966, 'rougeL': 0.5161290322580645, 'rougeLsum': 0.5161290322580645} Sari: {'sari': 21.786334150885235} Flesh Reading Ease: 58.85 ---------------------------------------- Source: ['Das jedenfalls belegt eine Studie, die „Fairtrade“-Deutschland zusammen mit „Fairtrade“-Schweiz in Auftrag gegeben hat.'] Prediction: ['Eine Studie belegt eine Studie, die "Fairtrade“-Deutschland zusammen mit "Fairtrade“-Schweiz in Auftrag gegeben hat.\nSie belegt eine Studie, die "Fairtrade“-Deutschland zusammen mit „Fairtrade“-Schweiz in Auftrag gegeben hat.'] Label: [['Das belegt eine Studie, die „Fairtrade“-Deutschland zusammen mit „Fairtrade“-Schweiz in Auftrag gegeben hat.']] Sacrebleu: {'score': 29.994595841214856, 'counts': [13, 11, 9, 7], 'totals': [34, 33, 32, 31], 'precisions': [38.23529411764706, 33.333333333333336, 28.125, 22.580645161290324], 'bp': 1.0, 'sys_len': 34, 'ref_len': 15} Bleu: {'bleu': 0.29994595841214855, 'precisions': [0.38235294117647056, 0.3333333333333333, 0.28125, 0.22580645161290322], 'brevity_penalty': 1.0, 'length_ratio': 2.2666666666666666, 'translation_length': 34, 'reference_length': 15} Rouge: {'rouge1': 0.608695652173913, 'rouge2': 0.5909090909090909, 'rougeL': 0.608695652173913, 'rougeLsum': 0.608695652173913} Sari: {'sari': 42.0568783068783} Flesh Reading Ease: 31.95 ---------------------------------------- Source: ['Sie verlangt, dass die Produkte auch zu 100 Prozent fair verarbeitet werden.'] Prediction: ['Die Schweizer Produkte werden auch zu 100 Prozent fair verarbeitet.\nSie verlangt, dass die Produkte auch zu 100 Prozent fair verarbeitet werden.'] Label: [['Sie will, dass die Produkte auch zu 100 Prozent fair verarbeitet werden.']] Sacrebleu: {'score': 45.37526714268292, 'counts': [13, 11, 10, 9], 'totals': [25, 24, 23, 22], 'precisions': [52.0, 45.833333333333336, 43.47826086956522, 40.90909090909091], 'bp': 1.0, 'sys_len': 25, 'ref_len': 14} Bleu: {'bleu': 0.45375267142682907, 'precisions': [0.52, 0.4583333333333333, 0.43478260869565216, 0.4090909090909091], 'brevity_penalty': 1.0, 'length_ratio': 1.7857142857142858, 'translation_length': 25, 'reference_length': 14} Rouge: {'rouge1': 0.6470588235294118, 'rouge2': 0.5625, 'rougeL': 0.6470588235294118, 'rougeLsum': 0.6470588235294118} Sari: {'sari': 64.07267115600449} Flesh Reading Ease: 63.7 ---------------------------------------- Source: ['Ökologischer Tourismus, kurz Ökotourismus ist umweltfreundlicher oder umweltverträglicher Tourismus.'] Prediction: ['Ökologischer Tourismus ist umweltfreundlicher oder umweltverträglicher Tourismus.\nIn der Schweiz ist es zu mehrfach umweltfreundlicher oder umweltverträglicher Tourismus.'] Label: [['Ökologischer Tourismus, kurz Ökotourismus, ist ein umweltfreundlicher Tourismus.']] Sacrebleu: {'score': 5.993031480537873, 'counts': [6, 2, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [30.0, 10.526315789473685, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.3, 0.10526315789473684, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8181818181818181, 'translation_length': 20, 'reference_length': 11} Rouge: {'rouge1': 0.35714285714285715, 'rouge2': 0.07692307692307693, 'rougeL': 0.35714285714285715, 'rougeLsum': 0.35714285714285715} Sari: {'sari': 19.194096133751305} Flesh Reading Ease: 18.9 ---------------------------------------- Source: ['Der Massentourismus, so heißt es im Lexikon der Nachhaltigkeit, wird seit Ende der 1980er Jahre von den Umwelt- und Naturschutzverbänden kritisiert, denn er verursacht Umweltbelastungen.'] Prediction: ['Der Massentourismus wird seit Ende der 1980er Jahre von den Umwelt und Naturschutzverbänden kritisiert, denn er verursacht Umweltbelastungen.\nDer Massentourismus wird seit Ende der 1980er Jahre von den Umwelt und Naturschutzverbänden kritisiert, denn er verursacht Umweltbelastungen.'] Label: [['Der Massentourismus, so heißt es im Lexikon der Nachhaltigkeit, wird seit Anfang der 1980er Jahre von den Umwelt- und Naturschutzverbänden kritisiert, denn er verursacht Umweltbelastungen.']] Sacrebleu: {'score': 31.78956058171238, 'counts': [20, 14, 10, 8], 'totals': [40, 39, 38, 37], 'precisions': [50.0, 35.8974358974359, 26.31578947368421, 21.62162162162162], 'bp': 1.0, 'sys_len': 40, 'ref_len': 29} Bleu: {'bleu': 0.3178956058171238, 'precisions': [0.5, 0.358974358974359, 0.2631578947368421, 0.21621621621621623], 'brevity_penalty': 1.0, 'length_ratio': 1.3793103448275863, 'translation_length': 40, 'reference_length': 29} Rouge: {'rouge1': 0.5846153846153846, 'rouge2': 0.47619047619047616, 'rougeL': 0.5846153846153846, 'rougeLsum': 0.5538461538461538} Sari: {'sari': 21.434329065908017} Flesh Reading Ease: 33.3 ---------------------------------------- Source: ['Der „sanfte“ Tourismus plant beispielsweise schon die umweltfreundliche Anreise mit der Bahn ein. Beim ersten Bundeswettbewerb Nachhaltige Tourismusregionen 2012/13 war die Uckermark, im Nordosten Brandenburgs gelegen, die Siegerregion.'] Prediction: ['Der Nachhaltige Tourismusregionen 2012/13 war die Uckermark, im Nordosten Brandenburgs gelegen, die Siegerregion.\nDer "sanfte" Tourismus plant beispielsweise schon die umweltfreundliche Anreise mit der Bahn ein.'] Label: [['Beim ersten Bundeswettbewerb Nachhaltige Tourismusregionen 2012/13 war die Uckermark im Nordosten Brandenburgs die Siegerregion.']] Sacrebleu: {'score': 27.27526920718695, 'counts': [14, 11, 8, 5], 'totals': [34, 33, 32, 31], 'precisions': [41.1764705882353, 33.333333333333336, 25.0, 16.129032258064516], 'bp': 1.0, 'sys_len': 34, 'ref_len': 17} Bleu: {'bleu': 0.27275269207186936, 'precisions': [0.4117647058823529, 0.3333333333333333, 0.25, 0.16129032258064516], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 34, 'reference_length': 17} Rouge: {'rouge1': 0.5714285714285714, 'rouge2': 0.5, 'rougeL': 0.5714285714285714, 'rougeLsum': 0.5714285714285714} Sari: {'sari': 32.181932527269005} Flesh Reading Ease: 38.3 ---------------------------------------- Source: ['Im Ökotourismus kooperieren Tourismus und Naturschutz.'] Prediction: ['Im Ökotourismus kooperieren Tourismus und Naturschutz.\nDie Ökotourismus kooperieren Tourismus und Naturschutz.'] Label: [['Im Ökotourismus arbeiten Tourismus und Naturschutz zusammen.']] Sacrebleu: {'score': 13.912311644176565, 'counts': [6, 3, 1, 0], 'totals': [14, 13, 12, 11], 'precisions': [42.857142857142854, 23.076923076923077, 8.333333333333334, 4.545454545454546], 'bp': 1.0, 'sys_len': 14, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.42857142857142855, 0.23076923076923078, 0.08333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 14, 'reference_length': 8} Rouge: {'rouge1': 0.5263157894736842, 'rouge2': 0.3529411764705882, 'rougeL': 0.5263157894736842, 'rougeLsum': 0.5263157894736842} Sari: {'sari': 49.358974358974365} Flesh Reading Ease: 16.05 ---------------------------------------- Source: ['Der Alpenraum ist eine der größten Tourismusregionen der Welt. Vor allem die Skiregionen mit ihren riesigen Liftanlagen und den Autokolonnen sind schlimme Nebenerscheinungen des Massentourismus.'] Prediction: ['Der Alpenraum ist eine der größten Tourismusregionen der Welt.\nVor allem die Skiregionen mit ihren riesigen Liftanlagen und den Autokolonnen sind schlimme Nebenerscheinungen des Massentourismus.'] Label: [['Im Alpenraum als eine der größten Tourismusregionen der Welt sind vor allem die Skiregionen mit ihren riesigen Liftanlagen typisch für den Massentourismus.']] Sacrebleu: {'score': 42.396156294478345, 'counts': [18, 12, 9, 7], 'totals': [27, 26, 25, 24], 'precisions': [66.66666666666667, 46.15384615384615, 36.0, 29.166666666666668], 'bp': 1.0, 'sys_len': 27, 'ref_len': 23} Bleu: {'bleu': 0.42396156294478327, 'precisions': [0.6666666666666666, 0.46153846153846156, 0.36, 0.2916666666666667], 'brevity_penalty': 1.0, 'length_ratio': 1.173913043478261, 'translation_length': 27, 'reference_length': 23} Rouge: {'rouge1': 0.76, 'rouge2': 0.5416666666666667, 'rougeL': 0.7199999999999999, 'rougeLsum': 0.7199999999999999} Sari: {'sari': 54.767527793843584} Flesh Reading Ease: 27.1 ---------------------------------------- Source: ['Doch die Einnahmen garantieren den Alpenbewohnern ein wichtiges Einkommen, ohne das zum Beispiel viele Bauern gar nicht überleben würden.'] Prediction: ['Die Einnahmen garantieren den Alpenbewohnern ein wichtiges Einkommen.\nDoch die Einnahmen garantieren den Alpenbewohnern ein wichtiges Einkommen.'] Label: [['Doch die Einnahmen garantieren den Alpenbewohnern ein wichtiges Einkommen.']] Sacrebleu: {'score': 48.2457299495954, 'counts': [10, 9, 8, 7], 'totals': [19, 18, 17, 16], 'precisions': [52.63157894736842, 50.0, 47.05882352941177, 43.75], 'bp': 1.0, 'sys_len': 19, 'ref_len': 10} Bleu: {'bleu': 0.4824572994959539, 'precisions': [0.5263157894736842, 0.5, 0.47058823529411764, 0.4375], 'brevity_penalty': 1.0, 'length_ratio': 1.9, 'translation_length': 19, 'reference_length': 10} Rouge: {'rouge1': 0.6923076923076924, 'rouge2': 0.6666666666666666, 'rougeL': 0.6923076923076924, 'rougeLsum': 0.6923076923076924} Sari: {'sari': 88.05555555555556} Flesh Reading Ease: 25.25 ---------------------------------------- Source: ['Hier sind sinnvolle Konzepte gefragt. So gibt es viele Angebote wie Shuttle-Services, damit man aufs Auto verzichten kann.'] Prediction: ['Einige Shuttle-Services sind gefragt.\nSo gibt es viele Angebote wie Shuttle-Services, damit man aufs Auto verzichten kann.'] Label: [['Hier sind sinnvolle Konzepte gefragt, etwa wie Shuttle-Services, damit man auf das Auto verzichten kann.']] Sacrebleu: {'score': 31.56961170682444, 'counts': [11, 7, 5, 3], 'totals': [20, 19, 18, 17], 'precisions': [55.0, 36.8421052631579, 27.77777777777778, 17.647058823529413], 'bp': 1.0, 'sys_len': 20, 'ref_len': 18} Bleu: {'bleu': 0.31569611706824424, 'precisions': [0.55, 0.3684210526315789, 0.2777777777777778, 0.17647058823529413], 'brevity_penalty': 1.0, 'length_ratio': 1.1111111111111112, 'translation_length': 20, 'reference_length': 18} Rouge: {'rouge1': 0.5714285714285714, 'rouge2': 0.3636363636363636, 'rougeL': 0.5714285714285714, 'rougeLsum': 0.5714285714285714} Sari: {'sari': 22.589228061378726} Flesh Reading Ease: 54.5 ---------------------------------------- Source: ['Die Einsätze und Initiativen sind soziale Hilfsprojekte, Aktionen im Umweltschutz, Ehrenämter in Sportvereinen, Schulen, Kirchen oder ein Engagement in der Politik.'] Prediction: ['Die Schweiz will ihre Hilfsprojekte und Initiativen einsätzen.\nSo sollen Hilfsprojekte, Aktionen im Umweltschutz, Ehrenämter in Sportvereinen, Schulen, Kirchen oder ein Engagement in der Politik einsätzen.'] Label: [['Die Einsätze und Initiativen sind soziale Hilfsprojekte, Aktionen im Umweltschutz, Ehrenämter in Sportvereinen oder ein Engagement in der Politik.']] Sacrebleu: {'score': 41.794725442553194, 'counts': [19, 14, 11, 9], 'totals': [32, 31, 30, 29], 'precisions': [59.375, 45.16129032258065, 36.666666666666664, 31.03448275862069], 'bp': 1.0, 'sys_len': 32, 'ref_len': 22} Bleu: {'bleu': 0.41794725442553193, 'precisions': [0.59375, 0.45161290322580644, 0.36666666666666664, 0.3103448275862069], 'brevity_penalty': 1.0, 'length_ratio': 1.4545454545454546, 'translation_length': 32, 'reference_length': 22} Rouge: {'rouge1': 0.7200000000000001, 'rouge2': 0.5416666666666667, 'rougeL': 0.68, 'rougeLsum': 0.68} Sari: {'sari': 23.125352049730505} Flesh Reading Ease: 32.45 ---------------------------------------- Source: ['Motive, sich zu engagieren, sind nicht immer altruistisch.'] Prediction: ['Motive, sich zu engagieren, sind nicht immer altruistisch.\nDas sind nicht immer altruistisch.'] Label: [['Motive, sich zu engagieren, gibt es viele.']] Sacrebleu: {'score': 29.28298013714698, 'counts': [7, 5, 4, 3], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 31.25, 26.666666666666668, 21.428571428571427], 'bp': 1.0, 'sys_len': 17, 'ref_len': 10} Bleu: {'bleu': 0.2928298013714697, 'precisions': [0.4117647058823529, 0.3125, 0.26666666666666666, 0.21428571428571427], 'brevity_penalty': 1.0, 'length_ratio': 1.7, 'translation_length': 17, 'reference_length': 10} Rouge: {'rouge1': 0.4, 'rouge2': 0.3333333333333333, 'rougeL': 0.4, 'rougeLsum': 0.4} Sari: {'sari': 54.81254856254857} Flesh Reading Ease: 56.5 ---------------------------------------- Source: ['Manche wollen auf diesem Weg auch Berufserfahrungen sammeln, sozial eingebunden werden, oder ihr Selbstwertgefühl steigern, andere danken so für selbst erfahrene Hilfe, bauen Schuldgefühle ab oder lenken von eigenen Problemen ab.'] Prediction: ['Manche wollen auf diesem Weg auch Berufserfahrungen sammeln.\nSie wollen sozial eingebunden werden, oder ihr Selbstwertgefühl steigern.'] Label: [['Manche wollen auf diesem Weg Berufserfahrungen sammeln, sozial eingebunden werden, andere danken so für selbst erfahrene Hilfe oder lenken von eigenen Problemen ab.']] Sacrebleu: {'score': 25.212537039722395, 'counts': [13, 8, 5, 3], 'totals': [20, 19, 18, 17], 'precisions': [65.0, 42.10526315789474, 27.77777777777778, 17.647058823529413], 'bp': 0.7408182206817179, 'sys_len': 20, 'ref_len': 26} Bleu: {'bleu': 0.25212537039722405, 'precisions': [0.65, 0.42105263157894735, 0.2777777777777778, 0.17647058823529413], 'brevity_penalty': 0.740818220681718, 'length_ratio': 0.7692307692307693, 'translation_length': 20, 'reference_length': 26} Rouge: {'rouge1': 0.5238095238095238, 'rouge2': 0.35, 'rougeL': 0.5238095238095238, 'rougeLsum': 0.5238095238095238} Sari: {'sari': 24.202992438613503} Flesh Reading Ease: 42.8 ---------------------------------------- Source: ['Äpfel und Kartoffeln sind im Herbst baum- oder feldfrisch, Erdbeeren und Spargel gibt es im Frühjahr oder Frühsommer.'] Prediction: ['Im Herbst gibt es auch Kartoffeln.\nEs sind baum und feldfrisch.\nÜber 20 Minuten hat das Frühling veröffentlicht.'] Label: [['Äpfel und Kartoffeln sind im Herbst ganz frisch, Erdbeeren und Spargel gibt es im Frühjahr oder Frühsommer.']] Sacrebleu: {'score': 4.968018039415939, 'counts': [7, 1, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [33.333333333333336, 5.0, 2.6315789473684212, 1.3888888888888888], 'bp': 1.0, 'sys_len': 21, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.05, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.105263157894737, 'translation_length': 21, 'reference_length': 19} Rouge: {'rouge1': 0.41025641025641024, 'rouge2': 0.10810810810810811, 'rougeL': 0.25641025641025644, 'rougeLsum': 0.358974358974359} Sari: {'sari': 15.555765041059159} Flesh Reading Ease: 86.25 ---------------------------------------- Source: ['Umweltbewusste Verbraucher achten inzwischen sehr genau darauf, wo ihre Nahrungsmittel herkommen, am liebsten nämlich aus ihrer Region.'] Prediction: ['Umweltbewusste Verbraucher achten inzwischen sehr genau darauf, wo ihre Nahrungsmittel herkommen.\nSie sind inzwischen aus ihrer Region und aus der Schweiz.'] Label: [['Umweltbewusste Verbraucher achten inzwischen sehr genau darauf, wo ihre Nahrungsmittel herkommen, am liebsten aus ihrer Region.']] Sacrebleu: {'score': 53.306401870899464, 'counts': [16, 13, 11, 9], 'totals': [24, 23, 22, 21], 'precisions': [66.66666666666667, 56.52173913043478, 50.0, 42.857142857142854], 'bp': 1.0, 'sys_len': 24, 'ref_len': 19} Bleu: {'bleu': 0.5330640187089944, 'precisions': [0.6666666666666666, 0.5652173913043478, 0.5, 0.42857142857142855], 'brevity_penalty': 1.0, 'length_ratio': 1.263157894736842, 'translation_length': 24, 'reference_length': 19} Rouge: {'rouge1': 0.7567567567567567, 'rouge2': 0.6857142857142857, 'rougeL': 0.7567567567567567, 'rougeLsum': 0.7567567567567567} Sari: {'sari': 41.30994005994006} Flesh Reading Ease: 52.5 ---------------------------------------- Source: ['Doch nicht alles wächst in Deutschland:'] Prediction: ['Die Schweiz ist nicht mehr von der EU.\nDoch in Deutschland wächst aber nicht alles.'] Label: [['Denn nicht alles wächst in Deutschland:']] Sacrebleu: {'score': 6.839596061560946, 'counts': [5, 2, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [29.41176470588235, 12.5, 3.3333333333333335, 1.7857142857142858], 'bp': 1.0, 'sys_len': 17, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.29411764705882354, 0.125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4285714285714284, 'translation_length': 17, 'reference_length': 7} Rouge: {'rouge1': 0.5217391304347825, 'rouge2': 0.28571428571428575, 'rougeL': 0.26086956521739124, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 17.53968253968254} Flesh Reading Ease: 102.3 ---------------------------------------- Source: ['Aufgrund der Globalisierung landet auch der beliebte Spargel schon ab Februar aus Südeuropa in den deutschen Märkten.'] Prediction: ['Der beliebte Spargel war aufgrund der Globalisierung aus Südeuropa in den deutschen Märkten.\nAuch der beliebte Spargel war aus Südeuropa in den deutschen Märkten.'] Label: [['Mit vielen Flugzeugen landet auch der beliebte Spargel schon ab Februar aus Südeuropa in den deutschen Märkten.']] Sacrebleu: {'score': 27.046570133003105, 'counts': [10, 8, 6, 4], 'totals': [26, 25, 24, 23], 'precisions': [38.46153846153846, 32.0, 25.0, 17.391304347826086], 'bp': 1.0, 'sys_len': 26, 'ref_len': 18} Bleu: {'bleu': 0.270465701330031, 'precisions': [0.38461538461538464, 0.32, 0.25, 0.17391304347826086], 'brevity_penalty': 1.0, 'length_ratio': 1.4444444444444444, 'translation_length': 26, 'reference_length': 18} Rouge: {'rouge1': 0.5106382978723404, 'rouge2': 0.4444444444444445, 'rougeL': 0.5106382978723404, 'rougeLsum': 0.5106382978723404} Sari: {'sari': 28.83572857873044} Flesh Reading Ease: 51.0 ---------------------------------------- Source: ['Weniger als 20 Prozent des Obstes, das die Deutschen verzehren, stammt aus Deutschland, der Rest wird aufwändig importiert, weil er hier nicht wächst.'] Prediction: ['Der Rest des Obstes in Deutschland wird aufwändig importiert.\nWeniger als 20 Prozent des Obstes stammt aus Deutschland, der Rest wird aufwändig importiert.'] Label: [['Weniger als 20 Prozent des Obstes, das die Deutschen konsumieren, stammt aus Deutschland.\nDer Rest muss importiert werden.']] Sacrebleu: {'score': 26.613685332453084, 'counts': [15, 8, 5, 3], 'totals': [26, 25, 24, 23], 'precisions': [57.69230769230769, 32.0, 20.833333333333332, 13.043478260869565], 'bp': 1.0, 'sys_len': 26, 'ref_len': 22} Bleu: {'bleu': 0.26613685332453085, 'precisions': [0.5769230769230769, 0.32, 0.20833333333333334, 0.13043478260869565], 'brevity_penalty': 1.0, 'length_ratio': 1.1818181818181819, 'translation_length': 26, 'reference_length': 22} Rouge: {'rouge1': 0.5581395348837209, 'rouge2': 0.4390243902439025, 'rougeL': 0.5581395348837209, 'rougeLsum': 0.5581395348837209} Sari: {'sari': 40.820023522229405} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['Auch beim Gemüse müssen immerhin noch rund zwei Drittel importiert werden.'] Prediction: ['Auch beim Gemüse müssen immerhin noch rund zwei Drittel importiert werden.\nDas ist auch beim Gemüse noch ungefährlich.'] Label: [['Beim Gemüse sieht es etwas besser aus, aber auch hier werden etwa zwei Drittel importiert.']] Sacrebleu: {'score': 8.808424865565325, 'counts': [7, 2, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 10.526315789473685, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.35, 0.10526315789473684, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1764705882352942, 'translation_length': 20, 'reference_length': 17} Rouge: {'rouge1': 0.4210526315789474, 'rouge2': 0.2222222222222222, 'rougeL': 0.3157894736842105, 'rougeLsum': 0.3157894736842105} Sari: {'sari': 45.086580086580085} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Ein Grund für die vielen Streiks ist ein Prestigewandel, denn Erzieher und Lehrer kämpfen um ein besseres Ansehen.'] Prediction: ['Ein Prestigewandel ist für die vielen Streiks in den USA gefährlich.\nEs ist ein besseres Ansehen.'] Label: [['Ein Grund für die vielen Streiks ist ein Wandel des Ansehens, für das Erzieher und Lehrer kämpfen.']] Sacrebleu: {'score': 16.253030682894547, 'counts': [8, 4, 2, 1], 'totals': [18, 17, 16, 15], 'precisions': [44.44444444444444, 23.529411764705884, 12.5, 6.666666666666667], 'bp': 0.9459594689067654, 'sys_len': 18, 'ref_len': 19} Bleu: {'bleu': 0.16253030682894548, 'precisions': [0.4444444444444444, 0.23529411764705882, 0.125, 0.06666666666666667], 'brevity_penalty': 0.9459594689067654, 'length_ratio': 0.9473684210526315, 'translation_length': 18, 'reference_length': 19} Rouge: {'rouge1': 0.4210526315789474, 'rouge2': 0.27777777777777773, 'rougeL': 0.4210526315789474, 'rougeLsum': 0.4210526315789474} Sari: {'sari': 29.765451464889665} Flesh Reading Ease: 72.55 ---------------------------------------- Source: ['So werden beispielsweise für den sehr verantwortungsvollen Beruf des Erziehers sogar Hochschulabschlüsse von den Gewerkschaften gefordert.'] Prediction: ['Der Beruf des Erziehers wird von den Gewerkschaften gefordert.\nSo werden beispielsweise Hochschulabschlüsse von den Gewerkschaften gefordert.'] Label: [['So werden beispielsweise für den Beruf des Erziehers sogar Hochschulabschlüsse gefordert von den Gewerkschaften, da Pädagogen grundsätzlich sehr viel Verantwortung tragen.']] Sacrebleu: {'score': 15.256934988952949, 'counts': [13, 6, 3, 0], 'totals': [19, 18, 17, 16], 'precisions': [68.42105263157895, 33.333333333333336, 17.647058823529413, 3.125], 'bp': 0.8101577349324267, 'sys_len': 19, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.6842105263157895, 0.3333333333333333, 0.17647058823529413, 0.0], 'brevity_penalty': 0.8101577349324267, 'length_ratio': 0.8260869565217391, 'translation_length': 19, 'reference_length': 23} Rouge: {'rouge1': 0.6046511627906976, 'rouge2': 0.34146341463414637, 'rougeL': 0.37209302325581395, 'rougeLsum': 0.5116279069767442} Sari: {'sari': 32.167997946128615} Flesh Reading Ease: 36.95 ---------------------------------------- Source: ['Ein Mittel zur Durchsetzung von Forderungen der Beschäftigten, nachdem alle anderen Strategien zur Konfliktbewältigung gescheitert sind.'] Prediction: ['Die Konfliktbewältigung steht in der Schweiz stark an.\nEin Mittel zur Durchsetzung von Forderungen der Beschäftigten, nachdem alle anderen Strategien zur Konfliktbewältigung gescheitert sind.'] Label: [['Damit werden Forderungen der Beschäftigten durchgesetzt, nachdem alle anderen Strategien zur Konfliktbewältigung gescheitert sind.']] Sacrebleu: {'score': 38.24256874956694, 'counts': [13, 11, 9, 7], 'totals': [27, 26, 25, 24], 'precisions': [48.148148148148145, 42.30769230769231, 36.0, 29.166666666666668], 'bp': 1.0, 'sys_len': 27, 'ref_len': 16} Bleu: {'bleu': 0.38242568749566935, 'precisions': [0.48148148148148145, 0.4230769230769231, 0.36, 0.2916666666666667], 'brevity_penalty': 1.0, 'length_ratio': 1.6875, 'translation_length': 27, 'reference_length': 16} Rouge: {'rouge1': 0.6046511627906976, 'rouge2': 0.5365853658536585, 'rougeL': 0.6046511627906976, 'rougeLsum': 0.6046511627906976} Sari: {'sari': 58.24612957663805} Flesh Reading Ease: 39.3 ---------------------------------------- Source: ['“ Das Streikrecht ist ein im Grundgesetz verankertes Recht (GG Art. 9) der abhängig Beschäftigten.'] Prediction: ['Im Kampf gegen den Vorwurf der Corona-Pandemie ist ein Streikrecht im Kampf geschäftigt.\nDas Streikrecht ist ein im Grundgesetz verankertes Recht.'] Label: [['Das Streikrecht ist ein im Grundgesetz verankertes Recht (GG Art 9) der abhängig Beschäftigten.']] Sacrebleu: {'score': 31.52861344254502, 'counts': [10, 7, 6, 5], 'totals': [23, 22, 21, 20], 'precisions': [43.47826086956522, 31.818181818181817, 28.571428571428573, 25.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 17} Bleu: {'bleu': 0.3152861344254501, 'precisions': [0.43478260869565216, 0.3181818181818182, 0.2857142857142857, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.3529411764705883, 'translation_length': 23, 'reference_length': 17} Rouge: {'rouge1': 0.46153846153846156, 'rouge2': 0.3783783783783784, 'rougeL': 0.41025641025641024, 'rougeLsum': 0.41025641025641024} Sari: {'sari': 31.961909270830475} Flesh Reading Ease: 64.2 ---------------------------------------- Source: ['Rein statistisch gesehen sind vier Stunden pro Tag viel Zeit, um sich sportlich zu betätigen.'] Prediction: ['Die Schweizer Schweizer kämpfen mit einem statistischen Spiel.\nWegen der statistischen Krise kämpfen sie vier Stunden pro Tag.\nAuch die Schweizer Schweizer kämpfen mit einem statistischen Spiel.'] Label: [['Vier Stunden pro Tag sind viel Zeit, um sich sportlich zu betätigen.']] Sacrebleu: {'score': 4.965977366141172, 'counts': [4, 2, 1, 0], 'totals': [30, 29, 28, 27], 'precisions': [13.333333333333334, 6.896551724137931, 3.5714285714285716, 1.8518518518518519], 'bp': 1.0, 'sys_len': 30, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.06896551724137931, 0.03571428571428571, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.142857142857143, 'translation_length': 30, 'reference_length': 14} Rouge: {'rouge1': 0.18604651162790697, 'rouge2': 0.14634146341463414, 'rougeL': 0.18604651162790697, 'rougeLsum': 0.18604651162790697} Sari: {'sari': 26.692824719140507} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Dank immer neuer Trendsportarten und der entsprechenden Angebote können sich die Deutschen sportlich in jeder Hinsicht betätigen.'] Prediction: ['Die Deutschen sind in der Schweiz einig.\nDank neuer Trendsportarten und der entsprechenden Angebote können sich die Deutschen sportlich in jeder Hinsicht betätigen.'] Label: [['Dank immer neuer Trendsportarten können sich die Deutschen sportlich vielseitig betätigen.']] Sacrebleu: {'score': 18.556675930109115, 'counts': [10, 6, 3, 2], 'totals': [25, 24, 23, 22], 'precisions': [40.0, 25.0, 13.043478260869565, 9.090909090909092], 'bp': 1.0, 'sys_len': 25, 'ref_len': 12} Bleu: {'bleu': 0.18556675930109115, 'precisions': [0.4, 0.25, 0.13043478260869565, 0.09090909090909091], 'brevity_penalty': 1.0, 'length_ratio': 2.0833333333333335, 'translation_length': 25, 'reference_length': 12} Rouge: {'rouge1': 0.5789473684210525, 'rouge2': 0.38888888888888895, 'rougeL': 0.5789473684210525, 'rougeLsum': 0.5789473684210525} Sari: {'sari': 19.181785986705897} Flesh Reading Ease: 57.35 ---------------------------------------- Source: ['Der Fachverband für künstliche Kletteranlagen und Indoor-Klettern (Klever) informiert, dass in Deutschland jährlich rund zehn neue Kletterhallen eröffnen.'] Prediction: ['In Deutschland werden rund zehn neue Kletterhallen eröffnet.\nDie Fachverband für künstliche Kletteranlagen und Indoor-Klettern (Klever) informiert, dass jährlich rund zehn neue Kletterhallen eröffnen.'] Label: [['Der Fachverband für künstliche Kletteranlagen und Indoor-Klettern (Klever) informiert, dass in Deutschland jährlich rund zehn neue Kletterhallen eröffnen –']] Sacrebleu: {'score': 54.710720101471345, 'counts': [19, 16, 14, 12], 'totals': [29, 28, 27, 26], 'precisions': [65.51724137931035, 57.142857142857146, 51.851851851851855, 46.15384615384615], 'bp': 1.0, 'sys_len': 29, 'ref_len': 22} Bleu: {'bleu': 0.5471072010147133, 'precisions': [0.6551724137931034, 0.5714285714285714, 0.5185185185185185, 0.46153846153846156], 'brevity_penalty': 1.0, 'length_ratio': 1.3181818181818181, 'translation_length': 29, 'reference_length': 22} Rouge: {'rouge1': 0.8301886792452831, 'rouge2': 0.7450980392156864, 'rougeL': 0.7547169811320754, 'rougeLsum': 0.8301886792452831} Sari: {'sari': 28.70700628865015} Flesh Reading Ease: 39.3 ---------------------------------------- Source: ['Bis zum Ende des Jahres 2014 gab es deutschlandweit circa 24.900 Windenergieanlagen, die zusammen auf eine Leistung von rund 38.000 MW kommen.'] Prediction: ['Deutschland hat bereits 24.900 Windenergieanlagen.\nBis zum Ende des Jahres 2014 gab es 24.900 Windenergieanlagen.'] Label: [['Bis zum Ende des Jahres 2014 gab es in ganz Deutschland rund 24.900 Windenergieanlagen, die zusammen rund 38.000 MW leisten.']] Sacrebleu: {'score': 35.31160039203627, 'counts': [12, 8, 6, 5], 'totals': [17, 16, 15, 14], 'precisions': [70.58823529411765, 50.0, 40.0, 35.714285714285715], 'bp': 0.7451888170134805, 'sys_len': 17, 'ref_len': 22} Bleu: {'bleu': 0.35311600392036285, 'precisions': [0.7058823529411765, 0.5, 0.4, 0.35714285714285715], 'brevity_penalty': 0.7451888170134805, 'length_ratio': 0.7727272727272727, 'translation_length': 17, 'reference_length': 22} Rouge: {'rouge1': 0.6153846153846153, 'rouge2': 0.4864864864864864, 'rougeL': 0.5641025641025642, 'rougeLsum': 0.6153846153846153} Sari: {'sari': 52.05662393162393} Flesh Reading Ease: 49.65 ---------------------------------------- Source: ['Ein großer Teil der Windkraftanlagen befindet sich dort, wo am meisten Wind weht – auf dem flachen Land und auf dem offenen Meer der Nord- und Ostsee - in sogenannten Offshore-Windenergieanlagen.'] Prediction: ['In den USA werden mehrere Offshore-Windenergieanlagen geschlossen.\nEin großer Teil der Windkraftanlagen befindet sich dort, wo am meisten Wind weht.'] Label: [['Ein großer Teil der Anlagen befindet sich dort, wo am meisten Wind weht – auf dem flachen Land.\nImmer mehr Anlagen entstehen auf dem Meer in der Nord- und Ostsee - sogenannte Offshore-Windenergieanlagen.']] Sacrebleu: {'score': 27.15767322668064, 'counts': [16, 11, 9, 7], 'totals': [23, 22, 21, 20], 'precisions': [69.56521739130434, 50.0, 42.857142857142854, 35.0], 'bp': 0.5682366036329846, 'sys_len': 23, 'ref_len': 36} Bleu: {'bleu': 0.2715767322668065, 'precisions': [0.6956521739130435, 0.5, 0.42857142857142855, 0.35], 'brevity_penalty': 0.5682366036329846, 'length_ratio': 0.6388888888888888, 'translation_length': 23, 'reference_length': 36} Rouge: {'rouge1': 0.5818181818181818, 'rouge2': 0.4528301886792453, 'rougeL': 0.4727272727272727, 'rougeLsum': 0.5818181818181818} Sari: {'sari': 36.268264251654145} Flesh Reading Ease: 47.15 ---------------------------------------- Source: ['Das gilt auch für die zahlreichen Spiele-Apps. Sie sind nach Informationen der „gamescom“ der wichtigste Treiber des App- und Smartphone-Marktes.'] Prediction: ['Die Gamescom 2020 sind ein grosser Treiber des App und Smartphone-Marktes.\nDas gilt auch für die zahlreichen Spiele-Apps.\nDas gilt auch für die zahlreichen Spiele-Apps.'] Label: [['Besonders die Spiele-Apps sind nach Informationen der „gamescom“ der wichtigste Treiber des App- und Smartphone-Marktes.']] Sacrebleu: {'score': 7.02969566273961, 'counts': [8, 3, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [28.571428571428573, 11.11111111111111, 3.8461538461538463, 2.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.1111111111111111, 0.038461538461538464, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 28, 'reference_length': 16} Rouge: {'rouge1': 0.46808510638297873, 'rouge2': 0.26666666666666666, 'rougeL': 0.3404255319148936, 'rougeLsum': 0.42553191489361697} Sari: {'sari': 14.827247852652011} Flesh Reading Ease: 78.1 ---------------------------------------- Source: ['Laut dem Verein für Spieleverlage erreichten die klassischen Familienspiele im Jahr 2014 eine Steigerung von 8,6 Prozent gegenüber dem Vorjahr.'] Prediction: ['Die klassische Familienspiele erreichten im Jahr 2014 eine Steigerung von 8,6 Prozent gegenüber dem Vorjahr.\nDie Steigerung erreichte im Jahr 2014 eine Steigerung von 8,6 Prozent.'] Label: [['Laut dem Verein für Spieleverlage erreichten die klassischen Familienspiele im Jahr 2015 eine Steigerung von 12,6 Prozent gegenüber dem Vorjahr.']] Sacrebleu: {'score': 19.230188007838596, 'counts': [12, 7, 4, 2], 'totals': [28, 27, 26, 25], 'precisions': [42.857142857142854, 25.925925925925927, 15.384615384615385, 8.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 21} Bleu: {'bleu': 0.19230188007838597, 'precisions': [0.42857142857142855, 0.25925925925925924, 0.15384615384615385, 0.08], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 28, 'reference_length': 21} Rouge: {'rouge1': 0.5384615384615384, 'rouge2': 0.32, 'rougeL': 0.4999999999999999, 'rougeLsum': 0.4999999999999999} Sari: {'sari': 16.272399289404717} Flesh Reading Ease: 55.85 ---------------------------------------- Source: ['Das bekannteste und vielleicht deutscheste aller Gesellschaftsspiele namens „Mensch ärgere Dich nicht“ fehlt in wohl keinem deutschen Haushalt.'] Prediction: ['Der deutsche Gesellschaftsspieler hat einen deutschen Haushalt.\nDas bekannteste und vielleicht deutscheste aller Gesellschaftsspiele fehlt in wohl keinem deutschen Haushalt.'] Label: [['Das bekannteste und vielleicht deutscheste aller Gesellschaftsspiele namens „Mensch ärgere Dich nicht“ fehlt in keinem deutschen Haushalt.']] Sacrebleu: {'score': 40.12328254927306, 'counts': [13, 10, 7, 5], 'totals': [22, 21, 20, 19], 'precisions': [59.09090909090909, 47.61904761904762, 35.0, 26.31578947368421], 'bp': 1.0, 'sys_len': 22, 'ref_len': 18} Bleu: {'bleu': 0.40123282549273065, 'precisions': [0.5909090909090909, 0.47619047619047616, 0.35, 0.2631578947368421], 'brevity_penalty': 1.0, 'length_ratio': 1.2222222222222223, 'translation_length': 22, 'reference_length': 18} Rouge: {'rouge1': 0.6486486486486486, 'rouge2': 0.5142857142857142, 'rougeL': 0.6486486486486486, 'rougeLsum': 0.6486486486486486} Sari: {'sari': 22.79265873015873} Flesh Reading Ease: 47.15 ---------------------------------------- Source: ['Yoga, Rhetorik, Acrylmalerei, Computerprogramme, Spanisch, Kochen, Naturheilkunde, Existenzgründung, Goldschmieden … die Liste der Kurse lässt sich fast endlos lange fortsetzen – beinahe alles, was sich zur Weiterbildung eignet, bieten die Volkshochschulen – kurz VHS – an.'] Prediction: ['Die Kurse der Kurse ist fast endlos lange fortsetzen.\nDie Volkshochschulen bieten die Volkshochschulen an.'] Label: [['Yoga, Rhetorik, Acrylmalerei, Computerprogramme, Spanisch, Kochen, Naturheilkunde, Existenzgründung, Goldschmieden … die Liste der Kurse ist lang, denn fast alles, was sich zur Weiterbildung eignet, bieten die Volkshochschulen – kurz VHS – an.']] Sacrebleu: {'score': 3.422506286724804, 'counts': [9, 5, 2, 0], 'totals': [17, 16, 15, 14], 'precisions': [52.94117647058823, 31.25, 13.333333333333334, 3.5714285714285716], 'bp': 0.20428579817889805, 'sys_len': 17, 'ref_len': 44} Bleu: {'bleu': 0.0, 'precisions': [0.5294117647058824, 0.3125, 0.13333333333333333, 0.0], 'brevity_penalty': 0.20428579817889805, 'length_ratio': 0.38636363636363635, 'translation_length': 17, 'reference_length': 44} Rouge: {'rouge1': 0.4, 'rouge2': 0.18604651162790697, 'rougeL': 0.4, 'rougeLsum': 0.4} Sari: {'sari': 16.885953073607144} Flesh Reading Ease: 61.35 ---------------------------------------- Source: ['Hinzu kommen spezielle Integrationskurse, zum Beispiel für Frauen, Jugendliche, Migrantinnen und Migranten mit „Alphabetisierungsbedarf“, wie es offiziell heißt.'] Prediction: ['Migrantinnen und Migranten können sich mit Alphabetisierungsbedarf bei der Beispiel für Frauen, Jugendliche, Migrantinnen und Migranten mit „Alphabetisierungsbedarf“ integriert werden.\nDie Integrationskurse kommen zum Beispiel für Frauen, Jugendliche, Migrantinnen und Migranten mit „Alphabetisierungsbedarf“.'] Label: [['Es gibt spezielle Integrationskurse, zum Beispiel für Frauen, Jugendliche, Migrantinnen und Migranten mit „Alphabetisierungsbedarf“, wie es offiziell heißt.']] Sacrebleu: {'score': 29.92958446154366, 'counts': [16, 11, 10, 9], 'totals': [39, 38, 37, 36], 'precisions': [41.02564102564103, 28.94736842105263, 27.027027027027028, 25.0], 'bp': 1.0, 'sys_len': 39, 'ref_len': 23} Bleu: {'bleu': 0.2992958446154366, 'precisions': [0.41025641025641024, 0.2894736842105263, 0.2702702702702703, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.6956521739130435, 'translation_length': 39, 'reference_length': 23} Rouge: {'rouge1': 0.42857142857142855, 'rouge2': 0.37037037037037035, 'rougeL': 0.42857142857142855, 'rougeLsum': 0.42857142857142855} Sari: {'sari': 30.12618836127743} Flesh Reading Ease: -0.31 ---------------------------------------- Source: ['So absolvierte im Juni 2015 eine Gruppe bei der Volkshochschule Osnabrücker Land erfolgreich eine zusätzliche „Qualifikation zur Betreuungskraft für Demenzerkrankte in Pflegeheimen“.'] Prediction: ['Eine Gruppe von Volkshochschulen in Osnabrücker Land hat eine Qualifikation zur Betreuungskraft für Demenzerkrankte in Pflegeheimen.\nDie Zahl der Demenzerkrankte soll im Juni 2015 erfolgreich eine zusätzliche „Qualifikation zur Betreuungskraft für Demenzerkrankte in Pflegeheimen“ absolviert werden.'] Label: [['So absolvierte im Juni 2015 eine Gruppe bei der Volkshochschule Osnabrücker Land erfolgreich eine zusätzliche Qualifikation, um Demenzerkrankte in Pflegeheimen zu betreuen.']] Sacrebleu: {'score': 9.868209342887877, 'counts': [16, 7, 3, 0], 'totals': [38, 37, 36, 35], 'precisions': [42.10526315789474, 18.91891891891892, 8.333333333333334, 1.4285714285714286], 'bp': 1.0, 'sys_len': 38, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.42105263157894735, 0.1891891891891892, 0.08333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5833333333333333, 'translation_length': 38, 'reference_length': 24} Rouge: {'rouge1': 0.53125, 'rouge2': 0.3548387096774194, 'rougeL': 0.40624999999999994, 'rougeLsum': 0.5} Sari: {'sari': 17.36826273863311} Flesh Reading Ease: 15.75 ---------------------------------------- Source: ['So bieten sie auch denen eine zweite Chance, die sozial benachteiligt sind.'] Prediction: ['Die Schweizerinnen und Schweizer haben sich in den letzten Tagen zu einer Chance gefunden.\nSie sind eine zweite Chance, die sozial benachteiligt sind.'] Label: [['So bieten die VHS auch denen eine zweite Chance, die sozial benachteiligt sind.']] Sacrebleu: {'score': 30.299282065335234, 'counts': [9, 8, 7, 6], 'totals': [26, 25, 24, 23], 'precisions': [34.61538461538461, 32.0, 29.166666666666668, 26.08695652173913], 'bp': 1.0, 'sys_len': 26, 'ref_len': 15} Bleu: {'bleu': 0.3029928206533524, 'precisions': [0.34615384615384615, 0.32, 0.2916666666666667, 0.2608695652173913], 'brevity_penalty': 1.0, 'length_ratio': 1.7333333333333334, 'translation_length': 26, 'reference_length': 15} Rouge: {'rouge1': 0.4444444444444444, 'rouge2': 0.3529411764705882, 'rougeL': 0.4444444444444444, 'rougeLsum': 0.4444444444444444} Sari: {'sari': 41.30714013294105} Flesh Reading Ease: 63.2 ---------------------------------------- Source: ['Streetfood geht weit über das hinaus, was die Deutschen seit Jahrzehnten als „Pommesbude“ kennen. Der mobile Imbisswagen heißt inzwischen Food Truck und das Konzept heißt: Kochen, wozu man Lust hat, etwas Neues auf den Markt bringen und Menschen begeistern.'] Prediction: ['Der Food Truck heißt inzwischen Food Truck und das Konzept.\nKochen, wozu man Lust hat, etwas Neues auf den Markt bringen.\nDie Deutschen geht weit über das hinaus, was die Deutschen als "Pommesbude“ kennen kennen.'] Label: [['Streetfood geht weit über das hinaus, was die Deutschen als „Pommesbude“ kennen.\nDer mobile Imbisswagen heißt jetzt Food Truck und das Konzept heißt: Kochen, wozu man Lust hat, etwas Neues auf den Markt bringen und Menschen begeistern.']] Sacrebleu: {'score': 59.025015694888644, 'counts': [33, 26, 22, 19], 'totals': [42, 41, 40, 39], 'precisions': [78.57142857142857, 63.41463414634146, 55.0, 48.717948717948715], 'bp': 0.9764716866522433, 'sys_len': 42, 'ref_len': 43} Bleu: {'bleu': 0.5902501569488864, 'precisions': [0.7857142857142857, 0.6341463414634146, 0.55, 0.48717948717948717], 'brevity_penalty': 0.976471686652243, 'length_ratio': 0.9767441860465116, 'translation_length': 42, 'reference_length': 43} Rouge: {'rouge1': 0.8, 'rouge2': 0.684931506849315, 'rougeL': 0.5066666666666667, 'rougeLsum': 0.8} Sari: {'sari': 35.35974469051699} Flesh Reading Ease: 80.55 ---------------------------------------- Source: ['Alles ist ganz frisch und bewegt sich zwischen preiswert und teuer.'] Prediction: ['Der französische Schweizer ist seit Jahren in den letzten Jahren geschützt.\nDas ist ein französischer Schweizer.\nDie Schweizerin hat sich mit einem französischen Aufenthalt aufgezeichnet.'] Label: [['Hier ist alles ganz frisch und bewegt sich zwischen preiswert und teuer.']] Sacrebleu: {'score': 1.7574239156849023, 'counts': [3, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [10.714285714285714, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.10714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1538461538461537, 'translation_length': 28, 'reference_length': 13} Rouge: {'rouge1': 0.0975609756097561, 'rouge2': 0.0, 'rougeL': 0.0975609756097561, 'rougeLsum': 0.0975609756097561} Sari: {'sari': 8.367003367003367} Flesh Reading Ease: 60.55 ---------------------------------------- Source: ['Streetfood bezeichnet Speisen und Getränke, die als Zwischenmahlzeit unterwegs auf der Straße, aber auch auf einem Markt oder Jahrmarkt angeboten werden.'] Prediction: ['Auf der Straße in Zürich werden Speisen und Getränke auf der Strecke geschickt.\nDie Zwischenmahlzeit wird auch auf einem Markt oder Jahrmarkt angeboten.'] Label: [['Streetfood bezeichnet Speisen und Getränke, die als Mahlzeit unterwegs auf der Straße, aber auch auf einem Markt oder Jahrmarkt angeboten werden.']] Sacrebleu: {'score': 32.998954725277905, 'counts': [15, 10, 6, 4], 'totals': [25, 24, 23, 22], 'precisions': [60.0, 41.666666666666664, 26.08695652173913, 18.181818181818183], 'bp': 1.0, 'sys_len': 25, 'ref_len': 24} Bleu: {'bleu': 0.3299895472527792, 'precisions': [0.6, 0.4166666666666667, 0.2608695652173913, 0.18181818181818182], 'brevity_penalty': 1.0, 'length_ratio': 1.0416666666666667, 'translation_length': 25, 'reference_length': 24} Rouge: {'rouge1': 0.693877551020408, 'rouge2': 0.5106382978723404, 'rougeL': 0.5306122448979592, 'rougeLsum': 0.5714285714285715} Sari: {'sari': 24.60320305350884} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['Der Vorteil der Trucks: Sie kommen auch an Standorte, an denen es keine Kantinen oder Restaurants gibt, sie zahlen keine hohen Mieten in den Innenstädten und können sich sehr flexibel auf die Wünsche ihrer Kunden einstellen.'] Prediction: ['Die Trucks kommen auch an Standorte.\nSie zahlen keine Kantinen oder Restaurants in den Innenstädten.'] Label: [['Der Vorteil der Trucks: Sie kommen auch an Standorte, an denen es keine Kantinen oder Restaurants gibt und können sich sehr flexibel auf die Wünsche ihrer Kunden einstellen.']] Sacrebleu: {'score': 13.608402677605293, 'counts': [11, 6, 4, 2], 'totals': [17, 16, 15, 14], 'precisions': [64.70588235294117, 37.5, 26.666666666666668, 14.285714285714286], 'bp': 0.4388799297915549, 'sys_len': 17, 'ref_len': 31} Bleu: {'bleu': 0.1360840267760529, 'precisions': [0.6470588235294118, 0.375, 0.26666666666666666, 0.14285714285714285], 'brevity_penalty': 0.43887992979155477, 'length_ratio': 0.5483870967741935, 'translation_length': 17, 'reference_length': 31} Rouge: {'rouge1': 0.47826086956521735, 'rouge2': 0.2727272727272727, 'rougeL': 0.3913043478260869, 'rougeLsum': 0.43478260869565216} Sari: {'sari': 26.279525452955692} Flesh Reading Ease: 73.05 ---------------------------------------- Source: ['“.Oder der „Kleiderkreisel“: Hinter dieser Plattform (www.kleiderkreisel.de) steckt die Tauschbörse für Kleidung, Accessoires und Selbstgemachtes.'] Prediction: ['Im Internet steckt eine neue Plattform für Kleiderkreisel.\nDie Tauschbörse für Selbstgemachtes steckt für Kleidung, Accessoires und Selbstgemachtes.'] Label: [['Oder der „Kleiderkreisel“: Hinter dieser Plattform (www.kleiderkreisel.de) steckt die Tauschbörse für Kleidung, Accessoires und Selbstgemachtes.']] Sacrebleu: {'score': 27.894543741963723, 'counts': [11, 7, 5, 4], 'totals': [21, 20, 19, 18], 'precisions': [52.38095238095238, 35.0, 26.31578947368421, 22.22222222222222], 'bp': 0.8668778997501817, 'sys_len': 21, 'ref_len': 24} Bleu: {'bleu': 0.2789454374196373, 'precisions': [0.5238095238095238, 0.35, 0.2631578947368421, 0.2222222222222222], 'brevity_penalty': 0.8668778997501817, 'length_ratio': 0.875, 'translation_length': 21, 'reference_length': 24} Rouge: {'rouge1': 0.5853658536585366, 'rouge2': 0.41025641025641024, 'rougeL': 0.5365853658536586, 'rougeLsum': 0.4878048780487805} Sari: {'sari': 20.320681113444273} Flesh Reading Ease: 54.0 ---------------------------------------- Source: ['Das Ganze funktioniert auch mit Büchern wie auf wie bei „Bookelo.com“:'] Prediction: ['Die Bücher haben einen neuen Song auf dem Bookelo-Gig aufgegeben.\nDas Ganze funktioniert auch mit Büchern.'] Label: [['Das Ganze funktioniert auch mit Büchern wie bei „Bookelo.com“:']] Sacrebleu: {'score': 27.499775953224148, 'counts': [7, 5, 4, 3], 'totals': [18, 17, 16, 15], 'precisions': [38.888888888888886, 29.41176470588235, 25.0, 20.0], 'bp': 1.0, 'sys_len': 18, 'ref_len': 12} Bleu: {'bleu': 0.2749977595322415, 'precisions': [0.3888888888888889, 0.29411764705882354, 0.25, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 18, 'reference_length': 12} Rouge: {'rouge1': 0.5333333333333333, 'rouge2': 0.42857142857142855, 'rougeL': 0.4666666666666667, 'rougeLsum': 0.5333333333333333} Sari: {'sari': 31.378205128205135} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['hier dankt die Gemeinde für eine reiche Ernte und sehr häufig gibt es eine Sammelaktion gegen den Hunger in der Welt.'] Prediction: ['Die Gemeinde Zürich führt für eine reiche Ernte eine Sammelaktion gegen den Hunger in der Welt.\nDie Gemeinde hatte für eine reiche Ernte für eine reiche Ernte gegen den Hunger in der Welt.'] Label: [['hier dankt die Gemeinde für eine reiche Ernte.']] Sacrebleu: {'score': 7.315986666459885, 'counts': [6, 3, 2, 1], 'totals': [35, 34, 33, 32], 'precisions': [17.142857142857142, 8.823529411764707, 6.0606060606060606, 3.125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 9} Bleu: {'bleu': 0.07315986666459885, 'precisions': [0.17142857142857143, 0.08823529411764706, 0.06060606060606061, 0.03125], 'brevity_penalty': 1.0, 'length_ratio': 3.888888888888889, 'translation_length': 35, 'reference_length': 9} Rouge: {'rouge1': 0.2978723404255319, 'rouge2': 0.22222222222222224, 'rougeL': 0.2978723404255319, 'rougeLsum': 0.2978723404255319} Sari: {'sari': 34.33198581214387} Flesh Reading Ease: 58.2 ---------------------------------------- Source: ['Hier erntet man um diese Zeit den beliebten Kürbis, den man wunderbar als Laterne mit grimmigem Gesicht schnitzen kann.'] Prediction: ['Der Schweizer Kürbis ist ein neuer Teil der Kürbis.\nImmer wieder erntet man den beliebten Kürbis, den man wunderbar als Laterne mit grimmigem Gesicht schnitzen kann.'] Label: [['Hier erntet man um diese Zeit den beliebten Kürbis, den man als Laterne mit grimmigem Gesicht schnitzen kann.']] Sacrebleu: {'score': 41.334724289458286, 'counts': [16, 13, 10, 8], 'totals': [29, 28, 27, 26], 'precisions': [55.172413793103445, 46.42857142857143, 37.03703703703704, 30.76923076923077], 'bp': 1.0, 'sys_len': 29, 'ref_len': 20} Bleu: {'bleu': 0.41334724289458274, 'precisions': [0.5517241379310345, 0.4642857142857143, 0.37037037037037035, 0.3076923076923077], 'brevity_penalty': 1.0, 'length_ratio': 1.45, 'translation_length': 29, 'reference_length': 20} Rouge: {'rouge1': 0.625, 'rouge2': 0.5217391304347826, 'rougeL': 0.625, 'rougeLsum': 0.625} Sari: {'sari': 24.620475310130484} Flesh Reading Ease: 67.55 ---------------------------------------- Source: ['Rund 200 Millionen Euro sollen nach ihren Schätzungen inzwischen in der Zeit um Halloween umgesetzt werden.'] Prediction: ['Der Bund hat einen grossen Trick-Treat mit 200 Millionen Euro gesetzt.\nDer Trick-Treat wird mit 200 Millionen Euro gesetzt.'] Label: [['Rund 200 Millionen Euro werden im Deutschen Verband der Spielwaren-Industrie (DVSI) inzwischen in der Zeit um Halloween umgesetzt.']] Sacrebleu: {'score': 7.2643397661757225, 'counts': [4, 2, 1, 0], 'totals': [21, 20, 19, 18], 'precisions': [19.047619047619047, 10.0, 5.2631578947368425, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.19047619047619047, 0.1, 0.05263157894736842, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 21, 'reference_length': 21} Rouge: {'rouge1': 0.25, 'rouge2': 0.10526315789473685, 'rougeL': 0.2, 'rougeLsum': 0.15} Sari: {'sari': 26.806758056758056} Flesh Reading Ease: 65.2 ---------------------------------------- Source: ['Für sie ist Halloween das drittwichtigste Ereignis des Jahres nach Weihnachten und Ostern.'] Prediction: ['Halloween ist das drittwichtigste Ereignis des Jahres.\nDas ist das drittwichtigste Ereignis des Jahres nach Weihnachten und Ostern.'] Label: [['Für die Süßwarenindustrie ist Halloween das drittwichtigste Ereignis des Jahres nach Weihnachten und Ostern.']] Sacrebleu: {'score': 47.75586214302964, 'counts': [12, 9, 8, 7], 'totals': [20, 19, 18, 17], 'precisions': [60.0, 47.36842105263158, 44.44444444444444, 41.1764705882353], 'bp': 1.0, 'sys_len': 20, 'ref_len': 15} Bleu: {'bleu': 0.4775586214302964, 'precisions': [0.6, 0.47368421052631576, 0.4444444444444444, 0.4117647058823529], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 20, 'reference_length': 15} Rouge: {'rouge1': 0.6470588235294118, 'rouge2': 0.5, 'rougeL': 0.5882352941176471, 'rougeLsum': 0.5882352941176471} Sari: {'sari': 46.86574074074074} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Von Halloween profitieren zahlreiche Wirtschaftszweige - nicht zuletzt die Süßwarenindustrie.'] Prediction: ['Die Süßwarenindustrie profitieren zahlreiche Wirtschaftszweige.\nDie Wirtschaftszweige sind zuletzt nicht mehr profitabel.'] Label: [['So backt der Bäcker Plätzchen in Gespensterform, es gibt Kostüme aller Art und Süßigkeiten in Monsterform.']] Sacrebleu: {'score': 2.1340743160056204, 'counts': [1, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [7.142857142857143, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 0.7514772930752859, 'sys_len': 14, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 0.751477293075286, 'length_ratio': 0.7777777777777778, 'translation_length': 14, 'reference_length': 18} Rouge: {'rouge1': 0.060606060606060615, 'rouge2': 0.0, 'rougeL': 0.060606060606060615, 'rougeLsum': 0.060606060606060615} Sari: {'sari': 43.51851851851852} Flesh Reading Ease: 16.05 ---------------------------------------- Source: ['Bunt umhäkelte Bäume, provozierende Graffitis wie Angela Merkel und Mario Draghi in einer Anspielung auf James Bonds „Casino Royale“, grotesk veränderte Werbeposter, Skulpturen aus Müll – all das ist Streetart.'] Prediction: ['Die Schweiz hat am Freitag ihre erste Woche geschlossen.\nDie Welt endete mit einem grossen Aufenthalt auf James Bonds.\nDie Welt wird von Bäume und Graffitis ausgezeichnet.'] Label: [['Bunt umhäkelte Bäume, provozierende Graffitis wie Angela Merkel und Mario Draghi in einer Anspielung auf James Bonds „Casino Royale“, veränderte Werbeposter, Skulpturen aus Müll – all das ist Streetart.']] Sacrebleu: {'score': 5.168146307192696, 'counts': [7, 2, 1, 0], 'totals': [30, 29, 28, 27], 'precisions': [23.333333333333332, 6.896551724137931, 3.5714285714285716, 1.8518518518518519], 'bp': 0.9048374180359595, 'sys_len': 30, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.23333333333333334, 0.06896551724137931, 0.03571428571428571, 0.0], 'brevity_penalty': 0.9048374180359595, 'length_ratio': 0.9090909090909091, 'translation_length': 30, 'reference_length': 33} Rouge: {'rouge1': 0.23333333333333334, 'rouge2': 0.10344827586206896, 'rougeL': 0.09999999999999999, 'rougeLsum': 0.19999999999999998} Sari: {'sari': 7.235011404366243} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Häufig ist Streetart kritisch und lenkt den Blick auf aktuelle politische und gesellschaftliche Ereignisse.'] Prediction: ['Streetart ist ein grosser Blick.\nDie Polizei hat einen grossen Aufruf.\nDie Polizei hat den Blick auf aktuelle politische und gesellschaftliche Ereignisse veröffentlicht.'] Label: [['Oft ist Streetart kritisch und lenkt den Blick auf aktuelle politische und gesellschaftliche Ereignisse.']] Sacrebleu: {'score': 28.32630234719515, 'counts': [11, 7, 6, 5], 'totals': [26, 25, 24, 23], 'precisions': [42.30769230769231, 28.0, 25.0, 21.73913043478261], 'bp': 1.0, 'sys_len': 26, 'ref_len': 15} Bleu: {'bleu': 0.28326302347195154, 'precisions': [0.4230769230769231, 0.28, 0.25, 0.21739130434782608], 'brevity_penalty': 1.0, 'length_ratio': 1.7333333333333334, 'translation_length': 26, 'reference_length': 15} Rouge: {'rouge1': 0.5263157894736842, 'rouge2': 0.3888888888888889, 'rougeL': 0.4736842105263159, 'rougeLsum': 0.4736842105263159} Sari: {'sari': 29.585317460317455} Flesh Reading Ease: 55.3 ---------------------------------------- Source: ['Die einen wollen alten und ungenutzten Kram entrümpeln und verkaufen und hoffen auf ein wenig Geld. Die anderen aber, die Käufer, Jäger und Stöberer, wollen das besondere Schnäppchen, das lang gesuchte Sammlerstück, und dabei spielt auch ein bisschen Abenteuer mit.'] Prediction: ['Einige Schweizer wollen sich alten und ungenutzten Kram entrümpeln und verkaufen.\nSie hoffen auf ein wenig Geld.\nDie anderen wollen das besondere Schnäppchen, das lang gesuchte Sammlerstück, und dabei spielt auch ein bisschen Abenteuer mit.'] Label: [['Die einen wollen alten und ungenutzten Trödel entrümpeln und verkaufen und hoffen auf ein bisschen Geld.\nDie anderen aber, die Käufer und Stöberer, wollen das Schnäppchen.']] Sacrebleu: {'score': 15.325648577837976, 'counts': [22, 11, 5, 1], 'totals': [40, 39, 38, 37], 'precisions': [55.0, 28.205128205128204, 13.157894736842104, 2.7027027027027026], 'bp': 1.0, 'sys_len': 40, 'ref_len': 30} Bleu: {'bleu': 0.15325648577837983, 'precisions': [0.55, 0.28205128205128205, 0.13157894736842105, 0.02702702702702703], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 40, 'reference_length': 30} Rouge: {'rouge1': 0.5797101449275363, 'rouge2': 0.3582089552238806, 'rougeL': 0.5217391304347826, 'rougeLsum': 0.5797101449275363} Sari: {'sari': 18.714023940725607} Flesh Reading Ease: 63.0 ---------------------------------------- Source: ['Im Gegensatz zu Frankreich und Belgien, wo es Flohmärkte seit dem späten 19. Jahrhundert gibt, fand der erste offizielle Flohmarkt in Deutschland 1976 in Hannover statt – so berichten es zumindest die Internetquellen. Private Flohmärkte, Garagenverkäufe und Tauschaktionen dürfte es aber schon viel länger geben - und sie gibt es seit neuestem wieder mehr.'] Prediction: ['In Frankreich und Belgien gibt es seit dem späten 19.\nJahrhundert mehr Flohmärkte.\nDas ist der erste offizielle Flohmarkt in Deutschland 1976 in Hannover statt.'] Label: [['Im Gegensatz zu Frankreich und Belgien, wo es Flohmärkte seit dem späten 19.\nJahrhundert gibt, fand der erste offizielle Flohmarkt in Deutschland 1976 in Hannover statt – so berichten es zumindest die Internetquellen.\nPrivate Flohmärkte, Garagenverkäufe, Trödelmärkte und Tauschaktionen dürfte es aber schon viel länger geben.']] Sacrebleu: {'score': 23.117822552747924, 'counts': [24, 16, 13, 10], 'totals': [28, 27, 26, 25], 'precisions': [85.71428571428571, 59.25925925925926, 50.0, 40.0], 'bp': 0.40948412515236426, 'sys_len': 28, 'ref_len': 53} Bleu: {'bleu': 0.23117822552747921, 'precisions': [0.8571428571428571, 0.5925925925925926, 0.5, 0.4], 'brevity_penalty': 0.40948412515236426, 'length_ratio': 0.5283018867924528, 'translation_length': 28, 'reference_length': 53} Rouge: {'rouge1': 0.5750000000000001, 'rouge2': 0.4358974358974359, 'rougeL': 0.5, 'rougeLsum': 0.5750000000000001} Sari: {'sari': 23.319895482799822} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['Eigentlich ist ein Flohmarkt privat, aber in den vergangenen Jahren haben sie sich sehr zum Leidwesen vieler Flohmarktliebhaber kommerzialisiert. Auch sind manche Standgebühren recht hoch, was den Gewinn dann empfindlich schmälert.'] Prediction: ['Viele Leidwesen haben sich zum Leidwesen vieler Flohmarktliebhaber kommerzialisiert.\nAuch Standgebühren recht hoch.'] Label: [['Eigentlich ist ein Flohmarkt für Privatleute, aber in den vergangenen Jahren sind immer mehr professionelle Händler dazu gekommen.\nAuch sind manche Standgebühren ziemlich hoch, was den Gewinn dann deutlich schmälert.']] Sacrebleu: {'score': 1.8622058529893606, 'counts': [5, 1, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [33.333333333333336, 7.142857142857143, 3.8461538461538463, 2.0833333333333335], 'bp': 0.28176928909495835, 'sys_len': 15, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.07142857142857142, 0.0, 0.0], 'brevity_penalty': 0.28176928909495835, 'length_ratio': 0.4411764705882353, 'translation_length': 15, 'reference_length': 34} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.043478260869565216, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 17.361039707530935} Flesh Reading Ease: 27.25 ---------------------------------------- Source: ['Da geht es nicht mehr um‘s Feilschen, sondern nur noch um‘s Geld.'] Prediction: ['Der Feilschen ist nicht mehr um den Feilschen.\nDas Geld geht nicht mehr um.'] Label: [['Da geht es dann nicht mehr um‘s Feilschen, sondern nur noch um‘s Geld.']] Sacrebleu: {'score': 6.437165254072419, 'counts': [6, 1, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [37.5, 6.666666666666667, 3.5714285714285716, 1.9230769230769231], 'bp': 1.0, 'sys_len': 16, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.375, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0666666666666667, 'translation_length': 16, 'reference_length': 15} Rouge: {'rouge1': 0.4827586206896552, 'rouge2': 0.14814814814814817, 'rougeL': 0.3448275862068965, 'rougeLsum': 0.4137931034482759} Sari: {'sari': 10.638111888111888} Flesh Reading Ease: 108.65 ---------------------------------------- Source: ['Doch auch dafür gibt es eine Gegenbewegung.'] Prediction: ['Die Schweizer Schweizer Schweizer Schweizer Schweizerinnen und Schweizer gewinnen ihre Gegenbewegung.\nDas gibt es für die Schweizer Schweizerinnen und Schweizer geschlossen.'] Label: [['Doch dafür gibt es eine Gegenbewegung.']] Sacrebleu: {'score': 4.657469807170696, 'counts': [4, 2, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [17.391304347826086, 9.090909090909092, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.09090909090909091, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2857142857142856, 'translation_length': 23, 'reference_length': 7} Rouge: {'rouge1': 0.27586206896551724, 'rouge2': 0.07407407407407407, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 22.3502886002886} Flesh Reading Ease: 52.5 ---------------------------------------- Source: ['Immer häufiger gibt es Flohmärkte für einen guten Zweck und Spezialmärkte etwa für Babysachen und Spielzeug, Bücher oder Antiquitäten.'] Prediction: ['Flohmärkte sind für einen guten Zweck und Spezialmärkte gesammelt.\nEs ist der erste Mal für die Antiquitäten.'] Label: [['Immer öfter gibt es Flohmärkte für einen guten Zweck und Spezialmärkte etwa für Babysachen und Spielzeug, Bücher oder Antiquitäten.']] Sacrebleu: {'score': 26.69741195693387, 'counts': [10, 6, 4, 3], 'totals': [19, 18, 17, 16], 'precisions': [52.63157894736842, 33.333333333333336, 23.529411764705884, 18.75], 'bp': 0.9000876262522591, 'sys_len': 19, 'ref_len': 21} Bleu: {'bleu': 0.26697411956933875, 'precisions': [0.5263157894736842, 0.3333333333333333, 0.23529411764705882, 0.1875], 'brevity_penalty': 0.9000876262522594, 'length_ratio': 0.9047619047619048, 'translation_length': 19, 'reference_length': 21} Rouge: {'rouge1': 0.6382978723404256, 'rouge2': 0.4444444444444445, 'rougeL': 0.5957446808510639, 'rougeLsum': 0.5531914893617023} Sari: {'sari': 20.132859029293662} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['Und es gibt die Mädchenflohmärkte: Nur für Frauen!'] Prediction: ['Frauen gibt es nur für Frauen.\nDie Mädchenflohmärkte sind die Frauen.'] Label: [['Und es gibt die Mädchenflohmärkte - nur für Frauen!']] Sacrebleu: {'score': 14.211672443220438, 'counts': [7, 2, 1, 0], 'totals': [13, 12, 11, 10], 'precisions': [53.84615384615385, 16.666666666666668, 9.090909090909092, 5.0], 'bp': 1.0, 'sys_len': 13, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.5384615384615384, 0.16666666666666666, 0.09090909090909091, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3, 'translation_length': 13, 'reference_length': 10} Rouge: {'rouge1': 0.8, 'rouge2': 0.5217391304347826, 'rougeL': 0.4799999999999999, 'rougeLsum': 0.7200000000000001} Sari: {'sari': 28.958333333333336} Flesh Reading Ease: 80.9 ---------------------------------------- Source: ['Hier werden auch topmoderne Kleidungsstücke, Schuhe und Accessoires gehandelt.'] Prediction: ['Top-Moderatorinnen und -Top-Moderator haben sich mit Kleidungsstücke, Schuhe und Accessoires gehandelt.\nAuch top-moderische Kleidungsstücke werden gehandelt.'] Label: [['Hier werden auch ganz modische Kleidungsstücke, Schuhe und Accessoires gehandelt.']] Sacrebleu: {'score': 31.872714733206724, 'counts': [8, 6, 5, 4], 'totals': [19, 18, 17, 16], 'precisions': [42.10526315789474, 33.333333333333336, 29.41176470588235, 25.0], 'bp': 1.0, 'sys_len': 19, 'ref_len': 12} Bleu: {'bleu': 0.3187271473320672, 'precisions': [0.42105263157894735, 0.3333333333333333, 0.29411764705882354, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.5833333333333333, 'translation_length': 19, 'reference_length': 12} Rouge: {'rouge1': 0.5, 'rouge2': 0.3333333333333333, 'rougeL': 0.37499999999999994, 'rougeLsum': 0.43749999999999994} Sari: {'sari': 53.863351560719984} Flesh Reading Ease: 8.2 ---------------------------------------- Source: ['Der typische Duft in Deutschland um die Weihnachtszeit – spätestens mit Beginn der Weihnachtsmärkte – enthält garantiert die Noten Vanille, Zimt, Mandel, vielleicht etwas Nelke und Kardamom.'] Prediction: ['In Deutschland werden die Noten Vanille, Zimt, Mandel, vielleicht etwas Nelke und Kardamom garantiert.\nDer Duft in Deutschland um die Weihnachtszeit enthält garantiert die Noten Vanille, Zimt, Mandel, vielleicht etwas Nelke und Kardamom.'] Label: [['Der typische Duft in Deutschland um die Weihnachtszeit enthält Vanille, Zimt, Mandel, vielleicht etwas Nelke und Kardamom.']] Sacrebleu: {'score': 40.64015626487119, 'counts': [20, 17, 15, 13], 'totals': [41, 40, 39, 38], 'precisions': [48.78048780487805, 42.5, 38.46153846153846, 34.21052631578947], 'bp': 1.0, 'sys_len': 41, 'ref_len': 21} Bleu: {'bleu': 0.4064015626487118, 'precisions': [0.4878048780487805, 0.425, 0.38461538461538464, 0.34210526315789475], 'brevity_penalty': 1.0, 'length_ratio': 1.9523809523809523, 'translation_length': 41, 'reference_length': 21} Rouge: {'rouge1': 0.6538461538461539, 'rouge2': 0.5599999999999999, 'rougeL': 0.6538461538461539, 'rougeLsum': 0.6538461538461539} Sari: {'sari': 58.70463361713072} Flesh Reading Ease: 52.35 ---------------------------------------- Source: ['Spekulatius, Printen, Stollen und Plätzchen haben alle ihren ganz typischen Geschmack.'] Prediction: ['Im Alter von 99 Jahren werden im Alter von 99 Jahren etwas mehr als mehr als mehr als mehr als mehr als mehr als 20 Jahre altes Leben geschmackt.\nIm Text sind Spekulatius und Plätzchen im Geschmack ganz typisch gewesen.'] Label: [['Spekulatius, Printen, Stollen und andere Weihnachtsplätzchen haben alle ihren ganz typischen Geschmack.']] Sacrebleu: {'score': 1.3058944351862714, 'counts': [5, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [11.904761904761905, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.11904761904761904, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8, 'translation_length': 42, 'reference_length': 15} Rouge: {'rouge1': 0.18518518518518517, 'rouge2': 0.0, 'rougeL': 0.14814814814814817, 'rougeLsum': 0.14814814814814817} Sari: {'sari': 10.194045720361512} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['Eine davon sind die Frankfurter Bethmännchen, ein Naschwerk aus Marzipan.'] Prediction: ['In den USA wurden in den vergangenen Tagen mehrere Frauen aufgestellt.\nSie sind in den vergangenen Tagen gefährlich.\nSie waren dabei auf den Handel geladen.'] Label: [['Eine davon sind die Frankfurter Bethmännchen.']] Sacrebleu: {'score': 1.5880117714047368, 'counts': [2, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [7.142857142857143, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 28, 'reference_length': 7} Rouge: {'rouge1': 0.060606060606060615, 'rouge2': 0.0, 'rougeL': 0.060606060606060615, 'rougeLsum': 0.060606060606060615} Sari: {'sari': 22.971380471380474} Flesh Reading Ease: 66.4 ---------------------------------------- Source: ['Ihr Erfinder ist allerdings ein Franzose, der für die Bankiersfamilie Bethmann gekocht und gebacken hat.'] Prediction: ['Ein Franzose hat für die Bankiersfamilie Bethmann gekocht und gebacken.\nIhr Erfinder ist ein Franzose.'] Label: [['Ihr Erfinder ist allerdings ein Franzose, der für die Bankiersfamilie Bethmann gekocht hat.']] Sacrebleu: {'score': 32.934059711691795, 'counts': [12, 7, 4, 2], 'totals': [17, 16, 15, 14], 'precisions': [70.58823529411765, 43.75, 26.666666666666668, 14.285714285714286], 'bp': 1.0, 'sys_len': 17, 'ref_len': 15} Bleu: {'bleu': 0.329340597116918, 'precisions': [0.7058823529411765, 0.4375, 0.26666666666666666, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 1.1333333333333333, 'translation_length': 17, 'reference_length': 15} Rouge: {'rouge1': 0.7999999999999999, 'rouge2': 0.5714285714285715, 'rougeL': 0.5333333333333333, 'rougeLsum': 0.7333333333333334} Sari: {'sari': 31.544431077899638} Flesh Reading Ease: 55.5 ---------------------------------------- Source: ['Marzipan, sehr feiner Zucker und Eiweiß werden vermischt, abgerundet mit Zitrone.'] Prediction: ['Zuletzt feiert derzeit derzeit der Zucker-Konzert mit dem Coronavirus.\nIn der neuen Folge ist der Zitrone-Konzert von Marzipan.\nDie beiden werden sehr feine Zucker und Eiweiß werden vermischt.'] Label: [['Sie bestehen aus Marzipan, Zucker und Eiweiß und etwas Zitrone.']] Sacrebleu: {'score': 5.072624986933127, 'counts': [5, 2, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [16.129032258064516, 6.666666666666667, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.16129032258064516, 0.06666666666666667, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5833333333333335, 'translation_length': 31, 'reference_length': 12} Rouge: {'rouge1': 0.25, 'rouge2': 0.10526315789473684, 'rougeL': 0.2, 'rougeLsum': 0.2} Sari: {'sari': 41.898148148148145} Flesh Reading Ease: 53.7 ---------------------------------------- Source: ['Sie enthalten die Gewürze Kardamom, Gewürznelke und Zimt und viel Butter.'] Prediction: ['Zum Butter-Stern ist die gewürze Kardamom, Gewürznelke und Zimt-Zimt-Stern.\nDie Welt ist so rich, dass sie so rich werden.'] Label: [['Sie enthalten die Gewürze Kardamom, Gewürznelke, Zimt und viel Butter.']] Sacrebleu: {'score': 7.575731225158963, 'counts': [7, 2, 1, 0], 'totals': [23, 22, 21, 20], 'precisions': [30.434782608695652, 9.090909090909092, 4.761904761904762, 2.5], 'bp': 1.0, 'sys_len': 23, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.30434782608695654, 0.09090909090909091, 0.047619047619047616, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7692307692307692, 'translation_length': 23, 'reference_length': 13} Rouge: {'rouge1': 0.5555555555555556, 'rouge2': 0.29411764705882354, 'rougeL': 0.38888888888888895, 'rougeLsum': 0.4444444444444444} Sari: {'sari': 26.124338624338623} Flesh Reading Ease: 76.9 ---------------------------------------- Source: ['Das Gebäck stellt traditionell die Nikolausgeschichte dar, aber es gibt heute auch belgische, niederländische oder deutsche Motive, etwa Schiffe oder Windmühlen.'] Prediction: ['Ein Gebäck ist auf der Nikolausgeschichte.\nEs gibt auch belgische, niederländische oder deutsche Motive.\nAuch Schiffe und Windmühlen sind traditionell dar.'] Label: [['Das Gebäck stellt traditionell die Nikolausgeschichte dar, aber es gibt heute auch belgische, niederländische oder deutsche Motive.']] Sacrebleu: {'score': 30.793937214153164, 'counts': [13, 7, 6, 5], 'totals': [25, 24, 23, 22], 'precisions': [52.0, 29.166666666666668, 26.08695652173913, 22.727272727272727], 'bp': 1.0, 'sys_len': 25, 'ref_len': 20} Bleu: {'bleu': 0.30793937214153166, 'precisions': [0.52, 0.2916666666666667, 0.2608695652173913, 0.22727272727272727], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 25, 'reference_length': 20} Rouge: {'rouge1': 0.6511627906976745, 'rouge2': 0.3902439024390244, 'rougeL': 0.5581395348837209, 'rougeLsum': 0.6511627906976745} Sari: {'sari': 30.48807085300893} Flesh Reading Ease: 50.15 ---------------------------------------- Source: ['Auf keinem deutschen Weihnachtsteller fehlt der Klassiker: Vanillekipferl.'] Prediction: ['Ein deutscher Weihnachtsteller fehlt in der Schweiz.\nDer Weihnachtsteller ist auf der Flucht.'] Label: [['Der Klassiker aber sind die Vanillekipferl.']] Sacrebleu: {'score': 3.1251907639724417, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.142857142857143, 'translation_length': 15, 'reference_length': 7} Rouge: {'rouge1': 0.10526315789473684, 'rouge2': 0.0, 'rougeL': 0.10526315789473684, 'rougeLsum': 0.10526315789473684} Sari: {'sari': 48.28703703703703} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['Jeder Deutsche kennt den ausschließlich an Silvester im deutschen Fernsehen seit 1963 ausgestrahlten Sketch „Dinner for one“:'] Prediction: ['Ein ausschließlich an Silvester im deutschen Fernsehen kennt seit 1963 ausgestrahlten Sketch aus.\nDer Berner Silvester hatte seit 1963 ausgestrahlten Desserts geschafft.'] Label: [['Jeder Deutsche kennt den Silvester-Sketch im deutschen Fernsehen „Dinner for one“:']] Sacrebleu: {'score': 6.2931739244581335, 'counts': [4, 2, 1, 0], 'totals': [24, 23, 22, 21], 'precisions': [16.666666666666668, 8.695652173913043, 4.545454545454546, 2.380952380952381], 'bp': 1.0, 'sys_len': 24, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.08695652173913043, 0.045454545454545456, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 24, 'reference_length': 12} Rouge: {'rouge1': 0.3428571428571428, 'rouge2': 0.12121212121212123, 'rougeL': 0.22857142857142854, 'rougeLsum': 0.22857142857142854} Sari: {'sari': 21.224747474747474} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Wenn man sich um Mitternacht zuprostet, heißt es „Prost Neujahr“.'] Prediction: ['Die Schweiz hat sich am Sonntag um die Schweiz zu Ende Mai entschieden.\nDie Schweiz hat sich mit einem Sieg auf dem Weg zu tun.\nDie Schweiz ist vor allem auf der Suche.'] Label: [['Wenn man um Mitternacht mit Sekt anstößt, heißt es „Prost Neujahr“.']] Sacrebleu: {'score': 1.3494116947566301, 'counts': [3, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [8.333333333333334, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.769230769230769, 'translation_length': 36, 'reference_length': 13} Rouge: {'rouge1': 0.08695652173913043, 'rouge2': 0.0, 'rougeL': 0.08695652173913043, 'rougeLsum': 0.08695652173913043} Sari: {'sari': 17.77033152033152} Flesh Reading Ease: 98.8 ---------------------------------------- Source: ['Berlin, so hat eine Umfrage von Bitkom, dem Digitalverband Deutschlands ergeben, hat unter den deutschen Städten einen sehr guten Ruf unter den Unternehmensgründern.'] Prediction: ['Der Digitalverband Deutschlands hat einen sehr guten Ruf unter den Unternehmensgründern.\nDie deutsche Städte haben eine Umfrage von Bitkom ergeben.'] Label: [['Berlin, so zeigte eine Umfrage von Bitkom, dem Digitalverband Deutschlands, hat unter den deutschen Städten einen sehr guten Ruf unter den Unternehmensgründern.']] Sacrebleu: {'score': 38.42485782764102, 'counts': [15, 11, 8, 6], 'totals': [22, 21, 20, 19], 'precisions': [68.18181818181819, 52.38095238095238, 40.0, 31.57894736842105], 'bp': 0.8337529180751805, 'sys_len': 22, 'ref_len': 26} Bleu: {'bleu': 0.38424857827641024, 'precisions': [0.6818181818181818, 0.5238095238095238, 0.4, 0.3157894736842105], 'brevity_penalty': 0.8337529180751805, 'length_ratio': 0.8461538461538461, 'translation_length': 22, 'reference_length': 26} Rouge: {'rouge1': 0.6956521739130435, 'rouge2': 0.5454545454545454, 'rougeL': 0.4782608695652174, 'rougeLsum': 0.6521739130434783} Sari: {'sari': 30.00394507807229} Flesh Reading Ease: 41.3 ---------------------------------------- Source: ['Etwa 73 Prozent aller Gründer sagen, dass die Hauptstadt der beste Ort ist für ein Start-up.'] Prediction: ['Ein Start-Up hat eine Hauptstadt der beste Ort für ein Start-Up.\n73 Prozent aller Gründer sagen, dass die Hauptstadt der beste Ort ist für ein Start-up.'] Label: [['Etwa 73 Prozent aller Gründer sagen, dass die Hauptstadt der beste Ort für ein Start-up ist.']] Sacrebleu: {'score': 49.431633619549125, 'counts': [17, 14, 13, 11], 'totals': [29, 28, 27, 26], 'precisions': [58.62068965517241, 50.0, 48.148148148148145, 42.30769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 18} Bleu: {'bleu': 0.4943163361954914, 'precisions': [0.5862068965517241, 0.5, 0.48148148148148145, 0.4230769230769231], 'brevity_penalty': 1.0, 'length_ratio': 1.6111111111111112, 'translation_length': 29, 'reference_length': 18} Rouge: {'rouge1': 0.7058823529411765, 'rouge2': 0.6530612244897959, 'rougeL': 0.6666666666666666, 'rougeLsum': 0.6666666666666666} Sari: {'sari': 36.55202821869488} Flesh Reading Ease: 73.4 ---------------------------------------- Source: ['Die gute Infrastruktur und im Vergleich zu anderen Großstädten niedrige Mieten und Lebenshaltungskosten machen die Stadt attraktiv.„Outfittery“, ein Portal, das Mode für Männer anbietet, hat inzwischen 200.000 Kunden.'] Prediction: ['Die Stadt Zürich hat einen neuen Online-Mieter lanciert.\nIn der neuen Version ist Outfittery ein Comeback.\nDie gute Infrastruktur und der Lebenshaltungskosten machen die Stadt attraktiv.'] Label: [['Die gute Infrastruktur und im Vergleich zu anderen Großstädten niedrige Mieten und Lebenshaltungskosten machen die Stadt attraktiv.\n„Outfittery“ ist ein Portal für Männermode.\nEs hat inzwischen 200.000 Kunden.']] Sacrebleu: {'score': 24.884189102435403, 'counts': [15, 8, 6, 4], 'totals': [29, 28, 27, 26], 'precisions': [51.724137931034484, 28.571428571428573, 22.22222222222222, 15.384615384615385], 'bp': 0.9333588643117228, 'sys_len': 29, 'ref_len': 31} Bleu: {'bleu': 0.248841891024354, 'precisions': [0.5172413793103449, 0.2857142857142857, 0.2222222222222222, 0.15384615384615385], 'brevity_penalty': 0.9333588643117227, 'length_ratio': 0.9354838709677419, 'translation_length': 29, 'reference_length': 31} Rouge: {'rouge1': 0.4262295081967213, 'rouge2': 0.23728813559322032, 'rougeL': 0.2950819672131148, 'rougeLsum': 0.3934426229508197} Sari: {'sari': 31.16949031705681} Flesh Reading Ease: 48.45 ---------------------------------------- Source: ['Männer suchen sich ihre Sachen hier nicht einfach aus, sondern bekommen eine Stilberatung und anschließend ein Paket mit einem kompletten Outfit und mehreren Kombinationen zugestellt.'] Prediction: ['Männer machen sich ihre Sachen hier nicht einfach aus.\nSie bekommen eine Stilberatung und ein Paket mit einem kompletten Outfit.'] Label: [['Männer suchen sich ihre Sachen hier nicht einfach aus, sondern bekommen eine Beratung.\nEin Paket mit einem kompletten Outfit und mehreren Kombinationen wird nach Hause geliefert.']] Sacrebleu: {'score': 35.0901808073478, 'counts': [18, 11, 8, 6], 'totals': [22, 21, 20, 19], 'precisions': [81.81818181818181, 52.38095238095238, 40.0, 31.57894736842105], 'bp': 0.7274705090242837, 'sys_len': 22, 'ref_len': 29} Bleu: {'bleu': 0.35090180807347787, 'precisions': [0.8181818181818182, 0.5238095238095238, 0.4, 0.3157894736842105], 'brevity_penalty': 0.7274705090242835, 'length_ratio': 0.7586206896551724, 'translation_length': 22, 'reference_length': 29} Rouge: {'rouge1': 0.75, 'rouge2': 0.5652173913043479, 'rougeL': 0.7083333333333334, 'rougeLsum': 0.7083333333333334} Sari: {'sari': 34.541869908883086} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Kaufen müssen sie nur, was gefällt.'] Prediction: ['Eine Frau muss sich nicht mehr aufmerksam machen.\nSie muss sich nur nur gefällt sein.'] Label: [['Gekauft werden muss nur das, was einem gefällt.']] Sacrebleu: {'score': 3.2342452920962157, 'counts': [4, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [23.529411764705884, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7, 'translation_length': 17, 'reference_length': 10} Rouge: {'rouge1': 0.32, 'rouge2': 0.08695652173913045, 'rougeL': 0.32, 'rougeLsum': 0.32} Sari: {'sari': 50.19841269841271} Flesh Reading Ease: 96.45 ---------------------------------------- Source: ['Dies sind die zentralen Ergebnisse einer Studie von McKinsey & Company mit dem Titel "Berlin gründet – Fünf Initiativen für die Start-up-Metropole Europas".Berlin hat ein großes Interesse daran, dass sich Unternehmensgründer hier ansiedeln – denn das bringt Steuereinnahmen und zieht Menschen an.'] Prediction: ['Eine Studie von McKinsey & Company gründet, dass Unternehmensgründer hier ansiedeln, denn das bringt Steuereinnahmen und zieht Menschen an.\nDas zeigt eine Studie von McKinsey & Company.'] Label: [['Berlin hat ein großes Interesse daran, dass sich Unternehmensgründer hier ansiedeln.']] Sacrebleu: {'score': 5.875581881262648, 'counts': [6, 3, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [19.35483870967742, 10.0, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.1935483870967742, 0.1, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3846153846153846, 'translation_length': 31, 'reference_length': 13} Rouge: {'rouge1': 0.25, 'rouge2': 0.15789473684210525, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 30.313833746260816} Flesh Reading Ease: 56.35 ---------------------------------------- Source: ['Gründer bekommen Unterstützung und Förderung seitens der Stadt, etwa über Initiativen wie „Gründen und Fördern“.'] Prediction: ['In der Stadt Bern werden Unterstützung und Förderung über Initiativen geschützt.\nGründer bekommen Unterstützung und Förderung seitens der Stadt.'] Label: [['Gründer bekommen Unterstützung und Förderung von der Stadt, etwa über Initiativen wie „Gründen und Fördern“.']] Sacrebleu: {'score': 22.914213083896932, 'counts': [11, 6, 3, 2], 'totals': [21, 20, 19, 18], 'precisions': [52.38095238095238, 30.0, 15.789473684210526, 11.11111111111111], 'bp': 1.0, 'sys_len': 21, 'ref_len': 17} Bleu: {'bleu': 0.2291421308389693, 'precisions': [0.5238095238095238, 0.3, 0.15789473684210525, 0.1111111111111111], 'brevity_penalty': 1.0, 'length_ratio': 1.2352941176470589, 'translation_length': 21, 'reference_length': 17} Rouge: {'rouge1': 0.6222222222222222, 'rouge2': 0.46511627906976744, 'rougeL': 0.4444444444444445, 'rougeLsum': 0.5333333333333332} Sari: {'sari': 16.995698383598736} Flesh Reading Ease: 53.5 ---------------------------------------- Source: ['213 Kilo Verpackungsmüll kommen auf jeden einzelnen Deutschen.'] Prediction: ['Das Coronavirus hat auf den USA 213 Kilo Verpackungsmüll gefunden.\nDie Verpackungsmüllen werden auf jeden einzelnen Deutschen ausgestrahlt.'] Label: [['213 Kilo Verpackungsmüll erzeugt jeder einzelne Deutsche.']] Sacrebleu: {'score': 7.658412276041004, 'counts': [4, 2, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [20.0, 10.526315789473685, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.10526315789473684, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 20, 'reference_length': 8} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.23076923076923078, 'rougeL': 0.28571428571428575, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 47.817460317460316} Flesh Reading Ease: 42.3 ---------------------------------------- Source: ['Hier werden Leichtverpackungen von privaten Verbrauchern gesammelt, sortiert und wiederverwertet.'] Prediction: ['Der Bundesrat will mit privaten Verbrauchern leicht verpacken.\nDer Bund will mit einer Verpackung von privaten Verbrauchern wiederverwertet werden.'] Label: [['Hier werden Leichtverpackungen gesammelt, sortiert und wiederverwertet.']] Sacrebleu: {'score': 2.3901021968803136, 'counts': [3, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [14.285714285714286, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 21, 'reference_length': 9} Rouge: {'rouge1': 0.15384615384615385, 'rouge2': 0.0, 'rougeL': 0.07692307692307693, 'rougeLsum': 0.07692307692307693} Sari: {'sari': 14.444444444444446} Flesh Reading Ease: 47.65 ---------------------------------------- Source: ['Schon 1991 hat die deutsche Bundesregierung die Verpackungsverordnung erlassen. Danach sind die Hersteller zur Rücknahme ihrer Verpackungen verpflichtet.'] Prediction: ['Die deutsche Bundesregierung hat die Verpackungsverordnung erlassen.\nSie hat die Hersteller zur Rücknahme ihrer Verpackungen verpflichtet.'] Label: [['Schon im Jahr 1991 ist die Verpackungsverordnung entstanden.\nDanach müssen die Hersteller ihre Verpackungen zurücknehmen.']] Sacrebleu: {'score': 6.986768364373987, 'counts': [7, 2, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [38.888888888888886, 11.764705882352942, 3.125, 1.6666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.3888888888888889, 0.11764705882352941, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0588235294117647, 'translation_length': 18, 'reference_length': 17} Rouge: {'rouge1': 0.35294117647058826, 'rouge2': 0.125, 'rougeL': 0.29411764705882354, 'rougeLsum': 0.29411764705882354} Sari: {'sari': 31.732580037664786} Flesh Reading Ease: 31.6 ---------------------------------------- Source: ['Integration ist das Wort, das im Zusammenhang mit dem Thema Flüchtlinge die wichtigste Bedeutung hat.'] Prediction: ['Im Zusammenhang mit dem Thema Flüchtlinge hat das Wort der Wichtigste Bedeutung der Welt.\nDas Wort ist das Wort, das im Zusammenhang mit dem Thema Flüchtlinge die wichtigste Bedeutung hat.'] Label: [['Integration hat im Zusammenhang mit dem Thema Flüchtlinge eine große Bedeutung.']] Sacrebleu: {'score': 15.313050800061726, 'counts': [9, 5, 4, 3], 'totals': [33, 32, 31, 30], 'precisions': [27.272727272727273, 15.625, 12.903225806451612, 10.0], 'bp': 1.0, 'sys_len': 33, 'ref_len': 12} Bleu: {'bleu': 0.1531305080006172, 'precisions': [0.2727272727272727, 0.15625, 0.12903225806451613, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 33, 'reference_length': 12} Rouge: {'rouge1': 0.4, 'rouge2': 0.27906976744186046, 'rougeL': 0.4, 'rougeLsum': 0.35555555555555557} Sari: {'sari': 41.995370370370374} Flesh Reading Ease: 65.55 ---------------------------------------- Source: ['Wie kommt man in einem fremden Land an einer fremden Universität zurecht? Denn ohne Deutschkenntnisse und Wissen, wie was warum funktioniert, wird es mit der Integration schwierig.'] Prediction: ['In der Schweiz kommt man in einem fremden Land an einer fremden Universität zurecht.\nDenn ohne Deutschkenntnisse und Wissen, wie was warum funktioniert, wird es mit der Integration schwierig.'] Label: [['Wie kommt man in einem fremden Land an einer fremden Universität zurecht?\nDenn ohne Deutschkenntnisse und Wissen, wie was warum funktioniert, wird Integration schwierig.']] Sacrebleu: {'score': 67.45409323444204, 'counts': [26, 23, 20, 17], 'totals': [33, 32, 31, 30], 'precisions': [78.78787878787878, 71.875, 64.51612903225806, 56.666666666666664], 'bp': 1.0, 'sys_len': 33, 'ref_len': 28} Bleu: {'bleu': 0.6745409323444207, 'precisions': [0.7878787878787878, 0.71875, 0.6451612903225806, 0.5666666666666667], 'brevity_penalty': 1.0, 'length_ratio': 1.1785714285714286, 'translation_length': 33, 'reference_length': 28} Rouge: {'rouge1': 0.8727272727272728, 'rouge2': 0.830188679245283, 'rougeL': 0.8727272727272728, 'rougeLsum': 0.8727272727272728} Sari: {'sari': 27.90086298084274} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['Das trifft natürlich auf alle ausländischen Studierenden zu, in besonderem Maße aber auf Flüchtlinge.'] Prediction: ['Ausländische Studierenden trifft auf Maße auf Flüchtlinge.\nDiese trifft natürlich auf alle ausländischen Studierenden zu.'] Label: [['Das trifft natürlich auf alle ausländischen Studierenden zu, besonders aber auf Flüchtlinge.']] Sacrebleu: {'score': 42.818185319516076, 'counts': [10, 8, 6, 4], 'totals': [17, 16, 15, 14], 'precisions': [58.8235294117647, 50.0, 40.0, 28.571428571428573], 'bp': 1.0, 'sys_len': 17, 'ref_len': 14} Bleu: {'bleu': 0.42818185319516083, 'precisions': [0.5882352941176471, 0.5, 0.4, 0.2857142857142857], 'brevity_penalty': 1.0, 'length_ratio': 1.2142857142857142, 'translation_length': 17, 'reference_length': 14} Rouge: {'rouge1': 0.6857142857142857, 'rouge2': 0.6060606060606061, 'rougeL': 0.5142857142857143, 'rougeLsum': 0.6857142857142857} Sari: {'sari': 45.5163859673622} Flesh Reading Ease: 37.95 ---------------------------------------- Source: ['An der Universität zu Köln unterstützen internationale Medizinstudierende der Association of International Students (AIMS) andere internationale Studierende.'] Prediction: ['Die Universität zu Köln unterstützt internationale Medizinstudierende der Association of International Students (AIMS) andere internationale Studierende.\nDie Studierenden unterstützen internationale Medizinstudierende der Association of International Students (AIMS) andere internationale Studierende.'] Label: [['An der Universität zu Köln unterstützen internationale Medizinstudenten von der Association of International Students (AIMS) andere internationale Studierende.']] Sacrebleu: {'score': 36.44752842526009, 'counts': [18, 14, 11, 9], 'totals': [36, 35, 34, 33], 'precisions': [50.0, 40.0, 32.35294117647059, 27.272727272727273], 'bp': 1.0, 'sys_len': 36, 'ref_len': 21} Bleu: {'bleu': 0.364475284252601, 'precisions': [0.5, 0.4, 0.3235294117647059, 0.2727272727272727], 'brevity_penalty': 1.0, 'length_ratio': 1.7142857142857142, 'translation_length': 36, 'reference_length': 21} Rouge: {'rouge1': 0.6545454545454545, 'rouge2': 0.5660377358490566, 'rougeL': 0.6181818181818182, 'rougeLsum': 0.6181818181818182} Sari: {'sari': 28.9280652768499} Flesh Reading Ease: -45.61 ---------------------------------------- Source: ['Und das bedeutet vor allem: Sie unterstützen im Alltag, begleiten sie beim Studium.'] Prediction: ['Die Schweizer Schweizer unterstützen im Alltag.\nSie unterstützen im Alltag, begleiten sie beim Studium.'] Label: [['Und das bedeutet vor allem: Sie bieten Unterstützung im Alltag und beim Studium.']] Sacrebleu: {'score': 11.203754340102181, 'counts': [6, 3, 1, 0], 'totals': [17, 16, 15, 14], 'precisions': [35.294117647058826, 18.75, 6.666666666666667, 3.5714285714285716], 'bp': 1.0, 'sys_len': 17, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.35294117647058826, 0.1875, 0.06666666666666667, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1333333333333333, 'translation_length': 17, 'reference_length': 15} Rouge: {'rouge1': 0.39999999999999997, 'rouge2': 0.14285714285714288, 'rougeL': 0.39999999999999997, 'rougeLsum': 0.39999999999999997} Sari: {'sari': 12.718253968253968} Flesh Reading Ease: 56.0 ---------------------------------------- Source: ['Die Friedrich-Ebert-Stiftung hat ausgerechnet, dass bis zu 50.000 studierwillige Flüchtlinge an die deutschen Universitäten kommen.'] Prediction: ['Bis zu 50.000 studierwillige Flüchtlinge kommen an die deutschen Universitäten.\nDie Friedrich-Ebert-Stiftung hat ausgerechnet, dass bis zu 50.000 studierwillige Flüchtlinge an die deutschen Universitäten kommen.'] Label: [['Die Friedrich-Ebert-Stiftung hat ausgerechnet, dass bis zu 50.000 Flüchtlinge an die deutschen Universitäten kommen.']] Sacrebleu: {'score': 48.361362520288296, 'counts': [16, 14, 12, 10], 'totals': [28, 27, 26, 25], 'precisions': [57.142857142857146, 51.851851851851855, 46.15384615384615, 40.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 16} Bleu: {'bleu': 0.4836136252028828, 'precisions': [0.5714285714285714, 0.5185185185185185, 0.46153846153846156, 0.4], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 28, 'reference_length': 16} Rouge: {'rouge1': 0.7307692307692308, 'rouge2': 0.6799999999999999, 'rougeL': 0.7307692307692308, 'rougeLsum': 0.7307692307692308} Sari: {'sari': 71.86081242532856} Flesh Reading Ease: 39.15 ---------------------------------------- Source: ['Da viele Flüchtlinge nicht immer alle Papiere haben, wird es schon bald nach Angaben der Kultusministerkonferenz ein „dreistufiges Verfahren zur Studierfähigkeit" geben.'] Prediction: ['Viele Flüchtlinge haben nicht immer alle Papiere.\nDas hat ein "dreistufiges Verfahren zur Studierfähigkeit" geben.'] Label: [['Da viele Flüchtlinge nicht immer alle Papiere haben, wird es schon bald ein „dreistufiges Verfahren zur Studierfähigkeit" geben.']] Sacrebleu: {'score': 36.42899449507731, 'counts': [13, 8, 6, 4], 'totals': [19, 18, 17, 16], 'precisions': [68.42105263157895, 44.44444444444444, 35.294117647058826, 25.0], 'bp': 0.9000876262522591, 'sys_len': 19, 'ref_len': 21} Bleu: {'bleu': 0.36428994495077327, 'precisions': [0.6842105263157895, 0.4444444444444444, 0.35294117647058826, 0.25], 'brevity_penalty': 0.9000876262522594, 'length_ratio': 0.9047619047619048, 'translation_length': 19, 'reference_length': 21} Rouge: {'rouge1': 0.8108108108108107, 'rouge2': 0.6285714285714286, 'rougeL': 0.7567567567567567, 'rougeLsum': 0.7567567567567567} Sari: {'sari': 31.870405560000396} Flesh Reading Ease: 43.8 ---------------------------------------- Source: ['Köln entwickelte sich im 2. und 3. Jahrhundert nach Christus zu einer der bedeutendsten Städte des römischen Reiches und lockte Händler und Handwerker von weit her an.'] Prediction: ['In Köln wurde eine bedeutende Städte des römischen Reiches entwickelt.\nDie Händler und Handwerker entwickelten sich nach Christus zu einer bedeutendsten Städte.'] Label: [['Die Stadt entwickelte sich im 2. und 3.\nJahrhundert nach Christus zu einer der bedeutendsten Städte des römischen Reiches.\nSie lockte Händler und Handwerker aus allen Ländern an.']] Sacrebleu: {'score': 19.641765981145184, 'counts': [16, 9, 5, 2], 'totals': [24, 23, 22, 21], 'precisions': [66.66666666666667, 39.130434782608695, 22.727272727272727, 9.523809523809524], 'bp': 0.7165313105737893, 'sys_len': 24, 'ref_len': 32} Bleu: {'bleu': 0.19641765981145187, 'precisions': [0.6666666666666666, 0.391304347826087, 0.22727272727272727, 0.09523809523809523], 'brevity_penalty': 0.7165313105737893, 'length_ratio': 0.75, 'translation_length': 24, 'reference_length': 32} Rouge: {'rouge1': 0.5762711864406779, 'rouge2': 0.42105263157894735, 'rougeL': 0.3389830508474576, 'rougeLsum': 0.5762711864406779} Sari: {'sari': 28.868272156638586} Flesh Reading Ease: 52.0 ---------------------------------------- Source: ['Typisch heute für Köln: Sobald eine Baustelle entsteht, finden sich in den Tiefen der Erde Reste von Römerbauwerken.'] Prediction: ['In Köln sind die Baustellen eines Baustellen entstehen.\nSobald eine Baustelle entsteht, finden sich in den Tiefen der Erde Reste von Römerbauwerken.'] Label: [['Noch immer finden sich in den Tiefen der Erde Reste von Römerbauwerken.']] Sacrebleu: {'score': 40.188875403207, 'counts': [11, 10, 9, 8], 'totals': [25, 24, 23, 22], 'precisions': [44.0, 41.666666666666664, 39.130434782608695, 36.36363636363637], 'bp': 1.0, 'sys_len': 25, 'ref_len': 13} Bleu: {'bleu': 0.40188875403207003, 'precisions': [0.44, 0.4166666666666667, 0.391304347826087, 0.36363636363636365], 'brevity_penalty': 1.0, 'length_ratio': 1.9230769230769231, 'translation_length': 25, 'reference_length': 13} Rouge: {'rouge1': 0.5945945945945945, 'rouge2': 0.5714285714285714, 'rougeL': 0.5945945945945945, 'rougeLsum': 0.5945945945945945} Sari: {'sari': 59.41856452726019} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Seine lange Geschichte begann schon im Jahr 800, das erste Kirchengebäude war eine wichtige Wallfahrtskirche. 1238 wurde der Grundstein des gotischen Baus gelegt, offiziell fertig war er dann 1880 – gebaut wird am Dom aber bis heute.'] Prediction: ['Das erste Kirchengebäude in Wallis ist eine wichtige Wallfahrtskirche.\nEs ist der Grundstein des gotischen Baus gelegt.\nDer Grundste des gotischen Baus war er dann 1880.'] Label: [['Seine lange Geschichte begann schon im Jahr 800.\n1238 wurde der Grundstein des gotischen Baus gelegt, offiziell fertig war er dann 1880.\nGebaut wird am Dom aber bis heute.']] Sacrebleu: {'score': 25.362233933003246, 'counts': [13, 9, 7, 5], 'totals': [29, 28, 27, 26], 'precisions': [44.827586206896555, 32.142857142857146, 25.925925925925927, 19.23076923076923], 'bp': 0.8711587695892689, 'sys_len': 29, 'ref_len': 33} Bleu: {'bleu': 0.2536223393300325, 'precisions': [0.4482758620689655, 0.32142857142857145, 0.25925925925925924, 0.19230769230769232], 'brevity_penalty': 0.8711587695892689, 'length_ratio': 0.8787878787878788, 'translation_length': 29, 'reference_length': 33} Rouge: {'rouge1': 0.35714285714285715, 'rouge2': 0.29629629629629634, 'rougeL': 0.35714285714285715, 'rougeLsum': 0.35714285714285715} Sari: {'sari': 23.497178447718017} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['Vom „Triangle, ein 103,20 Meter hohes Gebäude, hat man einen tollen Rundblick.'] Prediction: ['Triangle ist ein 103,20 Meter hohes Gebäude.\nDer Grund: Der 103,20 Meter hohes Gebäude ist ein 103,20 Meter hohes Gebäude.'] Label: [['Vom „Triangle", ein 103,20 Meter hohes Gebäude, hat man einen tollen Rundblick über die ganze Stadt.']] Sacrebleu: {'score': 16.133948681475342, 'counts': [6, 4, 3, 2], 'totals': [23, 22, 21, 20], 'precisions': [26.08695652173913, 18.181818181818183, 14.285714285714286, 10.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 20} Bleu: {'bleu': 0.16133948681475338, 'precisions': [0.2608695652173913, 0.18181818181818182, 0.14285714285714285, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 1.15, 'translation_length': 23, 'reference_length': 20} Rouge: {'rouge1': 0.3636363636363637, 'rouge2': 0.28571428571428564, 'rougeL': 0.3636363636363637, 'rougeLsum': 0.3636363636363637} Sari: {'sari': 22.471694971694976} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Allein der Rosenmontagsumzug ist 7,5 Kilometer lang und dauert rund fünf Stunden.'] Prediction: ['Der Rosenmontagsumzug ist 7,5 Kilometer lang und dauert rund fünf Stunden.\nAllein der Rosenmontagsumzug ist 7,5 Kilometer lang und dauert rund fünf Stunden.'] Label: [['Allein der Rosenmontagsumzug an Karneval ist 7,5 Kilometer lang und dauert rund fünf Stunden.']] Sacrebleu: {'score': 41.50435842556837, 'counts': [13, 11, 9, 7], 'totals': [25, 24, 23, 22], 'precisions': [52.0, 45.833333333333336, 39.130434782608695, 31.818181818181817], 'bp': 1.0, 'sys_len': 25, 'ref_len': 15} Bleu: {'bleu': 0.4150435842556835, 'precisions': [0.52, 0.4583333333333333, 0.391304347826087, 0.3181818181818182], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 25, 'reference_length': 15} Rouge: {'rouge1': 0.6511627906976744, 'rouge2': 0.5853658536585367, 'rougeL': 0.6511627906976744, 'rougeLsum': 0.6511627906976744} Sari: {'sari': 64.00042625745951} Flesh Reading Ease: 57.35 ---------------------------------------- Source: ['In den Kneipen allerdings fließen rund 30 Millionen Liter Kölsch nur an Karneval durch die Kehlen der Karnevalisten.'] Prediction: ['In den Kneipen fließen 30 Millionen Liter Kölsch nur an Karneval durch die Kehlen der Karnevalisten.\nDie Kehlen der Karnevalisten fliegen allerdings 30 Millionen Liter Kölsch.'] Label: [['In den Kneipen werden rund 30 Millionen Liter Kölsch nur an Karneval verbraucht.']] Sacrebleu: {'score': 25.60440513907562, 'counts': [11, 8, 6, 4], 'totals': [28, 27, 26, 25], 'precisions': [39.285714285714285, 29.62962962962963, 23.076923076923077, 16.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 14} Bleu: {'bleu': 0.2560440513907562, 'precisions': [0.39285714285714285, 0.2962962962962963, 0.23076923076923078, 0.16], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 28, 'reference_length': 14} Rouge: {'rouge1': 0.5116279069767441, 'rouge2': 0.4390243902439025, 'rougeL': 0.5116279069767441, 'rougeLsum': 0.5116279069767441} Sari: {'sari': 41.47692601067887} Flesh Reading Ease: 50.0 ---------------------------------------- Source: ['Die Hänge an den deutschen Flüssen wie Rhein, Mosel, Saar, Ahr, Nahe und in den Regionen Rheinhessen, Rheingau, Mittelrhein, Baden, Pfalz, Saale-Unstrut und Sachsen liegen etwa um den 50. Breitengrad oder weiter südlich und sind damit bis auf ganz wenige Ausnahmen die nördlichste Weinbauregion der Welt.'] Prediction: ['Der 50.\nBreitengrad und die nördlichste Weinbauregion der Welt sind in den deutschen Flüssen wie Rhein, Mosel, Saar, Ahr, Nahe und in den Regionen Rheinhessen, Rheingau, Mittelrhein, Baden, Pfalz, Saale-Unstrut und Sachsen.\nDie Hänge an den deutschen Flüssen wie Rhein, Mosel, Saar, Ahr, Nahe und in den Regionen Rheinhessen, Rheingau, Mittelrhein, Baden, Pfalz, Pfalz, Saale-Unstrut und Sachsen liegen etwa um den 50.\nBreitengrad oder weiter südlich.'] Label: [['Die Hänge an den deutschen Flüssen wie Rhein, Mosel, Saar, Ahr und in den Regionen Rheinhessen, Rheingau, Mittelrhein, Baden und Sachsen liegen etwa auf dem 50.\nBreitengrad oder weiter südlich.']] Sacrebleu: {'score': 33.90258725407015, 'counts': [36, 32, 28, 24], 'totals': [89, 88, 87, 86], 'precisions': [40.449438202247194, 36.36363636363637, 32.18390804597701, 27.906976744186046], 'bp': 1.0, 'sys_len': 89, 'ref_len': 38} Bleu: {'bleu': 0.3390258725407015, 'precisions': [0.4044943820224719, 0.36363636363636365, 0.3218390804597701, 0.27906976744186046], 'brevity_penalty': 1.0, 'length_ratio': 2.3421052631578947, 'translation_length': 89, 'reference_length': 38} Rouge: {'rouge1': 0.5849056603773585, 'rouge2': 0.5192307692307693, 'rougeL': 0.5849056603773585, 'rougeLsum': 0.5849056603773585} Sari: {'sari': 60.288305488256924} Flesh Reading Ease: 52.7 ---------------------------------------- Source: ['Was sie hier bekommen: besonders geschützte Stellen in Flussnähe.'] Prediction: ['Die Schweizer Grenze hat sich in den letzten Tagen geschützt.\nSie wurden besonders geschützt.'] Label: [['Was die Trauben hier bekommen: besonders geschützte Stellen in Flussnähe.']] Sacrebleu: {'score': 3.21858262703621, 'counts': [3, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 16, 'reference_length': 12} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.07692307692307691, 'rougeL': 0.21428571428571427, 'rougeLsum': 0.21428571428571427} Sari: {'sari': 10.562169312169313} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Sie sind teilweise steil nach Süden oder Westen, also optimal zur Sonneneinstrahlung ausgerichtet.'] Prediction: ['Süden und Westen sind teilweise steil.\nDas sind teilweise optimal zur Sonneneinstrahlung ausgerichtet.'] Label: [['Sie liegen teilweise steil nach Süden oder Westen, also optimal zur Sonneneinstrahlung.']] Sacrebleu: {'score': 13.834368456410946, 'counts': [8, 3, 1, 0], 'totals': [15, 14, 13, 12], 'precisions': [53.333333333333336, 21.428571428571427, 7.6923076923076925, 4.166666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.5333333333333333, 0.21428571428571427, 0.07692307692307693, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0714285714285714, 'translation_length': 15, 'reference_length': 14} Rouge: {'rouge1': 0.5925925925925927, 'rouge2': 0.32, 'rougeL': 0.4444444444444445, 'rougeLsum': 0.5185185185185186} Sari: {'sari': 13.838411990585902} Flesh Reading Ease: 44.8 ---------------------------------------- Source: ['Die Böden speichern im Laufe des Tages Wärme, die sie auch noch weit nach Sonnenuntergang abgeben.'] Prediction: ['Die Böden in den Schweizer Läden sind noch nach Sonnenuntergang gefeiert.\nSie sind auch noch weit nach Sonnenuntergang.'] Label: [['Die Böden speichern im Laufe des Tages Wärme, die sie lange nachdem die Sonne untergegangen ist wieder abgeben.']] Sacrebleu: {'score': 4.237713199752784, 'counts': [3, 1, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [15.0, 5.2631578947368425, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 20, 'reference_length': 20} Rouge: {'rouge1': 0.20000000000000004, 'rouge2': 0.10526315789473684, 'rougeL': 0.20000000000000004, 'rougeLsum': 0.20000000000000004} Sari: {'sari': 11.230089355089357} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Deutschland hat eine sehr unterschiedliche Bodenstruktur je nach Region.'] Prediction: ['Deutschland hat eine sehr unterschiedliche Bodenstruktur.\nDie Region hat eine sehr unterschiedliche Bodenstruktur.'] Label: [['Deutschland hat sehr unterschiedliche Böden.']] Sacrebleu: {'score': 7.8594386815106, 'counts': [5, 2, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [33.333333333333336, 14.285714285714286, 3.8461538461538463, 2.0833333333333335], 'bp': 1.0, 'sys_len': 15, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.14285714285714285, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 15, 'reference_length': 6} Rouge: {'rouge1': 0.42105263157894735, 'rouge2': 0.23529411764705882, 'rougeL': 0.42105263157894735, 'rougeLsum': 0.42105263157894735} Sari: {'sari': 44.50549450549451} Flesh Reading Ease: 27.25 ---------------------------------------- Source: ['Wenn der Boden zum Beispiel Schiefer oder Kalk enthält, sind diese Komponenten auch im Wein enthalten.'] Prediction: ['Schiefer oder Kalk sind im Wein enthalten.\nDie Komponenten sind auch im Wein enthalten.'] Label: [['Zum Beispiel Schiefer oder Kalk sind Komponenten, die auch im Wein stecken.']] Sacrebleu: {'score': 23.578316044531807, 'counts': [9, 5, 3, 1], 'totals': [16, 15, 14, 13], 'precisions': [56.25, 33.333333333333336, 21.428571428571427, 7.6923076923076925], 'bp': 1.0, 'sys_len': 16, 'ref_len': 14} Bleu: {'bleu': 0.23578316044531808, 'precisions': [0.5625, 0.3333333333333333, 0.21428571428571427, 0.07692307692307693], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 16, 'reference_length': 14} Rouge: {'rouge1': 0.6923076923076924, 'rouge2': 0.41666666666666663, 'rougeL': 0.6153846153846153, 'rougeLsum': 0.5384615384615384} Sari: {'sari': 51.319112174375334} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Deutscher Wein hat eine lange Vegetationszeit und eine eher geringe Sommerhitze, daher enthält er nicht so viel Alkohol.'] Prediction: ['Deutscher Wein hat eine lange Vegetationszeit und eine eher geringe Sommerhitze.\nAlkohol enthält er nicht so viel Alkohol.'] Label: [['Deutscher Wein hat eine lange Vegetationszeit und eine eher geringe Sommerhitze, daher weniger Alkohol.']] Sacrebleu: {'score': 54.549512999400925, 'counts': [13, 11, 9, 8], 'totals': [20, 19, 18, 17], 'precisions': [65.0, 57.89473684210526, 50.0, 47.05882352941177], 'bp': 1.0, 'sys_len': 20, 'ref_len': 16} Bleu: {'bleu': 0.5454951299940093, 'precisions': [0.65, 0.5789473684210527, 0.5, 0.47058823529411764], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 20, 'reference_length': 16} Rouge: {'rouge1': 0.7272727272727273, 'rouge2': 0.6451612903225806, 'rougeL': 0.7272727272727273, 'rougeLsum': 0.7272727272727273} Sari: {'sari': 36.81068010920104} Flesh Reading Ease: 48.15 ---------------------------------------- Source: ['Sie erzielen im Durchschnitt etwa 9 Millionen Hektoliter Weinmost.'] Prediction: ['Der Schweizer Weinmost hat einen Durchschnitt von 9 Millionen Hektoliter.\nDie Schweizer Weinmost erzielen 9 Millionen Hektoliter.'] Label: [['Sie produzieren daraus etwa 9 Millionen Hektoliter Weinmost.']] Sacrebleu: {'score': 8.562365224473284, 'counts': [5, 2, 1, 0], 'totals': [19, 18, 17, 16], 'precisions': [26.31578947368421, 11.11111111111111, 5.882352941176471, 3.125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.2631578947368421, 0.1111111111111111, 0.058823529411764705, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.111111111111111, 'translation_length': 19, 'reference_length': 9} Rouge: {'rouge1': 0.31999999999999995, 'rouge2': 0.17391304347826086, 'rougeL': 0.31999999999999995, 'rougeLsum': 0.24} Sari: {'sari': 31.11111111111111} Flesh Reading Ease: 48.65 ---------------------------------------- Source: ['Zu verdanken ist dies dem Mut der neuen Winzergeneration, die trockene und mineralische Geschmacksrichtungen zulässt und Süße reduziert.'] Prediction: ['Die trockene und mineralische Geschmacksrichtungen stehen in der Schweiz.\nDiese ist trockene und mineralische Geschmacksrichtungen zulässt und Süße reduziert.'] Label: [['Zu verdanken ist dies dem Mut der neuen Winzergeneration, die trockene und mineralische Geschmäcker zulässt und Süße reduziert.']] Sacrebleu: {'score': 24.04315522172745, 'counts': [10, 6, 4, 2], 'totals': [21, 20, 19, 18], 'precisions': [47.61904761904762, 30.0, 21.05263157894737, 11.11111111111111], 'bp': 1.0, 'sys_len': 21, 'ref_len': 20} Bleu: {'bleu': 0.2404315522172745, 'precisions': [0.47619047619047616, 0.3, 0.21052631578947367, 0.1111111111111111], 'brevity_penalty': 1.0, 'length_ratio': 1.05, 'translation_length': 21, 'reference_length': 20} Rouge: {'rouge1': 0.5714285714285714, 'rouge2': 0.4000000000000001, 'rougeL': 0.47619047619047616, 'rougeLsum': 0.5238095238095238} Sari: {'sari': 16.505330379578943} Flesh Reading Ease: 35.95 ---------------------------------------- Source: ['Als Konrad Duden im Jahr 1880 sein Vollständiges Orthographisches Wörterbuch der deutschen Sprache veröffentlichte, enthielt dieser Band gerade einmal 27.000 Wörter.'] Prediction: ['Ein Wörterbuch der deutschen Sprache enthielt dieser Band gerade einmal 27.000 Wörter.\nKonrad Duden enthielt dieser Band gerade einmal 27.000 Wörter.'] Label: [['Konrad Duden veröffentlichte im Jahr 1880 sein Vollständiges Orthographisches Wörterbuch der deutschen Sprache.\nDamals enthielt dieser Band nur 27.000 Wörter.']] Sacrebleu: {'score': 21.034073194542408, 'counts': [13, 8, 4, 1], 'totals': [23, 22, 21, 20], 'precisions': [56.52173913043478, 36.36363636363637, 19.047619047619047, 5.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 22} Bleu: {'bleu': 0.21034073194542408, 'precisions': [0.5652173913043478, 0.36363636363636365, 0.19047619047619047, 0.05], 'brevity_penalty': 1.0, 'length_ratio': 1.0454545454545454, 'translation_length': 23, 'reference_length': 22} Rouge: {'rouge1': 0.5490196078431373, 'rouge2': 0.4081632653061225, 'rougeL': 0.47058823529411764, 'rougeLsum': 0.5490196078431373} Sari: {'sari': 31.268509268509266} Flesh Reading Ease: 58.35 ---------------------------------------- Source: ['Der Duden ist die Grundlage einer einheitlichen deutschen Rechtschreibung.'] Prediction: ['Eine deutsche Rechtschreibung ist in den letzten Tagen in der Schweiz gestorben.\nDer Duden ist eine einheitliche deutschen Rechtschreibung.'] Label: [['Der Duden ist die Grundlage der deutschen Rechtschreibung.']] Sacrebleu: {'score': 11.816004799870607, 'counts': [7, 4, 2, 0], 'totals': [21, 20, 19, 18], 'precisions': [33.333333333333336, 20.0, 10.526315789473685, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.2, 0.10526315789473684, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 21, 'reference_length': 9} Rouge: {'rouge1': 0.44444444444444436, 'rouge2': 0.24, 'rougeL': 0.37037037037037035, 'rougeLsum': 0.44444444444444436} Sari: {'sari': 40.03968253968254} Flesh Reading Ease: 65.2 ---------------------------------------- Source: ['Hinzu kommen zahlreiche Anglizismen, die eingedeutscht wurden, wie etwa der „Honk“ – ein Dummkopf.'] Prediction: ['Der "Honk" ist ein Dummkopf.\nDie Anglizen kommen eingedeutscht.'] Label: [['Hinzu kommen zahlreiche neue Wörter aus Anglizismen, die eingedeutscht wurden.\nDarunter zum Beispiel der „Honk“ – ein Dummkopf.']] Sacrebleu: {'score': 7.3901005762926975, 'counts': [6, 2, 1, 0], 'totals': [13, 12, 11, 10], 'precisions': [46.15384615384615, 16.666666666666668, 9.090909090909092, 5.0], 'bp': 0.5404329964865341, 'sys_len': 13, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.46153846153846156, 0.16666666666666666, 0.09090909090909091, 0.0], 'brevity_penalty': 0.5404329964865341, 'length_ratio': 0.6190476190476191, 'translation_length': 13, 'reference_length': 21} Rouge: {'rouge1': 0.5185185185185185, 'rouge2': 0.15999999999999998, 'rougeL': 0.2962962962962963, 'rougeLsum': 0.4444444444444444} Sari: {'sari': 24.786324786324787} Flesh Reading Ease: 70.2 ---------------------------------------- Source: ['Im Deutschen bedeutet „chillen“ „sich entspannen“ mit Wortformen wie „chillig“, „gechillt“ usw..'] Prediction: ['Im Deutschen bedeutet einige Tipps, die auf Social Media geschickt werden.\nDie Tipps sind in der Bildstrecke zu finden.'] Label: [['Im Deutschen bedeutet „chillen“ „sich entspannen“ mit Wortformen wie chillig oder gechillt.']] Sacrebleu: {'score': 6.908895196867147, 'counts': [4, 2, 1, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 9.523809523809524, 5.0, 2.6315789473684212], 'bp': 1.0, 'sys_len': 22, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.09523809523809523, 0.05, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6923076923076923, 'translation_length': 22, 'reference_length': 13} Rouge: {'rouge1': 0.1935483870967742, 'rouge2': 0.13793103448275862, 'rougeL': 0.1935483870967742, 'rougeLsum': 0.1935483870967742} Sari: {'sari': 24.936868686868685} Flesh Reading Ease: 71.05 ---------------------------------------- Source: ['Es wird auch in die Grammatik integriert und so alltagstauglich.'] Prediction: ['In der Grammatik wird es alltagstauglich.\nDas wird auch in die Grammatik integriert.'] Label: [['Es wird auch in die Grammatik integriert und für den Alltag nutzbar.']] Sacrebleu: {'score': 33.64932442330152, 'counts': [7, 5, 4, 3], 'totals': [15, 14, 13, 12], 'precisions': [46.666666666666664, 35.714285714285715, 30.76923076923077, 25.0], 'bp': 1.0, 'sys_len': 15, 'ref_len': 13} Bleu: {'bleu': 0.33649324423301513, 'precisions': [0.4666666666666667, 0.35714285714285715, 0.3076923076923077, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.1538461538461537, 'translation_length': 15, 'reference_length': 13} Rouge: {'rouge1': 0.5384615384615384, 'rouge2': 0.4166666666666667, 'rougeL': 0.5384615384615384, 'rougeLsum': 0.46153846153846156} Sari: {'sari': 45.06766381766382} Flesh Reading Ease: 74.05 ---------------------------------------- Source: ['Das Wort „Willkommenskultur“ ist nun auch dabei, denn es wurde in politischen Debatten und in den Medien gebräuchlich.'] Prediction: ['Der Willkommenskultur wurde in den Schweizer Politischen Debatten gebräuchlich.\nNun ist das Wort auch dabei, denn es wurde in den Medien gebräuchlich.'] Label: [['Das Wort „Willkommenskultur“ ist nun auch dabei, denn es wurde in politischen Debatten und in den Medien viel gebraucht.']] Sacrebleu: {'score': 30.674809498902018, 'counts': [14, 8, 6, 4], 'totals': [25, 24, 23, 22], 'precisions': [56.0, 33.333333333333336, 26.08695652173913, 18.181818181818183], 'bp': 1.0, 'sys_len': 25, 'ref_len': 21} Bleu: {'bleu': 0.30674809498902017, 'precisions': [0.56, 0.3333333333333333, 0.2608695652173913, 0.18181818181818182], 'brevity_penalty': 1.0, 'length_ratio': 1.1904761904761905, 'translation_length': 25, 'reference_length': 21} Rouge: {'rouge1': 0.744186046511628, 'rouge2': 0.4390243902439025, 'rougeL': 0.46511627906976744, 'rougeLsum': 0.6511627906976745} Sari: {'sari': 20.733140516387593} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Dazu gehören auch „Fake News“, „Brexit“, „Drohnenangriff“ oder „Wutbürger“. Abgebildet werden alle Wörter, die etwa drei Generationen umfassen.„Die Wörter spiegeln die Entwicklungen in den Bereichen Technik, Mode, Sport, Politik und Verwaltung wider“, schreibt der Duden-Verlag.'] Prediction: ['Dazu gehören auch Fake News, "Brexit“, „Drohnenangriff“ oder „Wutbürger“.\nAbgebildet werden alle Wörter, die etwa drei Generationen umfassen.'] Label: [['Dazu gehören auch „Fake News“, „Brexit“, „Drohnenangriff“ oder „Wutbürger“.„Die Wörter spiegeln die Entwicklungen in den Bereichen Technik, Mode, Sport, Politik und Verwaltung wider“, schreibt der Duden-Verlag.']] Sacrebleu: {'score': 14.063688759593898, 'counts': [13, 6, 4, 2], 'totals': [24, 23, 22, 21], 'precisions': [54.166666666666664, 26.08695652173913, 18.181818181818183, 9.523809523809524], 'bp': 0.6323366621862498, 'sys_len': 24, 'ref_len': 35} Bleu: {'bleu': 0.14063688759593898, 'precisions': [0.5416666666666666, 0.2608695652173913, 0.18181818181818182, 0.09523809523809523], 'brevity_penalty': 0.6323366621862498, 'length_ratio': 0.6857142857142857, 'translation_length': 24, 'reference_length': 35} Rouge: {'rouge1': 0.5384615384615384, 'rouge2': 0.43999999999999995, 'rougeL': 0.5384615384615384, 'rougeLsum': 0.5384615384615384} Sari: {'sari': 8.791842256961772} Flesh Reading Ease: 30.6 ---------------------------------------- Source: ['Der Duden greift Veränderungen in der Gesellschaft auf, etwa die Verwendung der digitalen Medien: Messaging, Snapchat, Selfie, Twitter, WhatsApp, facebooken oder tindern.'] Prediction: ['Der Duden greift Veränderungen in der Gesellschaft auf, etwa die Verwendung der digitalen Medien.\nDiese werden von Messaging, Snapchat, Selfie, Twitter, WhatsApp, facebooken oder tindern.'] Label: [['Der Duden greift Veränderungen in der Gesellschaft auf, etwa die Verwendung der digitalen Medien.\nUnd so finden sich auch diese Wörter wieder: Messaging, Snapchat, Selfie, facebooken, Twitter oder WhatsApp.']] Sacrebleu: {'score': 57.75170732822263, 'counts': [28, 22, 18, 16], 'totals': [33, 32, 31, 30], 'precisions': [84.84848484848484, 68.75, 58.064516129032256, 53.333333333333336], 'bp': 0.8858460329277069, 'sys_len': 33, 'ref_len': 37} Bleu: {'bleu': 0.5775170732822259, 'precisions': [0.8484848484848485, 0.6875, 0.5806451612903226, 0.5333333333333333], 'brevity_penalty': 0.8858460329277067, 'length_ratio': 0.8918918918918919, 'translation_length': 33, 'reference_length': 37} Rouge: {'rouge1': 0.8070175438596492, 'rouge2': 0.5818181818181818, 'rougeL': 0.7368421052631579, 'rougeLsum': 0.7368421052631579} Sari: {'sari': 47.86104243986755} Flesh Reading Ease: 44.65 ---------------------------------------- Source: ['Erster Weltkrieg, Holocaust, das Leben in der DDR ab 1961, Einwanderung nach Deutschland oder der Mauerfall 1989: Die Seite Zeitzeugenportal.de macht die deutsche Geschichte lebendig.'] Prediction: ['Die deutsche Geschichte hat einen Weltkrieg entwickelt.\nDie deutsche Geschichte hat einen grossen Ausbruch.\nDie deutsche Geschichte hat einen Weltkrieg entwickelt.'] Label: [['Erster Weltkrieg, Holocaust, das Leben in der DDR ab 1961, der Mauerfall 1989: Die Seite Zeitzeugenportal.de macht die deutsche Geschichte lebendig.']] Sacrebleu: {'score': 3.5054004564445864, 'counts': [6, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [25.0, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 0.846481724890614, 'sys_len': 24, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 0.846481724890614, 'length_ratio': 0.8571428571428571, 'translation_length': 24, 'reference_length': 28} Rouge: {'rouge1': 0.23255813953488372, 'rouge2': 0.0975609756097561, 'rougeL': 0.23255813953488372, 'rougeLsum': 0.1395348837209302} Sari: {'sari': 11.878041498731156} Flesh Reading Ease: 67.7 ---------------------------------------- Source: ['In Videos hört und erlebt man Menschen, die ihre Geschichte erzählen.'] Prediction: ['In der Schweiz wurde ein Video von Menschen gefeiert.\nDie Videos sind über die Geschichte der Schweiz.'] Label: [['In Videos hört und erlebt man Menschen.\nSie erzählen ihre Geschichte.']] Sacrebleu: {'score': 3.168429634207702, 'counts': [6, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [31.57894736842105, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.3157894736842105, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4615384615384615, 'translation_length': 19, 'reference_length': 13} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.0, 'rougeL': 0.20000000000000004, 'rougeLsum': 0.26666666666666666} Sari: {'sari': 19.110113742466684} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['Einzelne Themen der deutschen Geschichte werden aus unterschiedlichen Perspektiven beleuchtet.'] Prediction: ['Die deutsche Geschichte wird aus unterschiedlichen Perspektiven beleuchtet.\nEinzelne Themen der deutschen Geschichte werden aus unterschiedlichen Perspektiven beleuchtet.'] Label: [['In den Erzählungen der Menschen erfährt man einzelne Themen der deutschen Geschichte.']] Sacrebleu: {'score': 12.673718536830808, 'counts': [5, 3, 2, 1], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 15.789473684210526, 11.11111111111111, 5.882352941176471], 'bp': 1.0, 'sys_len': 20, 'ref_len': 13} Bleu: {'bleu': 0.12673718536830808, 'precisions': [0.25, 0.15789473684210525, 0.1111111111111111, 0.058823529411764705], 'brevity_penalty': 1.0, 'length_ratio': 1.5384615384615385, 'translation_length': 20, 'reference_length': 13} Rouge: {'rouge1': 0.31250000000000006, 'rouge2': 0.26666666666666666, 'rougeL': 0.31250000000000006, 'rougeLsum': 0.31250000000000006} Sari: {'sari': 51.47759103641456} Flesh Reading Ease: 18.9 ---------------------------------------- Source: ['So hört man, wie Renate Weißkopf, die als Kind den Nationalsozialismus erlebte, von den stets präsenten Nationalsozialisten auf der Straße und in den Schulen Münchens erzählt.'] Prediction: ['Die Schweizer Nationalskeptiker Renate Weißkopf hat einen Nationalsozialismus-Besuch in den Schulen Münchens erzählt.\nRenate Weißkopf war als Kind den Nationalsozialismus erlebte, von den stets präsenten Nationalsozialisten auf der Straße und in den Schulen Münchens erzählt.'] Label: [['Etwa Renate Weißkopf, die als Kind den Nationalsozialismus erlebte.\nSie berichtet von den Nationalsozialisten auf der Straße und in den Schulen Münchens.']] Sacrebleu: {'score': 33.9445740152787, 'counts': [21, 14, 10, 8], 'totals': [38, 37, 36, 35], 'precisions': [55.26315789473684, 37.83783783783784, 27.77777777777778, 22.857142857142858], 'bp': 1.0, 'sys_len': 38, 'ref_len': 25} Bleu: {'bleu': 0.339445740152787, 'precisions': [0.5526315789473685, 0.3783783783783784, 0.2777777777777778, 0.22857142857142856], 'brevity_penalty': 1.0, 'length_ratio': 1.52, 'translation_length': 38, 'reference_length': 25} Rouge: {'rouge1': 0.6376811594202899, 'rouge2': 0.5074626865671642, 'rougeL': 0.6086956521739131, 'rougeLsum': 0.6086956521739131} Sari: {'sari': 45.32647020050742} Flesh Reading Ease: 22.1 ---------------------------------------- Source: ['Hier werden Alltagserfahrungen und historisch bedeutsame Geschehnisse miteinander verbunden. „Das Portal richtet sich an eine breite Zielgruppe: an Geschichtsinteressierte, an Schülerinnen und Schüler sowie ihre Lehrer, an Multiplikatoren, Studierende und Wissenschaftler“, schreibt das Zeitzeugenportal.'] Prediction: ['Das Zeitzeugenportal richtet sich an eine breite Zielgruppe.\nEs werden Alltagserfahrungen und historisch bedeutsame Geschehnisse miteinander verbunden.'] Label: [['Hier werden Alltagserfahrungen und historisch bedeutsame Geschehnisse miteinander verbunden.„Das Portal richtet sich an eine breite Zielgruppe: an Schülerinnen und Schüler sowie ihre Lehrer, an Multiplikatoren, Studierende und Wissenschaftler“, schreibt das Zeitzeugenportal.']] Sacrebleu: {'score': 25.619086063612787, 'counts': [17, 13, 11, 9], 'totals': [19, 18, 17, 16], 'precisions': [89.47368421052632, 72.22222222222223, 64.70588235294117, 56.25], 'bp': 0.36787944117144233, 'sys_len': 19, 'ref_len': 38} Bleu: {'bleu': 0.2561908606361279, 'precisions': [0.8947368421052632, 0.7222222222222222, 0.6470588235294118, 0.5625], 'brevity_penalty': 0.36787944117144233, 'length_ratio': 0.5, 'translation_length': 19, 'reference_length': 38} Rouge: {'rouge1': 0.627450980392157, 'rouge2': 0.5306122448979591, 'rougeL': 0.3137254901960785, 'rougeLsum': 0.5882352941176471} Sari: {'sari': 21.56257830468519} Flesh Reading Ease: 19.4 ---------------------------------------- Source: ['Es kommen aber auch unbekannte Menschen zu Wort, die als Zeitzeugen ihre sehr persönliche Sicht auf die Ereignisse schildern.'] Prediction: ['Unbekannte kommen zu Wort, die als Zeitzeugen ihre sehr persönliche Sicht auf die Ereignisse schildern.\nDie Menschen kommen aber zu Wort, die als Zeitzeugen ihre sehr persönliche Sicht auf die Ereignisse schildern.'] Label: [['Es kommen aber auch unbekannte Menschen zu Wort, die ihre sehr persönliche Sicht auf die Ereignisse schildern.']] Sacrebleu: {'score': 30.41372354917695, 'counts': [16, 12, 9, 7], 'totals': [36, 35, 34, 33], 'precisions': [44.44444444444444, 34.285714285714285, 26.470588235294116, 21.21212121212121], 'bp': 1.0, 'sys_len': 36, 'ref_len': 19} Bleu: {'bleu': 0.3041372354917695, 'precisions': [0.4444444444444444, 0.34285714285714286, 0.2647058823529412, 0.21212121212121213], 'brevity_penalty': 1.0, 'length_ratio': 1.894736842105263, 'translation_length': 36, 'reference_length': 19} Rouge: {'rouge1': 0.6153846153846153, 'rouge2': 0.44, 'rougeL': 0.5384615384615384, 'rougeLsum': 0.5384615384615384} Sari: {'sari': 32.0388368462139} Flesh Reading Ease: 58.7 ---------------------------------------- Source: ['Das Schöne an dem Portal ist, dass man dank der vielen Interviews historisch bedeutsame Ereignisse aus vielen Perspektiven subjektiv und emotional erleben kann.'] Prediction: ['Ein Interview mit dem Schweizer Schöne ist auf Social Media veröffentlicht.\nDie vielen Interviews sind subjektiv und emotional.'] Label: [['Das Schöne an dem Portal ist: Man erlebt historisch bedeutsame Ereignisse aus vielen Perspektiven – subjektiv und emotional.']] Sacrebleu: {'score': 14.253911354181854, 'counts': [8, 3, 2, 1], 'totals': [20, 19, 18, 17], 'precisions': [40.0, 15.789473684210526, 11.11111111111111, 5.882352941176471], 'bp': 1.0, 'sys_len': 20, 'ref_len': 20} Bleu: {'bleu': 0.14253911354181859, 'precisions': [0.4, 0.15789473684210525, 0.1111111111111111, 0.058823529411764705], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 20, 'reference_length': 20} Rouge: {'rouge1': 0.4210526315789474, 'rouge2': 0.16666666666666669, 'rougeL': 0.36842105263157887, 'rougeLsum': 0.36842105263157887} Sari: {'sari': 29.831711163232903} Flesh Reading Ease: 54.0 ---------------------------------------- Source: ['100 Einführungsfilme ergänzen die Interviews.'] Prediction: ['20 Minuten Radio hat 20 Fragen über die besten Schweizer Podcasts veröffentlicht.\nNeue Episoden und Interviews sind die besten Fragen zum Thema Radio.\nNeue Episoden und Interviews findest du jeden zweiten Mal statt.'] Label: [['100 Filme mit Erklärungen ergänzen die Interviews.']] Sacrebleu: {'score': 1.3494116947566301, 'counts': [3, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [8.333333333333334, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.5, 'translation_length': 36, 'reference_length': 8} Rouge: {'rouge1': 0.09302325581395347, 'rouge2': 0.0, 'rougeL': 0.09302325581395347, 'rougeLsum': 0.09302325581395347} Sari: {'sari': 22.083333333333332} Flesh Reading Ease: 63.7 ---------------------------------------- Source: ['Noch vor Jahren summte und brummte es in der Luft, wenn man auf einer Wiese stand.'] Prediction: ['Ein Mann aus der Luft stand in einer Wiese.\nEr wurde dabei verletzt.\nEr wurde dabei aufgefunden.'] Label: [['Noch vor einigen Jahren summte und brummte es in der Luft, wenn man auf einer Wiese stand.']] Sacrebleu: {'score': 6.228496954013446, 'counts': [7, 2, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 10.526315789473685, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.35, 0.10526315789473684, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0526315789473684, 'translation_length': 20, 'reference_length': 19} Rouge: {'rouge1': 0.35294117647058826, 'rouge2': 0.125, 'rougeL': 0.23529411764705882, 'rougeLsum': 0.23529411764705882} Sari: {'sari': 9.226851851851851} Flesh Reading Ease: 80.7 ---------------------------------------- Source: ['Viele ehrenamtliche Entomologen – das sind Insektenforscher – haben 27 Jahre lang Insekten gesammelt.'] Prediction: ['Einige von ihnen haben 27 Jahre lang Insekten gesammelt.\nDie meisten Entomologen haben ihren 27.\nMärz gesammelt.'] Label: [['Entomologen – das sind Insektenforscher – haben 27 Jahre lang Insekten gesammelt.']] Sacrebleu: {'score': 30.143352515082135, 'counts': [8, 6, 5, 4], 'totals': [20, 19, 18, 17], 'precisions': [40.0, 31.57894736842105, 27.77777777777778, 23.529411764705884], 'bp': 1.0, 'sys_len': 20, 'ref_len': 13} Bleu: {'bleu': 0.3014335251508215, 'precisions': [0.4, 0.3157894736842105, 0.2777777777777778, 0.23529411764705882], 'brevity_penalty': 1.0, 'length_ratio': 1.5384615384615385, 'translation_length': 20, 'reference_length': 13} Rouge: {'rouge1': 0.5, 'rouge2': 0.3846153846153846, 'rougeL': 0.42857142857142855, 'rougeLsum': 0.5} Sari: {'sari': 30.902777777777786} Flesh Reading Ease: 48.65 ---------------------------------------- Source: ['Das Ergebnis: Die Biomasse von fliegenden Insekten ist insgesamt um über 75 Prozent zurückgegangen.'] Prediction: ['Ein Schweizer Forscher hat eine Biomasse von fliegenden Insekten zurückgegangen.\nDie Biomasse von fliegenden Insekten ist um über 75 Prozent zurückgegangen.'] Label: [['Das Ergebnis: Der Bestand an fliegenden Insekten ist um über 75 Prozent zurückgegangen.']] Sacrebleu: {'score': 34.53786557868503, 'counts': [9, 8, 7, 6], 'totals': [23, 22, 21, 20], 'precisions': [39.130434782608695, 36.36363636363637, 33.333333333333336, 30.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 15} Bleu: {'bleu': 0.34537865578685034, 'precisions': [0.391304347826087, 0.36363636363636365, 0.3333333333333333, 0.3], 'brevity_penalty': 1.0, 'length_ratio': 1.5333333333333334, 'translation_length': 23, 'reference_length': 15} Rouge: {'rouge1': 0.4864864864864865, 'rouge2': 0.4571428571428572, 'rougeL': 0.4864864864864865, 'rougeLsum': 0.4864864864864865} Sari: {'sari': 51.666028902871005} Flesh Reading Ease: 46.65 ---------------------------------------- Source: ['Die Daten stammen aus 63 Standorten in Naturschutzgebieten in Nordrhein-Westfalen, Rheinland-Pfalz und Brandenburg.'] Prediction: ['In Nordrhein-Westfalen und Rheinland-Pfalz hat es eine Datenschau gekommen.\nDiese stammen aus 63 Standorten.'] Label: [['Die Daten stammen aus 63 Standorten in Naturschutzgebieten in den Bundesländern Nordrhein-Westfalen, Rheinland-Pfalz und Brandenburg.']] Sacrebleu: {'score': 17.103943246074763, 'counts': [8, 3, 2, 1], 'totals': [16, 15, 14, 13], 'precisions': [50.0, 20.0, 14.285714285714286, 7.6923076923076925], 'bp': 0.9394130628134758, 'sys_len': 16, 'ref_len': 17} Bleu: {'bleu': 0.17103943246074768, 'precisions': [0.5, 0.2, 0.14285714285714285, 0.07692307692307693], 'brevity_penalty': 0.9394130628134758, 'length_ratio': 0.9411764705882353, 'translation_length': 16, 'reference_length': 17} Rouge: {'rouge1': 0.5882352941176471, 'rouge2': 0.3125, 'rougeL': 0.29411764705882354, 'rougeLsum': 0.5294117647058824} Sari: {'sari': 17.20982448923625} Flesh Reading Ease: 50.15 ---------------------------------------- Source: ['Das Bundesumweltministerium und Forscher vermuten, dass die intensive Landwirtschaft in vielen Teilen Deutschlands der Grund sei.'] Prediction: ['Die intensive Landwirtschaft in Deutschland ist in vielen Teilen Deutschlands der Grund.\nDas Bundesumweltministerium und Forscher vermuten, dass die intensive Landwirtschaft in vielen Teilen Deutschlands der Grund sei.'] Label: [['Das Bundesumweltministerium und Forscher glauben, dass die intensive Landwirtschaft der Grund ist.']] Sacrebleu: {'score': 21.31922460941227, 'counts': [13, 8, 5, 3], 'totals': [31, 30, 29, 28], 'precisions': [41.935483870967744, 26.666666666666668, 17.24137931034483, 10.714285714285714], 'bp': 1.0, 'sys_len': 31, 'ref_len': 14} Bleu: {'bleu': 0.2131922460941227, 'precisions': [0.41935483870967744, 0.26666666666666666, 0.1724137931034483, 0.10714285714285714], 'brevity_penalty': 1.0, 'length_ratio': 2.2142857142857144, 'translation_length': 31, 'reference_length': 14} Rouge: {'rouge1': 0.55, 'rouge2': 0.368421052631579, 'rougeL': 0.5, 'rougeLsum': 0.5} Sari: {'sari': 56.24603174603175} Flesh Reading Ease: 43.15 ---------------------------------------- Source: ['Denn hier werden große Mengen von Pestiziden eingesetzt.'] Prediction: ['Pestiziden werden in den vergangenen Tagen eingesetzt.\nDie Mengen sind in den vergangenen Tagen gefragt.\nDie Täter sind in den Tagen gefragt.'] Label: [['Hier werden große Mengen von Pestiziden eingesetzt.']] Sacrebleu: {'score': 3.787865612579481, 'counts': [5, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.125, 'translation_length': 25, 'reference_length': 8} Rouge: {'rouge1': 0.25806451612903225, 'rouge2': 0.0, 'rougeL': 0.12903225806451613, 'rougeLsum': 0.19354838709677416} Sari: {'sari': 14.346764346764346} Flesh Reading Ease: 61.55 ---------------------------------------- Source: ['Das Insektensterben beeinflusst die Nahrungskette, denn so verschwinden auch viele Vögel oder Fledermäuse.'] Prediction: ['In den USA werden viele Vögel und Fledermäuse verschwindet.\nInsektensterben beeinflusst die Nahrungskette, denn so verschwinden auch viele Vögel oder Fledermäuse.'] Label: [['Weniger Insekten bedeutet weniger Nahrung für Vögel und Fledermäuse.\nSo verschwinden auch diese Arten.']] Sacrebleu: {'score': 8.607692533178168, 'counts': [7, 4, 1, 0], 'totals': [24, 23, 22, 21], 'precisions': [29.166666666666668, 17.391304347826086, 4.545454545454546, 2.380952380952381], 'bp': 1.0, 'sys_len': 24, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2916666666666667, 0.17391304347826086, 0.045454545454545456, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 24, 'reference_length': 16} Rouge: {'rouge1': 0.38095238095238104, 'rouge2': 0.3, 'rougeL': 0.38095238095238104, 'rougeLsum': 0.38095238095238104} Sari: {'sari': 46.24280007432181} Flesh Reading Ease: 46.65 ---------------------------------------- Source: ['Sie leiden häufig unter Milben, Viren und Bakterien.'] Prediction: ['Eine Frau leidet unter Milben und Viren.\nSie leidet unter Viren und Bakterien.'] Label: [['Daneben leiden sie häufig unter Milben, Viren und Bakterien.']] Sacrebleu: {'score': 19.56475149792291, 'counts': [6, 4, 2, 1], 'totals': [15, 14, 13, 12], 'precisions': [40.0, 28.571428571428573, 15.384615384615385, 8.333333333333334], 'bp': 1.0, 'sys_len': 15, 'ref_len': 11} Bleu: {'bleu': 0.195647514979229, 'precisions': [0.4, 0.2857142857142857, 0.15384615384615385, 0.08333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.3636363636363635, 'translation_length': 15, 'reference_length': 11} Rouge: {'rouge1': 0.5217391304347826, 'rouge2': 0.28571428571428575, 'rougeL': 0.4347826086956522, 'rougeLsum': 0.5217391304347826} Sari: {'sari': 28.75668449197861} Flesh Reading Ease: 68.2 ---------------------------------------- Source: ['Und die Pestizide aus der Landwirtschaft schaden ihnen noch mehr.'] Prediction: ['Die Schweizer Polizei schaden ihnen noch mehr.\nDie Pestizide aus der Landwirtschaft schaden ihnen noch mehr.'] Label: [['Die Pestizide aus der Landwirtschaft schaden ihnen erheblich.']] Sacrebleu: {'score': 33.81307292971254, 'counts': [8, 6, 5, 4], 'totals': [18, 17, 16, 15], 'precisions': [44.44444444444444, 35.294117647058826, 31.25, 26.666666666666668], 'bp': 1.0, 'sys_len': 18, 'ref_len': 9} Bleu: {'bleu': 0.3381307292971254, 'precisions': [0.4444444444444444, 0.35294117647058826, 0.3125, 0.26666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 18, 'reference_length': 9} Rouge: {'rouge1': 0.5833333333333334, 'rouge2': 0.5454545454545455, 'rougeL': 0.5833333333333334, 'rougeLsum': 0.5833333333333334} Sari: {'sari': 59.87826987826988} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Daher werden sie stark von ihrer Umgebung, also der Landwirtschaft, aber auch vom Verkehr beeinflusst.'] Prediction: ['Die Schweizer Grenze werden stark von ihrer Umgebung, also der Landwirtschaft, aber auch vom Verkehr beeinflusst.\nDie Schweizer Grenze werden stark von ihrer Umgebung beeinflusst.'] Label: [['Daher werden sie stark von der Landwirtschaft beeinflusst.']] Sacrebleu: {'score': 4.632431878544845, 'counts': [7, 3, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [24.137931034482758, 10.714285714285714, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.2413793103448276, 0.10714285714285714, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2222222222222223, 'translation_length': 29, 'reference_length': 9} Rouge: {'rouge1': 0.36363636363636365, 'rouge2': 0.12903225806451613, 'rougeL': 0.36363636363636365, 'rougeLsum': 0.36363636363636365} Sari: {'sari': 10.138888888888888} Flesh Reading Ease: 62.2 ---------------------------------------- Source: ['In Deutschland gibt es etwa 33.000 Insektenarten.'] Prediction: ['In Deutschland gibt es etwa 33.000 Insektenarten.\nIn der Schweiz gibt es etwa 33.000 Insektenarten.'] Label: [['In Deutschland gibt es rund 33.000 Insektenarten.']] Sacrebleu: {'score': 20.706193828327603, 'counts': [7, 5, 3, 1], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 31.25, 20.0, 7.142857142857143], 'bp': 1.0, 'sys_len': 17, 'ref_len': 8} Bleu: {'bleu': 0.207061938283276, 'precisions': [0.4117647058823529, 0.3125, 0.2, 0.07142857142857142], 'brevity_penalty': 1.0, 'length_ratio': 2.125, 'translation_length': 17, 'reference_length': 8} Rouge: {'rouge1': 0.56, 'rouge2': 0.43478260869565216, 'rougeL': 0.56, 'rougeLsum': 0.56} Sari: {'sari': 56.388888888888886} Flesh Reading Ease: 67.2 ---------------------------------------- Source: ['7.800 Arten stehen in der Roten Liste. Das bedeutet: Fast 40 Prozent dieser Arten sind mindestens bestandsgefährdet, viele sind bereits ausgestorben.'] Prediction: ['7.800 Arten stehen in der Roten Liste.\nFast 40 Prozent dieser Arten sind mindestens bestandsgefährdet.'] Label: [['7.800 Arten sind gefährdet, viele sind bereits ausgestorben.']] Sacrebleu: {'score': 6.468490584192431, 'counts': [4, 2, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [23.529411764705884, 12.5, 3.3333333333333335, 1.7857142857142858], 'bp': 1.0, 'sys_len': 17, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7, 'translation_length': 17, 'reference_length': 10} Rouge: {'rouge1': 0.37037037037037035, 'rouge2': 0.24000000000000005, 'rougeL': 0.37037037037037035, 'rougeLsum': 0.37037037037037035} Sari: {'sari': 22.7308491317112} Flesh Reading Ease: 61.35 ---------------------------------------- Source: ['Es weinte, lief zur Stiefmutter und erzählte ihr das Unglück.'] Prediction: ['Ein Stiefmutter hat ihr Unglück verlassen.\nDer Mann hatte ihr das Unglück verlassen.'] Label: [['Stief∙mutter: Die Spule ist mir in den Brunnen gefallen.\nUnd sagt: Liebe Am Abend geht Marie zur Stief∙mutter.\nJetzt weint Marie viele Tränen:']] Sacrebleu: {'score': 1.313675139298797, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.4203503845086819, 'sys_len': 15, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.4203503845086819, 'length_ratio': 0.5357142857142857, 'translation_length': 15, 'reference_length': 28} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 41.36904761904762} Flesh Reading Ease: 68.2 ---------------------------------------- Source: ['Das Pech aber blieb fest an ihr hängen und wollte, solange sie lebte, nicht abgehen.'] Prediction: ['Ein Pech blieb fest an ihr hängen und wollte, solange sie lebte, nicht abgehen.\nDas Pech blieb fest an ihr hängen und wollte, solange sie lebte, nicht abgehen.'] Label: [['Und das Pech geht nie mehr ab.']] Sacrebleu: {'score': 1.2944532586971997, 'counts': [2, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [5.882352941176471, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.25, 'translation_length': 34, 'reference_length': 8} Rouge: {'rouge1': 0.16216216216216217, 'rouge2': 0.05714285714285715, 'rougeL': 0.16216216216216217, 'rougeLsum': 0.16216216216216217} Sari: {'sari': 37.708333333333336} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['»Kikeriki, unsere schmutzige Jungfrau ist wieder hie.« Da kam die Faule heim, aber sie war ganz mit Pech bedeckt, und der Hahn auf dem Brunnen, als er sie sah, rief:'] Prediction: ['Immer mehr Schauspielerinnen und Schauspielerinnen und Schauspieler sind sich über die Welt gekommen.\nWie sie sich mit Pech bedeckt haben, ist noch unklar.'] Label: [['Unsere Pech-Marie ist zurück.\nSo ein Glück.\nUnd ruft: So ein Glück.\nAuf dem Brunnen sitzt der Hahn.\nUnd plötzlich ist die faule Marie wieder am Brunnen.\nDann geht die faule Marie durch das Tor.']] Sacrebleu: {'score': 1.1040754498243008, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 0.5404329964865341, 'sys_len': 26, 'ref_len': 42} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5404329964865341, 'length_ratio': 0.6190476190476191, 'translation_length': 26, 'reference_length': 42} Rouge: {'rouge1': 0.15873015873015875, 'rouge2': 0.0, 'rougeL': 0.09523809523809523, 'rougeLsum': 0.15873015873015875} Sari: {'sari': 40.62187812187812} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['»Das ist zur Belohnung deiner Dienste,« sagte die Frau Holle und schloß das Thor zu.'] Prediction: ['Im Alter von 99 Jahren ist ein Thor auf dem Kippe gefunden.\nDie Frau Holle schoss das Thor zu.'] Label: [['Deshalb ist das Pech deine Belohnung.\nUnd Frau Holle sagt: Du warst faul.']] Sacrebleu: {'score': 4.780204393760627, 'counts': [6, 1, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [28.571428571428573, 5.0, 2.6315789473684212, 1.3888888888888888], 'bp': 1.0, 'sys_len': 21, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.05, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3125, 'translation_length': 21, 'reference_length': 16} Rouge: {'rouge1': 0.25, 'rouge2': 0.06666666666666667, 'rougeL': 0.18749999999999997, 'rougeLsum': 0.25} Sari: {'sari': 40.0} Flesh Reading Ease: 94.45 ---------------------------------------- Source: ['die Frau Holle führte sie auch zu dem Thor, als sie aber darunter stand, ward statt des Goldes ein großer Kessel voll Pech ausgeschüttet.'] Prediction: ['Eine Frau war auf dem Gold-Einsatz statt des Goldes voll Pech ausgeschüttet.\nDie Frau war dabei auch zu dem Thor, als sie aber darunter stand, wie sie darunter voll Pech ausgeschüttet hat.'] Label: [['Der Regen ist aus Pech.\nAber der Regen ist nicht aus Gold.\nPlötzlich regnet es.\nUnd Frau Holle geht mit der faulen Marie zu dem Tor.\nFrau Holle nimmt die faule Marie an die Hand.']] Sacrebleu: {'score': 2.5098988542339864, 'counts': [7, 1, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [19.444444444444443, 2.857142857142857, 1.4705882352941178, 0.7575757575757576], 'bp': 0.8948393168143697, 'sys_len': 36, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.19444444444444445, 0.02857142857142857, 0.0, 0.0], 'brevity_penalty': 0.8948393168143697, 'length_ratio': 0.9, 'translation_length': 36, 'reference_length': 40} Rouge: {'rouge1': 0.22535211267605634, 'rouge2': 0.02898550724637681, 'rougeL': 0.11267605633802817, 'rougeLsum': 0.19718309859154928} Sari: {'sari': 36.358024691358025} Flesh Reading Ease: 76.25 ---------------------------------------- Source: ['Die Faule war das wohl zufrieden und meinte, nun würde der Goldregen kommen;'] Prediction: ['Die Goldregen würde der Goldregen kommen.\nDie Faule war das wohl zufrieden und meinte, nun würde der Goldregen kommen.'] Label: [['Und denkt: Jetzt bekomme ich mein Gold.\nDie faule Marie ist zufrieden.']] Sacrebleu: {'score': 4.108053662461269, 'counts': [4, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4666666666666666, 'translation_length': 22, 'reference_length': 15} Rouge: {'rouge1': 0.24242424242424246, 'rouge2': 0.06451612903225806, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.24242424242424246} Sari: {'sari': 41.64898282545341} Flesh Reading Ease: 71.05 ---------------------------------------- Source: ['Das ward die Frau Holle bald müde und sagte ihr den Dienst auf.'] Prediction: ['Eine Frau wurde das ward von Frau Holle bald gewandt.\nSie wurde dabei gesucht.\nSie muss sich nun auf ihren Dienst machen.'] Label: [['Du brauchst nicht mehr für mich arbeiten.\nUnd sagt: Du kannst zurück nach Hause gehen.']] Sacrebleu: {'score': 1.7911710595643588, 'counts': [2, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [8.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.08, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3888888888888888, 'translation_length': 25, 'reference_length': 18} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 41.94444444444444} Flesh Reading Ease: 90.8 ---------------------------------------- Source: ["Sie machte auch der Frau Holle das Bett nicht, wie sich's gebührte, und schüttelte es nicht, daß die Federn aufflogen."] Prediction: ["Eine Frau holte das Bett nicht, wie sich's gebührte.\nDas Bett schüttelte es nicht, daß die Federn aufflogen."] Label: [['So fallen die Bett·federn auf die Erde.\nUnd schüttelt die Bett·decke aus.\nDie faule Marie macht nur das Bett von Frau Holle.']] Sacrebleu: {'score': 3.9667693416381398, 'counts': [6, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [27.272727272727273, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 0.8725252928694237, 'sys_len': 22, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.2727272727272727, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 0.8725252928694237, 'length_ratio': 0.88, 'translation_length': 22, 'reference_length': 25} Rouge: {'rouge1': 0.30434782608695654, 'rouge2': 0.04545454545454545, 'rougeL': 0.13043478260869565, 'rougeLsum': 0.2608695652173913} Sari: {'sari': 34.92544492544492} Flesh Reading Ease: 83.25 ---------------------------------------- Source: ['am zweiten Tage aber fing sie schon an zu faulenzen, am dritten noch mehr, da wollte sie morgens gar nicht aufstehen.'] Prediction: ['Eine Frau wollte sich am zweiten Tage nicht aufstehen.\nIhre Frau fing sie schon an zu faulenzen, da wollte sie morgens gar nicht aufstehen.'] Label: [['Aber schon am 2.\nTag hat die faule Marie keine Lust zu arbeiten:']] Sacrebleu: {'score': 1.962672844874697, 'counts': [4, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [14.814814814814815, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.14814814814814814, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 27, 'reference_length': 15} Rouge: {'rouge1': 0.16216216216216217, 'rouge2': 0.0, 'rougeL': 0.10810810810810811, 'rougeLsum': 0.16216216216216217} Sari: {'sari': 33.58585858585859} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['Am ersten Tage that sie sich Gewalt an, war fleißig und folgte der Frau Holle, wenn sie ihr etwas sagte, denn sie dachte an das viele Gold, das sie ihr schenken würde;'] Prediction: ['Eine Frau wurde in der Nacht auf Sonntag von ihrem Mann Gewalt gewalt.\nDie Frau war fleißig und folgte ihr etwas, denn sie dachte an das viele Gold, das sie ihr ihr schenken würde.'] Label: [['Am 1.\nTag ist die faule Marie noch sehr fleißig:']] Sacrebleu: {'score': 1.1524538390587937, 'counts': [2, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [5.2631578947368425, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.05263157894736842, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1666666666666665, 'translation_length': 38, 'reference_length': 12} Rouge: {'rouge1': 0.1276595744680851, 'rouge2': 0.04444444444444444, 'rougeL': 0.1276595744680851, 'rougeLsum': 0.1276595744680851} Sari: {'sari': 35.01984126984127} Flesh Reading Ease: 81.1 ---------------------------------------- Source: ['Als sie vor der Frau Holle Haus kam, fürchtete sie sich nicht, weil sie von ihren großen Zähnen schon gehört hatte und verdingte sich gleich zu ihr.'] Prediction: ['Eine Frau hatte vor der Frau Holle Haus eine Frau verdingt.\nAls sie sich nicht fürchtete, verdingte sie sich gleich zu ihr.'] Label: [['Das weiß die faule Marie von ihrer fleißigen Stief·schwester.\nUnd die Frau am Fenster hat sehr große Zähne.\nEs ist das Haus von Frau Holle.\nNach einer Weile kommt die faule Marie zu einem Haus.']] Sacrebleu: {'score': 2.3535404213495235, 'counts': [7, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [28.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 0.5712090638488149, 'sys_len': 25, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.28, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 0.571209063848815, 'length_ratio': 0.6410256410256411, 'translation_length': 25, 'reference_length': 39} Rouge: {'rouge1': 0.16129032258064516, 'rouge2': 0.03333333333333333, 'rougeL': 0.12903225806451615, 'rougeLsum': 0.12903225806451615} Sari: {'sari': 36.67929292929293} Flesh Reading Ease: 87.1 ---------------------------------------- Source: ['« Sie antwortete aber: »Du kommst mir recht, es könnte mir einer auf den Kopf fallen,« und ging damit weiter.'] Prediction: ['Im Video erklärt die Frau, dass sie einer auf den Kopf fallen könnte.\nSie antwortete aber: Sie könnte ihn einer auf den Kopf fallen.'] Label: [['Dann geht die faule Marie weiter.\nDie Äpfel können mir auf den Kopf fallen.\nAber die faule Marie antwortet: Nein.']] Sacrebleu: {'score': 14.059391325479218, 'counts': [8, 4, 3, 2], 'totals': [28, 27, 26, 25], 'precisions': [28.571428571428573, 14.814814814814815, 11.538461538461538, 8.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 24} Bleu: {'bleu': 0.14059391325479217, 'precisions': [0.2857142857142857, 0.14814814814814814, 0.11538461538461539, 0.08], 'brevity_penalty': 1.0, 'length_ratio': 1.1666666666666667, 'translation_length': 28, 'reference_length': 24} Rouge: {'rouge1': 0.2916666666666667, 'rouge2': 0.13043478260869565, 'rougeL': 0.25, 'rougeLsum': 0.2916666666666667} Sari: {'sari': 53.15018943695414} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['Bald kam sie zu dem Apfelbaum, der rief: »Ach schüttle mich, schüttle mich, wir Äpfel sind alle miteinander reif.'] Prediction: ['Eine Frau aus dem Apfelbaum kann schüttle mich, schüttle mich, wir Äpfel sind alle miteinander reif.\nDer Apfelbaum war zu einem Äpfelbaum, der rief: "Ach schüttle mich, schüttle mich, wir Äpfel sind alle miteinander reif".'] Label: [['Meine Äpfel sind alle reif.\nSchüttel mich.\nUnd der Baum ruft: Schüttel mich. Nach einer Weile kommt die faule Marie zu dem Apfel∙baum.']] Sacrebleu: {'score': 4.736661966023996, 'counts': [12, 3, 1, 0], 'totals': [45, 44, 43, 42], 'precisions': [26.666666666666668, 6.818181818181818, 2.3255813953488373, 1.1904761904761905], 'bp': 1.0, 'sys_len': 45, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.06818181818181818, 0.023255813953488372, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6071428571428572, 'translation_length': 45, 'reference_length': 28} Rouge: {'rouge1': 0.3384615384615385, 'rouge2': 0.06349206349206349, 'rougeL': 0.2461538461538462, 'rougeLsum': 0.276923076923077} Sari: {'sari': 42.61294261294261} Flesh Reading Ease: 68.9 ---------------------------------------- Source: ['« Die Faule aber antwortete: »Da hätt ich Lust, mich schmutzig zu machen,« und ging fort.'] Prediction: ['Immer wieder kam es zu einer Wohnung: Die Frau, die ihre Lust schmutzig machen, ging fort.\nDie Frau hättte ihren Lust, mich schmutzig zu machen, und ging fort.'] Label: [['Dann geht die faule Marie weiter.\nIch mache mich nicht schmutzig.\nAber die faule Marie antwortet: Nein.']] Sacrebleu: {'score': 1.6526850525490153, 'counts': [6, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [17.142857142857142, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.17142857142857143, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 35, 'reference_length': 21} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.0, 'rougeL': 0.13043478260869565, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 33.170995670995666} Flesh Reading Ease: 84.1 ---------------------------------------- Source: ['»Ach, zieh mich raus, zieh mich raus, sonst verbrenn ich, ich bin schon längst ausgebacken. Als sie zu dem Backofen gelangte, schrie das Brot wieder:'] Prediction: ['Eine Frau hatte sich zu einem Backofen geschickt.\nSie war zu sehen, zieh mich raus, zieh mich raus, sonst verbrenn ich, ich bin schon längst ausgebacken.\nAls sie zu dem Backofen gelangte, schrie das Brot wieder.'] Label: [['Sonst verbrenne ich.\nZieh mich heraus.\nUnd hört das Brot rufen: Zieh mich heraus.\nDie faule Marie sieht den Backofen.']] Sacrebleu: {'score': 2.4240945815868544, 'counts': [9, 1, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [20.454545454545453, 2.3255813953488373, 1.1904761904761905, 0.6097560975609756], 'bp': 1.0, 'sys_len': 44, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.20454545454545456, 0.023255813953488372, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.76, 'translation_length': 44, 'reference_length': 25} Rouge: {'rouge1': 0.3103448275862069, 'rouge2': 0.10714285714285714, 'rougeL': 0.1724137931034483, 'rougeLsum': 0.3103448275862069} Sari: {'sari': 34.533465972859915} Flesh Reading Ease: 86.1 ---------------------------------------- Source: ['Sie kam, wie die andere, auf die schöne Wiese und ging auf demselben Pfade weiter.'] Prediction: ['Eine Frau ging auf dem Pfade weiter.\nSie ging auf demselben Pfade weiter.'] Label: [['Die faule Marie liegt auf einer Wiese.']] Sacrebleu: {'score': 3.1251907639724417, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.875, 'translation_length': 15, 'reference_length': 8} Rouge: {'rouge1': 0.1, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.1} Sari: {'sari': 34.270833333333336} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['Dann warf sie die Spule in den Brunnen und sprang selber hinein.'] Prediction: ['Eine Frau warf in den Brunnen die Spule in den Brunnen und sprang selber hinein.\nSie warf sie in den Brunnen und sprang selber hinein.'] Label: [['Und springt dann selbst in den Brunnen hinein.\nDie faule Marie wirft die blutige Spule in den Brunnen.']] Sacrebleu: {'score': 14.724623770949025, 'counts': [11, 6, 3, 1], 'totals': [27, 26, 25, 24], 'precisions': [40.74074074074074, 23.076923076923077, 12.0, 4.166666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 20} Bleu: {'bleu': 0.1472462377094902, 'precisions': [0.4074074074074074, 0.23076923076923078, 0.12, 0.041666666666666664], 'brevity_penalty': 1.0, 'length_ratio': 1.35, 'translation_length': 27, 'reference_length': 20} Rouge: {'rouge1': 0.46511627906976744, 'rouge2': 0.24390243902439027, 'rougeL': 0.37209302325581395, 'rougeLsum': 0.41860465116279066} Sari: {'sari': 41.52777777777778} Flesh Reading Ease: 85.6 ---------------------------------------- Source: ['und damit ihre Spule blutig ward, stach sie sich in den Finger und stieß sich die Hand in die Dornhecke.'] Prediction: ['In der Nacht auf Sonntag wurde die Weltnummer 1 in die Schweiz geschlossen.\nDie Weltnummer 1 hat die Weltnummer 1 in die Hand geschickt.\nDie Weltnummer 1 ist die Weltnummer 1, 2 und 3.'] Label: [['Und stich dir in den Finger.']] Sacrebleu: {'score': 1.1524538390587937, 'counts': [2, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [5.2631578947368425, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.05263157894736842, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.428571428571429, 'translation_length': 38, 'reference_length': 7} Rouge: {'rouge1': 0.1, 'rouge2': 0.0, 'rougeL': 0.05, 'rougeLsum': 0.1} Sari: {'sari': 42.54809075020464} Flesh Reading Ease: 86.8 ---------------------------------------- Source: ['Sie mußte sich an den Brunnen setzen und spinnen;'] Prediction: ['Eine Frau (27) ist in den Ferien von der Schweiz gefunden.\nSie war sieben Jahre alt und gewann sie sich in den Brunnen setzen.\nSie war sieben Jahre alt und gewann sie sich in den Brunnen setzen.'] Label: [['Mach es so wie deine fleißige Stief∙schwester: Setz dich mit der Spule an den Brunnen.']] Sacrebleu: {'score': 2.077079238326844, 'counts': [4, 1, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [9.523809523809524, 2.4390243902439024, 1.25, 0.6410256410256411], 'bp': 1.0, 'sys_len': 42, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.09523809523809523, 0.024390243902439025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4705882352941178, 'translation_length': 42, 'reference_length': 17} Rouge: {'rouge1': 0.11111111111111113, 'rouge2': 0.03846153846153846, 'rougeL': 0.11111111111111113, 'rougeLsum': 0.11111111111111113} Sari: {'sari': 46.114417989417994} Flesh Reading Ease: 85.8 ---------------------------------------- Source: ['Das Mädchen erzählte alles was ihm begegnet war, und als die Mutter hörte, wie es zu dem großen Reichtum gekommen war, wollte sie der anderen häßlichen und faulen Tochter gern dasselbe Glück verschaffen.'] Prediction: ['Eine Mutter wollte ihr häßliches Tochter gern dasselbe Glück verschaffen.\nAls die Mutter hörte, wie es zu dem großen Reichtum gekommen war, wollte sie der anderen häßlichen und faulen Tochter gern dasselbe Glück verschaffen.'] Label: [['Und denkt: Meine faule Tochter Marie soll auch so viel Glück haben.\nDa wird die Stief∙mutter neidisch.\nMarie erzählt von Frau Holle.']] Sacrebleu: {'score': 1.4491339833989647, 'counts': [5, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [13.157894736842104, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.13157894736842105, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4615384615384615, 'translation_length': 38, 'reference_length': 26} Rouge: {'rouge1': 0.1846153846153846, 'rouge2': 0.031746031746031744, 'rougeL': 0.15384615384615385, 'rougeLsum': 0.1846153846153846} Sari: {'sari': 35.18817204301075} Flesh Reading Ease: 57.7 ---------------------------------------- Source: ['Da ging es hinein zu seiner Mutter, und weil es so mit Gold bedeckt ankam, ward es von ihr und der Schwester gut aufgenommen.'] Prediction: ['Mutter ging es hin zu seiner Mutter, und weil es so mit Gold bedeckt ankam, wurde es von ihr und der Schwester gut aufgenommen.\nWir haben die besten Looks der Welt bekannt gegeben.'] Label: [['Und auch die faule Stief∙schwester ist plötzlich sehr nett zu Marie.\nJetzt ist die Stief∙mutter plötzlich sehr nett zu Marie.\nDie Stief∙mutter sieht Marie.\nMarie geht zum Haus von der Stief∙mutter.']] Sacrebleu: {'score': 1.559480765382838, 'counts': [6, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [16.216216216216218, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.16216216216216217, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0571428571428572, 'translation_length': 37, 'reference_length': 35} Rouge: {'rouge1': 0.22857142857142856, 'rouge2': 0.0, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.22857142857142856} Sari: {'sari': 37.06122448979592} Flesh Reading Ease: 75.75 ---------------------------------------- Source: ['»Kikeriki, unsere goldene Jungfrau ist wieder hie.«'] Prediction: ['Im Alter von 99 Jahren ist eine goldene Jungfrau in den Schweizer Kinos gekommen.\nDie Schweizerin hat sich mit einer golden Jungfrau zu sehen.\nDie Schweizerin ist eine goldene Jungfrau.'] Label: [['Unsere Gold-Marie ist zurück.\nSo ein Glück.\nSo ein Glück.']] Sacrebleu: {'score': 1.5883027492953543, 'counts': [4, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [12.121212121212121, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.12121212121212122, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5384615384615383, 'translation_length': 33, 'reference_length': 13} Rouge: {'rouge1': 0.045454545454545456, 'rouge2': 0.0, 'rougeL': 0.045454545454545456, 'rougeLsum': 0.045454545454545456} Sari: {'sari': 53.37301587301587} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Darauf ward das Thor verschlossen, und das Mädchen befand sich oben auf der Welt, nicht weit von seiner Mutter Haus: und als es in den Hof kam, saß der Hahn auf dem Brunnen und rief:'] Prediction: ['Das Mädchen wurde von seiner Mutter Haus in der Welt geschlossen.\nAber auch das Thor verschlossen, wie es in den Hof kam.\nAber das Mädchen wurde von seiner Mutter Haus geschlossen.'] Label: [['Der Hahn ruft: Auf dem Brunnen sitzt ein Hahn.\nJetzt ist Marie zu Hause.\nUnd plötzlich ist Marie wieder am Brunnen.\nDann geht Marie durch das Tor.']] Sacrebleu: {'score': 1.493369524819332, 'counts': [4, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [11.428571428571429, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.11428571428571428, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.09375, 'translation_length': 35, 'reference_length': 32} Rouge: {'rouge1': 0.06557377049180328, 'rouge2': 0.0, 'rougeL': 0.06557377049180328, 'rougeLsum': 0.06557377049180328} Sari: {'sari': 31.563393794576587} Flesh Reading Ease: 81.95 ---------------------------------------- Source: ['»Das sollst du haben, weil du so fleißig gewesen bist,« sprach die Frau Holle und gab ihm auch die Spule wieder, die ihm in den Brunnen gefallen war.'] Prediction: ['Eine Frau war in den Brunnen gefallen.\nSie war auch in den Brunnen gefallen.\nDie Spule war in den Brunnen gefallen.'] Label: [['Und Frau Holle gibt der fleißigen Marie die Spule aus dem Brunnen.\nDu warst sehr fleißig.\nDas Gold ist für dich.\nFrau Holle sagt:']] Sacrebleu: {'score': 2.084323581868844, 'counts': [6, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [25.0, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 0.846481724890614, 'sys_len': 24, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0, 0.0, 0.0], 'brevity_penalty': 0.846481724890614, 'length_ratio': 0.8571428571428571, 'translation_length': 24, 'reference_length': 28} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.043478260869565216, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 38.34760512392091} Flesh Reading Ease: 85.25 ---------------------------------------- Source: ['Das Thor ward aufgethan, und wie das Mädchen gerade darunter stand, fiel ein gewaltiger Goldregen, und alles Gold blieb an ihm hängen, sodaß es über und über davon bedeckt war.'] Prediction: ['Das Mädchen, das ein gewaltiger Goldregen fiel, fiel ein gewaltiger Goldregen, und alles Gold blieb an ihm hängen.\nEin gewaltiger Goldregen war, wie das Mädchen gerade darunter stand, fiel ein gewaltiger Goldregen, und alles Gold blieb an ihm hängen, sodaß es über und über davon bedeckt war.'] Label: [['Und das Gold bleibt an Marie kleben.\nDer Regen ist aus Gold.\nAber der Regen ist kein normaler Regen.\nPlötzlich regnet es.']] Sacrebleu: {'score': 1.0554178378899564, 'counts': [7, 0, 0, 0], 'totals': [56, 55, 54, 53], 'precisions': [12.5, 0.9090909090909091, 0.46296296296296297, 0.2358490566037736], 'bp': 1.0, 'sys_len': 56, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1538461538461537, 'translation_length': 56, 'reference_length': 26} Rouge: {'rouge1': 0.16216216216216217, 'rouge2': 0.0, 'rougeL': 0.13513513513513514, 'rougeLsum': 0.13513513513513514} Sari: {'sari': 36.03351955307263} Flesh Reading Ease: 57.05 ---------------------------------------- Source: ['« Sie nahm es darauf bei der Hand und führte es vor ein großes Thor.'] Prediction: ['Immer wieder war ein großes Thor.\nImmer wieder war eine Hand gesucht.\nImmer wieder nach dem Gewinner einzustehen.'] Label: [['Und Frau Holle geht mit Marie zu einem Tor.\nFrau Holle nimmt Marie an die Hand.']] Sacrebleu: {'score': 2.3901021968803136, 'counts': [3, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [14.285714285714286, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1666666666666667, 'translation_length': 21, 'reference_length': 18} Rouge: {'rouge1': 0.05714285714285714, 'rouge2': 0.0, 'rougeL': 0.05714285714285714, 'rougeLsum': 0.05714285714285714} Sari: {'sari': 36.66666666666667} Flesh Reading Ease: 68.7 ---------------------------------------- Source: ['« Die Frau Holle sagte: »Es gefällt mir, daß du wieder nach Hause verlangst, und weil du mir so treu gedient hast, so will ich dich selbst wieder hinaufbringen.'] Prediction: ['Eine Frau wollte ihren Mann wieder nach Hause verlangen.\nSie will ihn selbst wieder hinaufbringen.'] Label: [['Aber Frau Holle versteht das.']] Sacrebleu: {'score': 2.719665272174911, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8333333333333335, 'translation_length': 17, 'reference_length': 6} Rouge: {'rouge1': 0.1, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.1} Sari: {'sari': 35.649350649350644} Flesh Reading Ease: 73.05 ---------------------------------------- Source: ['Endlich sagte es zu ihr: »Ich habe den Jammer nach Hause kriegt, und wenn es mir auch noch so gut hier unten geht, so kann ich doch nicht länger bleiben, ich muß wieder hinauf zu den Meinigen.'] Prediction: ['Ein Jammer hat seinen Jammer nach Hause kriegt.\nDie Bevölkerung ist nicht bekannt.'] Label: [['Und meine Stief∙schwester.\nIch vermisse nämlich meine Stief∙mutter.\nIch will nach Hause.\nAber ich kann nicht länger bei dir bleiben.\nEs geht mir sehr gut bei dir.\nUnd sagt: Liebe Frau Holle: Also geht Marie zu Frau Holle.']] Sacrebleu: {'score': 0.8367430268967362, 'counts': [5, 1, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [33.333333333333336, 7.142857142857143, 3.8461538461538463, 2.0833333333333335], 'bp': 0.12660710278908355, 'sys_len': 15, 'ref_len': 46} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.07142857142857142, 0.0, 0.0], 'brevity_penalty': 0.1266071027890836, 'length_ratio': 0.32608695652173914, 'translation_length': 15, 'reference_length': 46} Rouge: {'rouge1': 0.10714285714285714, 'rouge2': 0.03703703703703704, 'rougeL': 0.10714285714285714, 'rougeLsum': 0.10714285714285714} Sari: {'sari': 36.604108232964855} Flesh Reading Ease: 79.9 ---------------------------------------- Source: ['ob es ihm hier gleich viel tausendmal besser ging als zu Hause, so hatte es doch ein Verlangen dahin.'] Prediction: ['Ein Mann hatte sich in der Nacht auf Sonntag in die Schweiz einen Verlangen gefunden.\nDer Mann hatte sich aber nicht mehr gefunden.'] Label: [['Und meine Stief∙schwester.\nUnd trotzdem vermisse ich meine Stief∙mutter.\nZu Hause ist mein Leben nicht so schön.\nMarie denkt:']] Sacrebleu: {'score': 1.9822566267103439, 'counts': [3, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [12.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.12, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0869565217391304, 'translation_length': 25, 'reference_length': 23} Rouge: {'rouge1': 0.04444444444444444, 'rouge2': 0.0, 'rougeL': 0.04444444444444444, 'rougeLsum': 0.04444444444444444} Sari: {'sari': 50.678879310344826} Flesh Reading Ease: 86.6 ---------------------------------------- Source: ['Nun war es eine Zeitlang bei der Frau Holle, da ward es traurig und wußte anfangs selbst nicht, was ihm fehle, endlich merkte es, daß es Heimweh war;'] Prediction: ['Eine Frau wurde von der Frau Holle gefeiert.\nIhr Heimweh war eine Heimweh-Zeitung.'] Label: [['Marie hat Heimweh.\nUnd denkt: Warum bin ich traurig?\nAber dann wird Marie traurig.\nUnd die Wochen vergehen.']] Sacrebleu: {'score': 2.028969988565578, 'counts': [3, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [20.0, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.5866462195100317, 'sys_len': 15, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5866462195100318, 'length_ratio': 0.6521739130434783, 'translation_length': 15, 'reference_length': 23} Rouge: {'rouge1': 0.0625, 'rouge2': 0.0, 'rougeL': 0.0625, 'rougeLsum': 0.0625} Sari: {'sari': 43.51851851851851} Flesh Reading Ease: 68.2 ---------------------------------------- Source: ['Es besorgte auch alles nach ihrer Zufriedenheit und schüttelte ihr das Bett immer gewaltig auf, daß die Federn wie Schneeflocken umherflogen;'] Prediction: ['Ein Bett schüttelte ihr immer gewaltig auf.\nEs wurde dabei umherflogen.\nDie Federn wollen ihr das Bett immer gewaltig aufnehmen.'] Label: [['Und werden zu Schnee.\nDann fliegen nämlich die Bett∙federn auf die Erde.\nJeden Tag muss Marie die Bett∙decke von Frau Holle gut ausschütteln.\nUnd Marie macht das Bett von Frau Holle.\nUnd Marie hilft Frau Holle bei der Arbeit im Haus.']] Sacrebleu: {'score': 1.5944866305976084, 'counts': [6, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [26.08695652173913, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 0.36787944117144233, 'sys_len': 23, 'ref_len': 46} Bleu: {'bleu': 0.0, 'precisions': [0.2608695652173913, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 0.36787944117144233, 'length_ratio': 0.5, 'translation_length': 23, 'reference_length': 46} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.03125000000000001, 'rougeL': 0.15151515151515152, 'rougeLsum': 0.15151515151515152} Sari: {'sari': 39.40972222222223} Flesh Reading Ease: 62.15 ---------------------------------------- Source: ['« Weil die Alte ihm so gut zusprach, so faßte sich das Mädchen ein Herz, willigte ein und begab sich in ihren Dienst.'] Prediction: ['Eine Frau wurde in ihrem Dienst geschickt.\nSie soll eine Frau so gut zusprach haben, sollte sie ein Herz sein.'] Label: [['Und so bleibt Marie bei Frau Holle.\nUnd ich will für Frau Holle arbeiten.\nIch will bei Frau Holle bleiben.\nFrau Holle ist nett.\nMarie denkt:']] Sacrebleu: {'score': 1.7389560486986841, 'counts': [5, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [21.73913043478261, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 0.7062216866978064, 'sys_len': 23, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7062216866978064, 'length_ratio': 0.7419354838709677, 'translation_length': 23, 'reference_length': 31} Rouge: {'rouge1': 0.12765957446808512, 'rouge2': 0.0, 'rougeL': 0.0851063829787234, 'rougeLsum': 0.12765957446808512} Sari: {'sari': 44.097222222222214} Flesh Reading Ease: 88.1 ---------------------------------------- Source: ['ich bin die Frau Holle.'] Prediction: ['Im Alter von 99 Jahren ist die Frau von 20 Jahren gestorben.\nSie war mit ihrem Partner Christian über die Frau.\nSie war mit ihrem Partner Christian über die Frau Holle.'] Label: [['Ich bin Frau Holle.']] Sacrebleu: {'score': 4.05185766962521, 'counts': [3, 2, 1, 0], 'totals': [34, 33, 32, 31], 'precisions': [8.823529411764707, 6.0606060606060606, 3.125, 1.6129032258064515], 'bp': 1.0, 'sys_len': 34, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.08823529411764706, 0.06060606060606061, 0.03125, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.8, 'translation_length': 34, 'reference_length': 5} Rouge: {'rouge1': 0.1142857142857143, 'rouge2': 0.0606060606060606, 'rougeL': 0.1142857142857143, 'rougeLsum': 0.1142857142857143} Sari: {'sari': 37.5} Flesh Reading Ease: 81.95 ---------------------------------------- Source: ["bleib bei mir, wenn du alle Arbeit im Hause ordentlich thun willst, so soll dir's gut gehen."] Prediction: ['Im Interview mit 20 Minuten spricht über die 20-Minuten-Radio-Hosts, die ihre Arbeit mit dem Podcast "Unchained" über Social Media und ihre Lebens-Community.\nWir haben sich über die Fragen gekürt, was im Interview mit 20 Minuten verrät.'] Label: [['Ich werde mich gut um dich kümmern.\nUnd du kannst mir bei der Arbeit im Haus helfen.\nDu kannst bei mir bleiben.']] Sacrebleu: {'score': 1.176877973200725, 'counts': [4, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [9.090909090909092, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.76, 'translation_length': 44, 'reference_length': 25} Rouge: {'rouge1': 0.0923076923076923, 'rouge2': 0.0, 'rougeL': 0.061538461538461535, 'rougeLsum': 0.061538461538461535} Sari: {'sari': 51.89648979122663} Flesh Reading Ease: 50.85 ---------------------------------------- Source: ['Was fürchtest du dich, liebes Kind?'] Prediction: ['Der Schweizer Kind war ein Jahr nach dem Jahr 2020.\nEr war fürchtest du dich, liebes Kind zu haben.\nWas fürchtest du dich, liebes Kind zu haben?'] Label: [['Hab keine Angst.']] Sacrebleu: {'score': 1.1599713834969503, 'counts': [1, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [3.125, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 4} Bleu: {'bleu': 0.0, 'precisions': [0.03125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 8.0, 'translation_length': 32, 'reference_length': 4} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.375} Flesh Reading Ease: 94.95 ---------------------------------------- Source: ['Die alte Frau aber rief ihm nach: »'] Prediction: ['Eine Frau hat ihren Mann nach ihrem Mann geschützt.\nDie Frau rief ihm nach: Sie rief ihm nach: Ihn nach ihn.'] Label: [['Aber die alte Frau mit den großen Zähnen ruft:']] Sacrebleu: {'score': 1.7911710595643588, 'counts': [2, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [8.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.08, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 25, 'reference_length': 10} Rouge: {'rouge1': 0.12121212121212123, 'rouge2': 0.0, 'rougeL': 0.12121212121212123, 'rougeLsum': 0.12121212121212123} Sari: {'sari': 27.32323232323232} Flesh Reading Ease: 99.3 ---------------------------------------- Source: ['Endlich kam es zu einem kleinen Hause, daraus guckte eine alte Frau, weil sie aber so große Zähne hatte, ward ihm angst, und es wollte fortlaufen.'] Prediction: ['Eine Frau wollte fortlaufen, weil sie aber so große Zähne hatte, wollte ihm angst, und es wollte fortlaufen.\nAber wenn sie das klein war, wollte sie fortlaufen.'] Label: [['Und will weglaufen.\nDeshalb hat Marie Angst.\nUnd die Frau hat sehr große Zähne.\nDie Frau ist alt.\nDie Frau schaut aus dem Fenster.\nUnd in dem Haus wohnt eine Frau.\nDas Haus ist klein.\nNach einer Weile kommt Marie zu einem Haus.']] Sacrebleu: {'score': 1.713328739924109, 'counts': [6, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [18.181818181818183, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 0.5795782787848095, 'sys_len': 33, 'ref_len': 51} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.03125, 0.0, 0.0], 'brevity_penalty': 0.5795782787848095, 'length_ratio': 0.6470588235294118, 'translation_length': 33, 'reference_length': 51} Rouge: {'rouge1': 0.27027027027027023, 'rouge2': 0.1388888888888889, 'rougeL': 0.2162162162162162, 'rougeLsum': 0.27027027027027023} Sari: {'sari': 38.29960551055886} Flesh Reading Ease: 78.75 ---------------------------------------- Source: ['« Da schüttelte es den Baum, daß die Äpfel fielen als regneten sie, und schüttelte bis keiner mehr oben war; und als es alle in einen Haufen zusammengelegt hatte, ging es wieder weiter.'] Prediction: ['Ein Baum schüttelte in einen Haufen als regneten sie.\nAls es alle in einen Haufen zusammengelegt hatte, ging es wieder weiter.'] Label: [['Dann geht Marie weiter.\nMarie legt die Äpfel auf einen Haufen.\nUnd die Äpfel fallen auf den Boden.\nMarie schüttelt den Baum.']] Sacrebleu: {'score': 4.5309194832916795, 'counts': [6, 2, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [25.0, 8.695652173913043, 2.272727272727273, 1.1904761904761905], 'bp': 0.9200444146293233, 'sys_len': 24, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.08695652173913043, 0.0, 0.0], 'brevity_penalty': 0.9200444146293233, 'length_ratio': 0.9230769230769231, 'translation_length': 24, 'reference_length': 26} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.046511627906976744, 'rougeL': 0.08888888888888888, 'rougeLsum': 0.17777777777777776} Sari: {'sari': 35.819585471288256} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['Danach ging es weiter und kam zu einem Baum, der hing voll Äpfel, und rief ihm zu: »Ach schüttle mich, schüttle mich, wir Äpfel sind alle miteinander reif.'] Prediction: ['Ein Baum rief von einem Baum zu, der hing voll Äpfel zu rief.\nDer Baum rief ihm zu: "Ach schüttle mich, schüttle mich, wir Äpfel sind alle miteinander reif".'] Label: [['Meine Äpfel sind alle reif.\nSchüttel mich. Da ruft der Baum: Schüttel mich.\nDie Äpfel sind alle rot.\nAm Baum sind viele Äpfel.\nNach einer Weile kommt Marie zu einem Baum.\nDann geht Marie weiter.']] Sacrebleu: {'score': 5.3041266038956225, 'counts': [16, 3, 1, 0], 'totals': [37, 36, 35, 34], 'precisions': [43.24324324324324, 8.333333333333334, 2.857142857142857, 1.4705882352941178], 'bp': 0.8503033063369506, 'sys_len': 37, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.43243243243243246, 0.08333333333333333, 0.02857142857142857, 0.0], 'brevity_penalty': 0.8503033063369504, 'length_ratio': 0.8604651162790697, 'translation_length': 37, 'reference_length': 43} Rouge: {'rouge1': 0.4411764705882353, 'rouge2': 0.1212121212121212, 'rougeL': 0.23529411764705882, 'rougeLsum': 0.411764705882353} Sari: {'sari': 40.03963606670171} Flesh Reading Ease: 89.45 ---------------------------------------- Source: ['« Da trat es herzu und holte mit dem Brotschieber alles nacheinander heraus.'] Prediction: ['Im Tessin wurde ein Brotschieber von einem Mann gefunden.\nDer Mann war mit dem Brotschieber alles nacheinander herausgefunden.'] Label: [['Und holt das Brot heraus.\nAber Marie geht zu dem Backofen.']] Sacrebleu: {'score': 2.5197593442434796, 'counts': [3, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [15.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5384615384615385, 'translation_length': 20, 'reference_length': 13} Rouge: {'rouge1': 0.06896551724137931, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 33.657407407407405} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['das Brot aber rief: »Ach, zieh mich raus, zieh mich raus, sonst verbrenn ich: ich bin schon längst ausgebacken.'] Prediction: ['Im Interview mit 20 Minuten spricht der Schweizer über die Welt und die Schweizer Schweizerin.\nIn der Interview spricht er über die Welt und die Schweizerin über ihre Änderungen.'] Label: [['Sonst verbrenne ich.\nZieh mich heraus.\nDa ruft das Brot: Zieh mich heraus.']] Sacrebleu: {'score': 1.4262733286728257, 'counts': [2, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [6.451612903225806, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.06451612903225806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8235294117647058, 'translation_length': 31, 'reference_length': 17} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 47.74064171122994} Flesh Reading Ease: 71.9 ---------------------------------------- Source: ['Auf dieser Wiese ging es fort und kam zu einem Backofen, der war voller Brot;'] Prediction: ['Ein Backofen war in einem Wiese gefunden.\nDer Brot war voller Brot.'] Label: [['Das Brot ist fertig gebacken.\nIm Backofen ist nämlich Brot.\nDer Backofen dampft.\nAuf der Wiese steht ein alter Backofen.\nUnd geht über die Wiese.\nDann steht Marie auf.']] Sacrebleu: {'score': 2.0613724123356505, 'counts': [7, 2, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [50.0, 15.384615384615385, 4.166666666666667, 2.272727272727273], 'bp': 0.22313016014842982, 'sys_len': 14, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.5, 0.15384615384615385, 0.0, 0.0], 'brevity_penalty': 0.22313016014842982, 'length_ratio': 0.4, 'translation_length': 14, 'reference_length': 35} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.0, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 47.535612535612536} Flesh Reading Ease: 86.25 ---------------------------------------- Source: ['Es verlor die Besinnung, und als es erwachte und wieder zu sich selber kam, war es auf einer schönen Wiese, wo die Sonne schien und viel tausend Blumen standen.'] Prediction: ['Eine schönen Wiese hat es in der Nähe von Sonnen geschickt.\nEs verlor die Besinnung, als es erwachte und wieder zu sich selber kam.'] Label: [['Die Sonne scheint.\nMarie liegt auf einer Wiese.\nUnd plötzlich ist der Brunnen weg.\nDabei dreht sich alles.\nMarie fällt immer tiefer in den Brunnen.']] Sacrebleu: {'score': 1.943639811135379, 'counts': [6, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [22.22222222222222, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 0.8948393168143697, 'sys_len': 27, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8948393168143697, 'length_ratio': 0.9, 'translation_length': 27, 'reference_length': 30} Rouge: {'rouge1': 0.22641509433962265, 'rouge2': 0.0, 'rougeL': 0.11320754716981132, 'rougeLsum': 0.22641509433962265} Sari: {'sari': 34.43263607737292} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['« Da ging das Mädchen zu dem Brunnen zurück und wußte nicht, was es anfangen sollte, und in seiner Herzensangst sprang es in den Brunnen hinein, um die Spule zu holen.'] Prediction: ['Ein Mädchen wurde in einem Brunnen in seiner Herzensangst in den Brunnen hinein gefunden.\nDie Spule sprang unter anderem in den Brunnen hinein, um die Spule zu holen.'] Label: [['Deshalb springt Marie in den Brunnen.\nMarie denkt: Was soll ich jetzt tun?\nMarie muss die Spule aus dem Brunnen holen.\nAber Marie geht zurück zum Brunnen.']] Sacrebleu: {'score': 6.946055595737913, 'counts': [10, 4, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [32.25806451612903, 13.333333333333334, 3.4482758620689653, 1.7857142857142858], 'bp': 0.9682566771439106, 'sys_len': 31, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.3225806451612903, 0.13333333333333333, 0.034482758620689655, 0.0], 'brevity_penalty': 0.9682566771439106, 'length_ratio': 0.96875, 'translation_length': 31, 'reference_length': 32} Rouge: {'rouge1': 0.28070175438596495, 'rouge2': 0.10909090909090909, 'rougeL': 0.24561403508771928, 'rougeLsum': 0.28070175438596495} Sari: {'sari': 41.25027343004612} Flesh Reading Ease: 66.55 ---------------------------------------- Source: ['»Hast du die Spule hinunterfallen lassen, so hol sie auch wieder herauf.'] Prediction: ['Eine Frau wurde von ihrem Spital in der Nähe von der Stadt Zürich aufgefunden.\nDie Frau war auch wieder heraufgefunden.'] Label: [['Und hol die Spule wieder heraus.\nDann geh zurück zum Brunnen.\nDu hast die Spule in den Brunnen fallen lassen?']] Sacrebleu: {'score': 2.334118780652749, 'counts': [4, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 0.9555630362682843, 'sys_len': 22, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9555630362682843, 'length_ratio': 0.9565217391304348, 'translation_length': 22, 'reference_length': 23} Rouge: {'rouge1': 0.1395348837209302, 'rouge2': 0.0, 'rougeL': 0.09302325581395349, 'rougeLsum': 0.1395348837209302} Sari: {'sari': 51.1587024087024} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Sie schalt es aber so heftig und war so unbarmherzig, daß sie sprach:'] Prediction: ['Eine Frau (24) ist in der Nacht auf Sonntag in Zürich gestorben.\nSie war so unbarmherzig, daß sie sprach.'] Label: [['Und sagt: Du dummes Kind.\nDa wird die Stief∙mutter sehr böse.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7142857142857142, 'translation_length': 24, 'reference_length': 14} Rouge: {'rouge1': 0.060606060606060615, 'rouge2': 0.0, 'rougeL': 0.060606060606060615, 'rougeLsum': 0.060606060606060615} Sari: {'sari': 31.61904761904762} Flesh Reading Ease: 88.6 ---------------------------------------- Source: ['sie sprang ihm aber aus der Hand und fiel hinab.'] Prediction: ['Ein Mann hatte sich in der Hand und fiel hinab.\nDas hatte er aus der Hand und fiel hinab.'] Label: [['Und versinkt.\nDeshalb fällt die blutige Spule in den Brunnen.\nAber Marie passt nicht auf.']] Sacrebleu: {'score': 2.3901021968803136, 'counts': [3, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [14.285714285714286, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1666666666666667, 'translation_length': 21, 'reference_length': 18} Rouge: {'rouge1': 0.11428571428571428, 'rouge2': 0.0, 'rougeL': 0.05714285714285714, 'rougeLsum': 0.11428571428571428} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 100.3 ---------------------------------------- Source: ['Nun trug es sich zu, daß die Spule einmal ganz blutig war, da bückte es sich damit in den Brunnen und wollte sie abwaschen;'] Prediction: ['Eine Spule in der Nähe von St. Gallen wollte abwaschen.\nDie Brunnen-Spule wollte abwaschen.'] Label: [['Marie will die blutige Spule im Brunnen waschen.\nUnd auch die Spule mit der Wolle wird dabei blutig.']] Sacrebleu: {'score': 2.711020190038818, 'counts': [4, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [23.529411764705884, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.8382234324229999, 'sys_len': 17, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8382234324229999, 'length_ratio': 0.85, 'translation_length': 17, 'reference_length': 20} Rouge: {'rouge1': 0.29411764705882354, 'rouge2': 0.0, 'rougeL': 0.17647058823529413, 'rougeLsum': 0.23529411764705882} Sari: {'sari': 53.35087719298246} Flesh Reading Ease: 64.15 ---------------------------------------- Source: ['Das arme Mädchen mußte sich täglich auf die große Straße bei einem Brunnen setzen, und mußte soviel spinnen, daß ihm das Blut aus den Fingern sprang.'] Prediction: ['Eine Frau (27) ist auf der große Straße in der Nähe von Zürich (D) gefunden.\nIhr Blut sprang aus den Fingern.\nDie Frau war dabei, dass ihm das Blut aus den Fingern sprang.'] Label: [['An einem Tag sticht sich die fleißige Marie bei der Arbeit in den Finger.\nUnd mit einem Spinn∙rad Wolle zu einem Faden machen.\nJeden Tag muss die fleißige Marie am Brunnen sitzen.']] Sacrebleu: {'score': 1.4014248243844825, 'counts': [6, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [14.634146341463415, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.14634146341463414, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1714285714285715, 'translation_length': 41, 'reference_length': 35} Rouge: {'rouge1': 0.11111111111111112, 'rouge2': 0.0, 'rougeL': 0.11111111111111112, 'rougeLsum': 0.11111111111111112} Sari: {'sari': 33.86243386243386} Flesh Reading Ease: 92.95 ---------------------------------------- Source: ['Sie hatte aber die häßliche und faule, weil sie ihre rechte Tochter war, viel lieber, und die andere mußte alle Arbeit thun und der Aschenputtel im Hause sein.'] Prediction: ['Eine Tochter ist in der Schweiz eine häßliche Tochter.\nSie faule aber lieber, weil sie ihre rechte Tochter war, viel lieber.\nDie andere mußten alle Arbeit thun und der Aschenputtel im Hause sein.'] Label: [['Deshalb muss die fleißige Marie die ganze Arbeit allein machen: Die Frau hat die faule Marie viel lieber.\nDie faule Marie ist nämlich ihr eigenes Kind.\nDie Frau hat aber die faule Marie viel lieber.']] Sacrebleu: {'score': 7.609711906593755, 'counts': [11, 3, 2, 1], 'totals': [38, 37, 36, 35], 'precisions': [28.94736842105263, 8.108108108108109, 5.555555555555555, 2.857142857142857], 'bp': 0.9740274534203012, 'sys_len': 38, 'ref_len': 39} Bleu: {'bleu': 0.0760971190659376, 'precisions': [0.2894736842105263, 0.08108108108108109, 0.05555555555555555, 0.02857142857142857], 'brevity_penalty': 0.9740274534203012, 'length_ratio': 0.9743589743589743, 'translation_length': 38, 'reference_length': 39} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.05714285714285714, 'rougeL': 0.11111111111111112, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 37.88326387833341} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['Eine Wittwe hatte zwei Töchter, davon war die eine schön und fleißig, die andere häßlich und faul.'] Prediction: ['Eine Wittwe hatte zwei Töchter, davon war die eine schön und fleißig.\nSie faulen häßlich und faulen.'] Label: [['Und faul.\nAber die andere Tochter ist hässlich.\nUnd fleißig.\nDie eine Tochter ist schön.\nEine Frau hat 2 Töchter.']] Sacrebleu: {'score': 4.21745176001281, 'counts': [8, 1, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [40.0, 5.2631578947368425, 2.7777777777777777, 1.4705882352941178], 'bp': 0.7788007830714049, 'sys_len': 20, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.4, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 0.7788007830714049, 'length_ratio': 0.8, 'translation_length': 20, 'reference_length': 25} Rouge: {'rouge1': 0.5333333333333333, 'rouge2': 0.23255813953488372, 'rougeL': 0.17777777777777778, 'rougeLsum': 0.5333333333333333} Sari: {'sari': 29.847199416164933} Flesh Reading Ease: 77.9 ---------------------------------------- Source: ['Und da wurde die Hochzeit des Königssohns mit dem Dornröschen in aller Pracht gefeiert, und sie lebten vergnügt bis an ihr Ende.'] Prediction: ['Am Dornröschen wurde die Hochzeit des Königssohns mit dem Dornröschen in aller Pracht gefeiert.\nDie Frauen lebten bis an ihr Ende.'] Label: [['Und Dorn∙röschen und der Prinz leben für immer glücklich zusammen.\nUnd alle Menschen im Land feiern ein großes Fest.\nDorn∙röschen und der Prinz heiraten.']] Sacrebleu: {'score': 1.645633343998552, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 0.8403699701308979, 'sys_len': 23, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8403699701308981, 'length_ratio': 0.8518518518518519, 'translation_length': 23, 'reference_length': 27} Rouge: {'rouge1': 0.07272727272727274, 'rouge2': 0.0, 'rougeL': 0.07272727272727274, 'rougeLsum': 0.07272727272727274} Sari: {'sari': 32.46031746031746} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['die Fliegen an den Wänden krochen weiter:'] Prediction: ['Die Fliegen in den Schweizer Städten können weiterhin krochen weiterhin können: Die Fliegen können weiterhin krochen weiterhin können: Die Fliegen können weiterhin krochen weiterhin können:'] Label: [['Und die Fliegen an der Wand.']] Sacrebleu: {'score': 1.3353534059549443, 'counts': [1, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [3.5714285714285716, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.03571428571428571, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 28, 'reference_length': 7} Rouge: {'rouge1': 0.10526315789473684, 'rouge2': 0.05555555555555555, 'rougeL': 0.10526315789473684, 'rougeLsum': 0.10526315789473684} Sari: {'sari': 45.83333333333333} Flesh Reading Ease: 38.0 ---------------------------------------- Source: ['die Tauben auf dem Dache zogen das Köpfchen unterm Flügel hervor, sahen umher und flogen ins Feld;'] Prediction: ['Eine Tauben auf dem Dache zogen das Köpfchen unterm Flügel hervor.\nDie Tauben flogen ins Feld.'] Label: [['Die Tauben auf dem Dach.']] Sacrebleu: {'score': 10.052686727030013, 'counts': [5, 3, 1, 0], 'totals': [18, 17, 16, 15], 'precisions': [27.77777777777778, 17.647058823529413, 6.25, 3.3333333333333335], 'bp': 1.0, 'sys_len': 18, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.17647058823529413, 0.0625, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 18, 'reference_length': 6} Rouge: {'rouge1': 0.3478260869565218, 'rouge2': 0.2857142857142857, 'rougeL': 0.2608695652173913, 'rougeLsum': 0.3478260869565218} Sari: {'sari': 44.08459595959596} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Und die Pferde im Hof standen auf und rüttelten sich;'] Prediction: ['Im Hof in Wil SG wurde eine Pferde von einem Hof gefunden.\nDie Pferde rüttelten sich und rüttelten sich.'] Label: [['Die Pferde im Stall.\nUnd auch die Tiere erwachen:']] Sacrebleu: {'score': 4.019656738893367, 'counts': [3, 1, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [14.285714285714286, 5.0, 2.6315789473684212, 1.3888888888888888], 'bp': 1.0, 'sys_len': 21, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.05, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9090909090909092, 'translation_length': 21, 'reference_length': 11} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.07142857142857144, 'rougeL': 0.2, 'rougeLsum': 0.2} Sari: {'sari': 47.102272727272734} Flesh Reading Ease: 76.9 ---------------------------------------- Source: ['Da gingen sie zusammen herab, und der König erwachte und die Königin, und der ganze Hofstaat, und sahen einander mit großen Augen an.'] Prediction: ['Der Hofstaat ist einige Jahre alt.\nDie Königin erwachte und die Königin sahen einander mit großen Augen an.'] Label: [['Die Diener.\nDer Koch.\nDer König und die Königin.\nJetzt erwachen auch die Menschen im Schloss:']] Sacrebleu: {'score': 8.808424865565325, 'counts': [7, 2, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 10.526315789473685, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.35, 0.10526315789473684, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 20, 'reference_length': 20} Rouge: {'rouge1': 0.358974358974359, 'rouge2': 0.16216216216216214, 'rougeL': 0.30769230769230765, 'rougeLsum': 0.358974358974359} Sari: {'sari': 39.82142857142857} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Wie er es mit dem Kuß berührt hatte, schlug Dornröschen die Augen auf, erwachte und blickte ihn ganz freundlich an.'] Prediction: ['Ein Kuß hatte die Augen auf, erwachte und blickte ihn ganz freundlich an.\nDornröschen schlug die Augen auf, erwachte und blickte ihn ganz freundlich an.'] Label: [['Und Dorn∙röschen lächelt den Prinzen an.\nPlötzlich öffnet Dorn∙röschen die Augen.']] Sacrebleu: {'score': 3.848169719653079, 'counts': [5, 2, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [17.24137931034483, 7.142857142857143, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.07142857142857142, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.230769230769231, 'translation_length': 29, 'reference_length': 13} Rouge: {'rouge1': 0.23255813953488372, 'rouge2': 0.048780487804878044, 'rougeL': 0.23255813953488372, 'rougeLsum': 0.23255813953488372} Sari: {'sari': 39.865689865689866} Flesh Reading Ease: 79.75 ---------------------------------------- Source: ['Da lag es und war so schön, daß er die Augen nicht abwenden konnte, und er bückte sich und gab ihm einen Kuß.'] Prediction: ['Ein Kuß hat sich in der Nacht auf Sonntag nicht abwenden.\nEr bückte sich und gab ihm einen Kuß.\nDas konnte nicht abwenden.'] Label: [['Und der Prinz küsst Dorn∙röschen.\nDer Prinz bückt sich zu Dorn∙röschen herunter.\nUnd der Prinz denkt: Dorn∙röschen ist sehr schön.']] Sacrebleu: {'score': 2.1601524349994397, 'counts': [5, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [19.23076923076923, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.19230769230769232, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0833333333333333, 'translation_length': 26, 'reference_length': 24} Rouge: {'rouge1': 0.1509433962264151, 'rouge2': 0.0, 'rougeL': 0.1509433962264151, 'rougeLsum': 0.1509433962264151} Sari: {'sari': 35.762813897488826} Flesh Reading Ease: 96.25 ---------------------------------------- Source: ['Da ging er noch weiter, und alles war so still, daß einer seinen Atem hören konnte, und endlich kam er zu dem Turm und öffnete die Thür zu der kleinen Stube, in welcher Dornröschen schlief.'] Prediction: ['Ein Mann öffnete die Thür zu der kleinen Stube.\nDer Thür war so still, daß einer seinen Atem hören konnte, und endlich kam er zu dem Turm und öffnete die Thür zu der kleinen Stube.'] Label: [['Und schläft.\nIm Turm liegt Dorn∙röschen auf einem Bett.\nUnd der Prinz findet den alten Turm.\nDer Prinz geht durch das Schloss.']] Sacrebleu: {'score': 2.372094012055542, 'counts': [5, 1, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [12.820512820512821, 2.6315789473684212, 1.3513513513513513, 0.6944444444444444], 'bp': 1.0, 'sys_len': 39, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.1282051282051282, 0.02631578947368421, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 39, 'reference_length': 26} Rouge: {'rouge1': 0.18750000000000003, 'rouge2': 0.0, 'rougeL': 0.125, 'rougeLsum': 0.18750000000000003} Sari: {'sari': 35.57539682539683} Flesh Reading Ease: 80.6 ---------------------------------------- Source: ['Da ging er weiter und sah im Saale den ganzen Hofstaat liegen und schlafen, und oben bei dem Throne lag der König und die Königin. Und als er ins Haus kam, schliefen die Fliegen an der Wand, der Koch, in der Küche hielt noch die Hand, als wollte er den Jungen anpacken, und die Magd saß vor dem schwarzen Huhn, das sollte gerupft werden. Im Schloßhof sah er die Pferde und scheckigen Jagdhunde liegen und schlafen, auf dem Dache saßen die Tauben und hatten das Köpfchen unter den Flügel gesteckt.'] Prediction: ['Ein Hofstaat wurde von der Königin geschlafen.\nDer König sah den Throne und schlafen die Tauben.\nDer Magd sah die Pferde und scheckigen Jagdhunde liegen und schlafen.'] Label: [['Alle schlafen nämlich.\nIm Schloss ist es ganz still.']] Sacrebleu: {'score': 1.633898440122165, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.727272727272727, 'translation_length': 30, 'reference_length': 11} Rouge: {'rouge1': 0.05128205128205129, 'rouge2': 0.0, 'rougeL': 0.05128205128205129, 'rougeLsum': 0.05128205128205129} Sari: {'sari': 34.20375273793184} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Als der Königssohn sich der Dornenhecke näherte, waren es lauter schöne große Blumen, die thaten sich von selbst auseinander und ließen ihn unbeschädigt hindurch, und hinter ihm thaten sie sich wieder als eine Hecke zusammen.'] Prediction: ['Eine Dornenhecke näherte sich der Königssohn näher.\nThaten ließen ihn unbeschädigt hindurch.'] Label: [['So kommt der Prinz bis ins Schloss.\nUnd der Prinz sticht sich nicht an den Dornen.\nDer Prinz geht den Weg entlang.\nDieser Weg führt durch die Dornen∙hecke.\nDer Prinz entdeckt einen geheimen Weg.\nUnd der Prinz sieht die Dornen∙hecke.\nDer Prinz kommt zu dem Schloss von Dorn∙röschen.']] Sacrebleu: {'score': 0.21475647321203958, 'counts': [4, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [28.571428571428573, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 0.05347337414099063, 'sys_len': 14, 'ref_len': 55} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.0, 0.0, 0.0], 'brevity_penalty': 0.05347337414099061, 'length_ratio': 0.2545454545454545, 'translation_length': 14, 'reference_length': 55} Rouge: {'rouge1': 0.05714285714285715, 'rouge2': 0.0, 'rougeL': 0.05714285714285715, 'rougeLsum': 0.028571428571428574} Sari: {'sari': 34.12878787878788} Flesh Reading Ease: 39.45 ---------------------------------------- Source: ['Da sprach der Jüngling: »Ich fürchte mich nicht, ich will hinaus und das schöne Dornröschen sehen.'] Prediction: ['Der Jüngling ist ein schönes Dornröschen.\nDer Jüngling will das schöne Dornröschen sehen.'] Label: [['Ich werde Dorn∙röschen wecken.\nAber ich habe keine Angst.\nDer Prinz denkt:']] Sacrebleu: {'score': 5.816635421147513, 'counts': [3, 1, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [20.0, 7.142857142857143, 3.8461538461538463, 2.0833333333333335], 'bp': 1.0, 'sys_len': 15, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.07142857142857142, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 15, 'reference_length': 15} Rouge: {'rouge1': 0.12121212121212122, 'rouge2': 0.0, 'rougeL': 0.12121212121212122, 'rougeLsum': 0.12121212121212122} Sari: {'sari': 35.35353535353536} Flesh Reading Ease: 74.05 ---------------------------------------- Source: ['Nach langen langen Jahren kam wieder einmal ein Königssohn in das Land und hörte wie ein alter Mann von der Dornenhecke erzählte, es sollte ein Schloß dahinter stehen, in welchem eine wunderschöne Königstochter, Dornröschen genannt, schon seit hundert Jahren schliefe, und mit ihr schliefe der König und die Königin und der ganze Hofstaat.'] Prediction: ['Ein Mann hat in den USA einen Schloß dahinter stehen.\nEr sollte eine wunderschöne Königstochter, Dornröschen genannt, schon seit hundert Jahren schliefe.'] Label: [['Der Prinz hört die Geschichte von Dorn∙röschen.\nDa kommt ein besonderer Prinz in das Land.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5294117647058822, 'translation_length': 26, 'reference_length': 17} Rouge: {'rouge1': 0.13953488372093023, 'rouge2': 0.0, 'rougeL': 0.09302325581395349, 'rougeLsum': 0.13953488372093023} Sari: {'sari': 33.013285024154584} Flesh Reading Ease: 63.7 ---------------------------------------- Source: ['Es war ihnen aber nicht möglich, denn die Dornen, als hätten sie Hände, hielten fest zusammen, und die Jünglinge blieben darin hängen, konnten sich nicht wieder los machen und starben eines jämmerlichen Todes.'] Prediction: ['Ein Jängling starb eines jämmerlichen Todes.\nEs war ihnen aber nicht möglich, denn die Dornen, als hätten sie Hände, hielten fest zusammen, blieben darin hängen.'] Label: [['Und viele Prinzen sterben.\nViele Prinzen stechen sich an den Dornen.\nUnd die Dornen sind sehr gefährlich.\nAber die Dornen∙hecke bedeckt das ganze Schloss.']] Sacrebleu: {'score': 2.8525466573456515, 'counts': [4, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [12.903225806451612, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 1.0, 'sys_len': 31, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.12903225806451613, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1071428571428572, 'translation_length': 31, 'reference_length': 28} Rouge: {'rouge1': 0.10526315789473684, 'rouge2': 0.03636363636363636, 'rougeL': 0.10526315789473684, 'rougeLsum': 0.10526315789473684} Sari: {'sari': 33.189726939726945} Flesh Reading Ease: 68.05 ---------------------------------------- Source: ['Es ging aber die Sage in dem Land von dem schönen schlafenden Dornröschen, denn so ward die Königstochter genannt, also daß von Zeit zu Zeit Königssöhne kamen und durch die Hecke in das Schloß dringen wollten.'] Prediction: ['Die Sage ging in den Land von Königssöhne.\nSie wollten durch die Hecke in das Schloß dringen.'] Label: [['Und viele Prinzen wollen in das Schloss.\nDie Menschen im Land erzählen sich die Geschichte von Dorn∙röschen.']] Sacrebleu: {'score': 5.7259987315337755, 'counts': [8, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [42.10526315789474, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 1.0, 'sys_len': 19, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.42105263157894735, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 19, 'reference_length': 19} Rouge: {'rouge1': 0.3076923076923077, 'rouge2': 0.05405405405405406, 'rougeL': 0.15384615384615385, 'rougeLsum': 0.25641025641025644} Sari: {'sari': 38.45396452790819} Flesh Reading Ease: 89.6 ---------------------------------------- Source: ['Rings um das Schloß aber begann eine Dornenhecke zu wachsen, die jedes Jahr höher ward, und endlich das ganze Schloß umzog, und darüber hinaus wuchs, daß gar nichts mehr davon zu sehen war, selbst nicht die Fahne auf dem Dach.'] Prediction: ['Jedes Jahr wurde das ganze Schloß umzog, darüber hinaus wuchs.\nDas ganze Schloß wurde nicht mehr davon zu sehen, selbst nicht die Fahne auf dem Dach.'] Label: [['Bis das ganze Schloss von der Dornen∙hecke bedeckt ist.\nDie Dornen∙hecke wird jedes Jahr größer.\nUnd eine Dornen∙hecke wächst um das Schloss.']] Sacrebleu: {'score': 3.1221929756173616, 'counts': [5, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 30, 'reference_length': 25} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.07692307692307693, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 36.25077976713491} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['Da schliefen auch die Pferde im Stall, die Hunde im Hofe, die Tauben auf dem Dache, die Fliegen an der Wand, ja, das Feuer, das auf dem Herde flackerte, ward still und schlief ein, und der Braten hörte auf zu brutzeln, und der Koch, der den Küchenjungen, weil er etwas versehen hatte, in den Haaren ziehen wollte, ließ ihn los und schlief.'] Prediction: ['Ein Feuer, das auf dem Herde flackerte, schlief ein.\nDer Koch, der den Küchenjungen, weil er etwas versehen hatte, ließ ihn los.'] Label: [['Und die Fliegen an der Wand.\nDie Tauben auf dem Dach.\nDie Pferde im Stall.\nUnd sogar die Tiere schlafen ein:']] Sacrebleu: {'score': 3.3868193354396166, 'counts': [6, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [20.689655172413794, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.20689655172413793, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.16, 'translation_length': 29, 'reference_length': 25} Rouge: {'rouge1': 0.1818181818181818, 'rouge2': 0.04761904761904762, 'rougeL': 0.13636363636363635, 'rougeLsum': 0.1818181818181818} Sari: {'sari': 29.838390217863886} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['der König und die Königin, die eben heimgekommen waren und in den Saal getreten waren, fingen an einzuschlafen und der ganze Hofstaat mit ihnen.'] Prediction: ['Die Königin fingen an einzuschlafen und der ganze Hofstaat mit ihnen.\nDer ganze Hofstaat mit ihnen ist eben heimgekommen und in den Saal getreten worden.'] Label: [['Die Diener.\nDer Koch.\nDer König und die Königin.']] Sacrebleu: {'score': 3.652945772536268, 'counts': [6, 1, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [22.22222222222222, 3.8461538461538463, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.038461538461538464, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 27, 'reference_length': 12} Rouge: {'rouge1': 0.3243243243243243, 'rouge2': 0.11428571428571428, 'rougeL': 0.21621621621621623, 'rougeLsum': 0.3243243243243243} Sari: {'sari': 28.448024928288085} Flesh Reading Ease: 68.05 ---------------------------------------- Source: ['Und dieser Schlaf verbreitete sich über das ganze Schloß:'] Prediction: ['Ein Schlaf-Schloß verbreitete sich über das ganze Schloß.\nDas ganze Schloß verbreitete sich über die Schlaf-Verbreitung.'] Label: [['Auch die Menschen im Schloss schlafen ein: Aber nicht nur Dorn·röschen schläft ein.']] Sacrebleu: {'score': 2.5540496664715904, 'counts': [2, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [11.11111111111111, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 18, 'reference_length': 15} Rouge: {'rouge1': 0.11764705882352941, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.11764705882352941} Sari: {'sari': 34.02777777777777} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['In dem Augenblick aber, wo sie den Stich empfand, fiel sie auf das Bett nieder, das da stand, und lag in einem tiefen Schlaf.'] Prediction: ['Eine Frau hat in einem tiefen Schlaf geschlagen.\nSie lag in einem tiefen Schlaf.'] Label: [['Und Dorn∙röschen fällt in einen tiefen Schlaf.']] Sacrebleu: {'score': 9.782375748961453, 'counts': [4, 2, 1, 0], 'totals': [16, 15, 14, 13], 'precisions': [25.0, 13.333333333333334, 7.142857142857143, 3.8461538461538463], 'bp': 1.0, 'sys_len': 16, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.13333333333333333, 0.07142857142857142, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 16, 'reference_length': 8} Rouge: {'rouge1': 0.25, 'rouge2': 0.09090909090909093, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 46.06658047834518} Flesh Reading Ease: 85.25 ---------------------------------------- Source: ['Kaum hatte sie aber die Spindel angerührt, so ging der Zauberspruch in Erfüllung, und sie stach sich damit in den Finger.'] Prediction: ['Eine Frau hatte sich mit Zauberspruch in den Finger geschickt.\nDas hatte sie aber die Spindel angerührt.'] Label: [['Dorn∙röschen sticht sich an der Spindel.\nPlötzlich geht der böse Wunsch von der 13.\nFee in Erfüllung:']] Sacrebleu: {'score': 2.872044408022115, 'counts': [5, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [26.31578947368421, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 0.9487294800164372, 'sys_len': 19, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.2631578947368421, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9487294800164372, 'length_ratio': 0.95, 'translation_length': 19, 'reference_length': 20} Rouge: {'rouge1': 0.15, 'rouge2': 0.0, 'rougeL': 0.09999999999999999, 'rougeLsum': 0.15} Sari: {'sari': 34.20875420875421} Flesh Reading Ease: 77.9 ---------------------------------------- Source: ['»Was ist das für ein Ding, das so lustig herumspringt?« sprach das Mädchen, nahm die Spindel und wollte auch spinnen.'] Prediction: ['Eine Mädchen (24) wollte auch spinnen.\nIm Interview mit 20 Minuten spricht sie über ihre Spindel und ihre Spindel-Videos.'] Label: [['Dorn∙röschen nimmt die Spindel in die Hand.\nDorn∙röschen hat noch nie eine Spindel gesehen.\nDorn∙röschen ist neugierig.']] Sacrebleu: {'score': 2.1671320168371846, 'counts': [3, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [13.043478260869565, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.13043478260869565, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.15, 'translation_length': 23, 'reference_length': 20} Rouge: {'rouge1': 0.13636363636363635, 'rouge2': 0.0, 'rougeL': 0.0909090909090909, 'rougeLsum': 0.13636363636363635} Sari: {'sari': 35.530303030303024} Flesh Reading Ease: 65.2 ---------------------------------------- Source: ['»Ich spinne,« sagte die Alte und nickte mit dem Kopf.'] Prediction: ['Die Alte spielt mit dem Kopf.\nDer Mann hatte sich einen schweren Verletzungsbedingt.'] Label: [['Die alte Frau antwortet: Ich mache Wolle zu einem Faden.']] Sacrebleu: {'score': 3.1251907639724417, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 15, 'reference_length': 12} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.09523809523809525, 'rougeL': 0.17391304347826086, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 42.22222222222222} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['»Guten Tag, du altes Mütterchen,« sprach die Königstochter, »was machst du da?«'] Prediction: ['Im Interview mit 20 Minuten spricht der Schweizer über Mütterchen, die ihre Mütterchen über ihre Mütterchen.\nIm Interview spricht der 20-Minuten-Radio-Host über ihre Ärger und ihre Ärger-Königstochter.'] Label: [['Was machst du da?\nDorn∙röschen fragt die alte Frau:']] Sacrebleu: {'score': 1.1599713834969503, 'counts': [1, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [3.125, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.03125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.909090909090909, 'translation_length': 32, 'reference_length': 11} Rouge: {'rouge1': 0.043478260869565216, 'rouge2': 0.0, 'rougeL': 0.043478260869565216, 'rougeLsum': 0.043478260869565216} Sari: {'sari': 29.82638888888889} Flesh Reading Ease: 37.8 ---------------------------------------- Source: ['In dem Schloß steckte ein verrosteter Schlüssel, und als es umdrehte, sprang die Thür auf, und saß da in einem kleinen Stübchen eine alte Frau mit einer Spindel und spann emsig ihren Flachs.'] Prediction: ['In einem Schloß in Wil TG ist eine Frau mit einer Spindel gefunden.\nSie hatte in einem kleinen Stübchen eine Frau mit einer Spindel gefunden.\nDie Frau ist nach der Thür gefunden.'] Label: [['Die alte Frau arbeitet mit einer Spindel.\nEine alte Frau sitzt an einem Spinn∙rad.']] Sacrebleu: {'score': 5.1731837829241485, 'counts': [9, 2, 1, 0], 'totals': [35, 34, 33, 32], 'precisions': [25.714285714285715, 5.882352941176471, 3.0303030303030303, 1.5625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2571428571428571, 0.058823529411764705, 0.030303030303030304, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1875, 'translation_length': 35, 'reference_length': 16} Rouge: {'rouge1': 0.326530612244898, 'rouge2': 0.0851063829787234, 'rougeL': 0.2448979591836735, 'rougeLsum': 0.28571428571428564} Sari: {'sari': 43.49358244095087} Flesh Reading Ease: 81.55 ---------------------------------------- Source: ['Da ging es allerorten herum, besah Stuben und Kammern, wie es Lust hatte, und kam endlich auch an einen alten Turm.'] Prediction: ['Ein altes Turm ging in den Nähe von Stuben und Kammern herum.\nDer Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund: Der Grund:'] Label: [['Dorn∙röschen kommt zu einem alten Turm.\nUnd Dorn∙röschen erkundet das Schloss.']] Sacrebleu: {'score': 0.12760261852086466, 'counts': [2, 0, 0, 0], 'totals': [331, 330, 329, 328], 'precisions': [0.6042296072507553, 0.15151515151515152, 0.07598784194528875, 0.038109756097560975], 'bp': 1.0, 'sys_len': 331, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.006042296072507553, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 25.46153846153846, 'translation_length': 331, 'reference_length': 13} Rouge: {'rouge1': 0.016666666666666666, 'rouge2': 0.0, 'rougeL': 0.016666666666666666, 'rougeLsum': 0.016666666666666666} Sari: {'sari': 43.964646464646464} Flesh Reading Ease: 9.5 ---------------------------------------- Source: ['Es geschah, daß an dem Tage, wo es gerade fünfzehn Jahre alt ward, der König und die Königin nicht zu Hause waren, und das Mädchen ganz allein im Schloß zurückblieb.'] Prediction: ['Eine fünfzehn Jahre lang geschlossen wird in der Schweiz ein Mädchen zurückblieb.\nDas Mädchen war fünfzehn Jahre alt, der König und die Königin nicht zu Hause waren.'] Label: [['Dorn∙röschen ist allein.\nEs ist der 15.\nGeburts∙tag von Dorn∙röschen:']] Sacrebleu: {'score': 1.633898440122165, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3076923076923075, 'translation_length': 30, 'reference_length': 13} Rouge: {'rouge1': 0.04081632653061225, 'rouge2': 0.0, 'rougeL': 0.04081632653061225, 'rougeLsum': 0.04081632653061225} Sari: {'sari': 34.08730158730158} Flesh Reading Ease: 72.9 ---------------------------------------- Source: ['An dem Mädchen aber würden die Gaben der weisen Frauen sämtlich erfüllt, denn es war so schön, sittsam, freundlich und verständig, daß es jedermann, der es ansah, lieb haben mußte.'] Prediction: ['Eine Frau würden sämtlich erfüllt, denn es war so schön, sittsam, freundlich und verständig, daß es jedermann, der es ansah, lieb haben mußte.\nDie Gaben der weisen Frauen würden sämtlich erfüllt.'] Label: [['Und alle mögen Dorn∙röschen.\nUnd Dorn∙röschen ist sehr freundlich.\nDorn∙röschen ist sehr schön.\nAlle guten Wünsche von den 12 Feen gehen in Erfüllung: Und Dorn∙röschen wird älter.']] Sacrebleu: {'score': 1.3339264902154053, 'counts': [4, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [10.256410256410257, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.10256410256410256, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.21875, 'translation_length': 39, 'reference_length': 32} Rouge: {'rouge1': 0.1518987341772152, 'rouge2': 0.025974025974025976, 'rougeL': 0.10126582278481013, 'rougeLsum': 0.12658227848101264} Sari: {'sari': 35.632183908045974} Flesh Reading Ease: 70.9 ---------------------------------------- Source: ['Der König, der sein liebes Kind vor dem Unglück gern bewahren wollte, ließ den Befehl ausgehen, daß alle Spindeln im ganzen Königreiche sollten verbrannt werden.'] Prediction: ['Der König, der sein liebes Kind vor dem Unglück gern bewahren wollte, ließ den Befehl aus.\nDer Befehl soll alle Spindeln im ganzen Königreiche verbrannt werden.'] Label: [['Und sagt: Alle Spindeln im König∙reich werden verbrannt.\nJetzt hat auch der König Angst.']] Sacrebleu: {'score': 3.511476270817333, 'counts': [8, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [26.666666666666668, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7647058823529411, 'translation_length': 30, 'reference_length': 17} Rouge: {'rouge1': 0.391304347826087, 'rouge2': 0.18181818181818182, 'rougeL': 0.2173913043478261, 'rougeLsum': 0.34782608695652173} Sari: {'sari': 40.26502732240437} Flesh Reading Ease: 67.55 ---------------------------------------- Source: ['da trat die zwölfte hervor, die ihren Wunsch noch übrig hatte und weil sie den bösen Spruch nicht aufheben, sondern nur ihn mildern konnte, so sagte sie: »Es soll aber kein Tod sein, sondern ein hundertjähriger tiefer Schlaf, in welchen die Königstochter fällt.«'] Prediction: ['Eine Frau hatte ihren Wunsch noch übrig und weil sie den bösen Spruch nicht aufheben konnte.\nDie Frau war zwölfte und konnte ihn milder konnten.'] Label: [['Aber Dorn∙röschen wird 100 Jahre schlafen.\nDorn∙röschen wird an ihrem 15.\nGeburts∙tag nicht sterben.\nSo sagt die 12.\nFee: Aber die 12.\nFee kann den bösen Wunsch verwandeln.\nDie 12.\nFee kann den bösen Wunsch nicht rückgängig machen.\nAber zum Glück hat die 12.\nFee ihren Wunsch noch nicht gesprochen:']] Sacrebleu: {'score': 2.295126820338194, 'counts': [9, 4, 1, 0], 'totals': [27, 26, 25, 24], 'precisions': [33.333333333333336, 15.384615384615385, 4.0, 2.0833333333333335], 'bp': 0.283864218432727, 'sys_len': 27, 'ref_len': 61} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.15384615384615385, 0.04, 0.0], 'brevity_penalty': 0.2838642184327269, 'length_ratio': 0.4426229508196721, 'translation_length': 27, 'reference_length': 61} Rouge: {'rouge1': 0.18390804597701152, 'rouge2': 0.09411764705882353, 'rougeL': 0.13793103448275865, 'rougeLsum': 0.18390804597701152} Sari: {'sari': 42.38033227462788} Flesh Reading Ease: 79.75 ---------------------------------------- Source: ['Alle waren erschrocken;'] Prediction: ['Die Schweiz hat ihre Wohnung in den vergangenen Tagen geschickt.\nDer Mann hatte sich mit einem schweren Verletzungsbedingt zu tun.\nDer Mann hatte sich mit einem schweren Verletzungsbedingt erschienen.'] Label: [['Die Gäste sind erschrocken.']] Sacrebleu: {'score': 1.3794462224541233, 'counts': [2, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [6.25, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.4, 'translation_length': 32, 'reference_length': 5} Rouge: {'rouge1': 0.0588235294117647, 'rouge2': 0.0, 'rougeL': 0.0588235294117647, 'rougeLsum': 0.0588235294117647} Sari: {'sari': 57.53205128205129} Flesh Reading Ease: 65.0 ---------------------------------------- Source: ['« Und ohne ein Wort weiter zu sprechen, kehrte sie sich um und verließ den Saal.'] Prediction: ['Eine Frau hat sich in der Nacht auf Sonntag in Zürich (D) gefeiert.\nSie war dabei, dass sie sich um ihren Wort sprechen.\nDie Frau war dabei, dass sie sich um ihren Wort sprechen.'] Label: [['Und verschwindet.']] Sacrebleu: {'score': 0.8954307276600084, 'counts': [1, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [2.4390243902439024, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 3} Bleu: {'bleu': 0.0, 'precisions': [0.024390243902439025, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 13.666666666666666, 'translation_length': 41, 'reference_length': 3} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 43.101851851851855} Flesh Reading Ease: 92.65 ---------------------------------------- Source: ['»Die Königstochter soll sich in ihrem fünfzehnten Jahre an einer Spindel stechen und tot hinfallen.'] Prediction: ['Die Königstochter soll sich in ihrem fünf Jahren an einer Spindel stechen und tot hinfallen.\nDie Todesursache ist noch unklar.'] Label: [['Und sterben.\nAn ihrem 15.\nGeburts∙tag soll sich Dorn∙röschen an einer Spindel stechen.']] Sacrebleu: {'score': 14.230715327204656, 'counts': [9, 4, 2, 1], 'totals': [22, 21, 20, 19], 'precisions': [40.90909090909091, 19.047619047619047, 10.0, 5.2631578947368425], 'bp': 1.0, 'sys_len': 22, 'ref_len': 16} Bleu: {'bleu': 0.1423071532720465, 'precisions': [0.4090909090909091, 0.19047619047619047, 0.1, 0.05263157894736842], 'brevity_penalty': 1.0, 'length_ratio': 1.375, 'translation_length': 22, 'reference_length': 16} Rouge: {'rouge1': 0.4210526315789474, 'rouge2': 0.2222222222222222, 'rougeL': 0.3157894736842105, 'rougeLsum': 0.3684210526315789} Sari: {'sari': 49.70959595959596} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['die eine mit Tugend, die andere mit Schönheit, die dritte mit Reichtum, und so mit allem, was auf der Welt zu wünschen ist. Das Fest ward mit aller Pracht gefeiert, und als es zu Ende war, beschenkten die weisen Frauen das Kind mit ihren Wundergaben:'] Prediction: ['Im Juni wurde das Kind von einer Frauen-Kollegen in der Schweiz geschickt.\nDie Frauen beschenkten das Kind mit ihren Wundergaben.'] Label: [['Und viele andere Dinge.\nUnd Freundlichkeit.\nDie Feen wünschen Dorn∙röschen Schönheit.\nDie Feen sprechen ihre guten Wünsche zu Dorn∙röschen:']] Sacrebleu: {'score': 3.6530933116590822, 'counts': [3, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [13.636363636363637, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 0.9555630362682843, 'sys_len': 22, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.13636363636363635, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 0.9555630362682843, 'length_ratio': 0.9565217391304348, 'translation_length': 22, 'reference_length': 23} Rouge: {'rouge1': 0.0425531914893617, 'rouge2': 0.0, 'rougeL': 0.0425531914893617, 'rougeLsum': 0.0425531914893617} Sari: {'sari': 33.69093231162197} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Es waren ihrer dreizehn in seinem Reiche, weil er aber nur zwölf goldene Teller hatte, von welchen sie essen sollten, so mußte eine von ihnen daheim bleiben.'] Prediction: ['Ein goldene Teller hatte in seinem Reiche zwölf goldene Teller.\nDie Teller hatten sich essen sollten.\nDie Teller haben sich nur zwölf goldene Teller gefunden.'] Label: [['Das heißt: Die 13.\nFee darf nicht zu dem großen Fest kommen.\nDeshalb lädt der König nur 12 Feen ein.\nAber der König hat nur 12 goldene Teller.\nUnd die 13 Feen sollen von goldenen Tellern essen.\nDer König will auch die 13 Feen aus dem König∙reich einladen.']] Sacrebleu: {'score': 2.4217524290907555, 'counts': [8, 2, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [28.571428571428573, 7.407407407407407, 3.8461538461538463, 2.0], 'bp': 0.3812554278090302, 'sys_len': 28, 'ref_len': 55} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.07407407407407407, 0.038461538461538464, 0.0], 'brevity_penalty': 0.38125542780903016, 'length_ratio': 0.509090909090909, 'translation_length': 28, 'reference_length': 55} Rouge: {'rouge1': 0.1686746987951807, 'rouge2': 0.024691358024691357, 'rougeL': 0.14457831325301204, 'rougeLsum': 0.1686746987951807} Sari: {'sari': 40.737226790357724} Flesh Reading Ease: 66.4 ---------------------------------------- Source: ['Als elfe ihre Sprüche eben gethan hatten, trat plötzlich die dreizehnte herein.'] Prediction: ['Eine Sprüche im Alter von 99 Jahren ist in den vergangenen Tagen gestorben.\nDie Welt endete in der Nacht auf Sonntag.\nDie Welt endete mit einer Sprüche auf Sonntag.'] Label: [['Plötzlich kommt die 13.\nFee zur Tür herein.\nSo sprechen 11 Feen ihre guten Wünsche.']] Sacrebleu: {'score': 1.526608193588886, 'counts': [3, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [9.375, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.09375, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 32, 'reference_length': 18} Rouge: {'rouge1': 0.04081632653061224, 'rouge2': 0.0, 'rougeL': 0.04081632653061224, 'rougeLsum': 0.04081632653061224} Sari: {'sari': 51.252913752913756} Flesh Reading Ease: 76.7 ---------------------------------------- Source: ['Er ladete nicht bloß seine Verwandten, Freunde und Bekannten, sondern auch die weisen Frauen dazu ein, damit sie dem Kind hold und gewogen wären.'] Prediction: ['Ein Kind ladete seine Frauen dazu ein, damit sie dem Kind hold und gewogen wären.\nDas ladete nicht bloß seine Verwandten, Freunde und Bekannten, sondern auch die weisen Frauen dazu ein, damit sie dem Kind hold und gewogen wären.'] Label: [['• Und viele andere Gäste.\n• Freunde.\n• Die Familie.\nZu diesem Fest lädt der König alle ein:']] Sacrebleu: {'score': 1.1498052049318417, 'counts': [4, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [8.88888888888889, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.08888888888888889, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0454545454545454, 'translation_length': 45, 'reference_length': 22} Rouge: {'rouge1': 0.13559322033898308, 'rouge2': 0.0, 'rougeL': 0.13559322033898308, 'rougeLsum': 0.13559322033898308} Sari: {'sari': 35.96491228070175} Flesh Reading Ease: 66.9 ---------------------------------------- Source: ['Was der Frosch gesagt hatte, das geschah, und die Königin gebar ein Mädchen, das war so schön, daß der König vor Freude sich nicht zu lassen wußte und ein großes Fest anstellte.'] Prediction: ['Eine Königin hat einen Mädchen gebar, das war so schön, daß der König vor Freude sich nicht zu lassen wußte.\nWas der Mädchen geschah, war so schön, daß der König vor Freude sich nicht zu lassen wußte.'] Label: [['Deshalb feiern der König und die Königin ein großes Fest.\nDer König und die Königin sind sehr glücklich.\nDie Königin bekommt noch im gleichen Jahr ein Mädchen.\nUnd der Frosch hat recht:']] Sacrebleu: {'score': 2.4825484446385278, 'counts': [9, 1, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [20.930232558139537, 2.380952380952381, 1.2195121951219512, 0.625], 'bp': 1.0, 'sys_len': 43, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.20930232558139536, 0.023809523809523808, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1944444444444444, 'translation_length': 43, 'reference_length': 36} Rouge: {'rouge1': 0.27906976744186046, 'rouge2': 0.14285714285714288, 'rougeL': 0.18604651162790697, 'rougeLsum': 0.2558139534883721} Sari: {'sari': 29.195235111588495} Flesh Reading Ease: 79.6 ---------------------------------------- Source: ['« ehe ein Jahr vergeht, wirst du eine Tochter zur Welt bringen. »Dein Wunsch wird erfüllt werden;'] Prediction: ['Der Schweizer Welt-Sänger hat einen Jahr vergeben.\nDer Wunsch wird erfüllt.'] Label: [['Du bekommst noch in diesem Jahr ein Kind.']] Sacrebleu: {'score': 3.673526562988939, 'counts': [2, 0, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [15.384615384615385, 4.166666666666667, 2.272727272727273, 1.25], 'bp': 1.0, 'sys_len': 13, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4444444444444444, 'translation_length': 13, 'reference_length': 9} Rouge: {'rouge1': 0.09090909090909091, 'rouge2': 0.0, 'rougeL': 0.09090909090909091, 'rougeLsum': 0.09090909090909091} Sari: {'sari': 44.25925925925926} Flesh Reading Ease: 86.75 ---------------------------------------- Source: ['Da trug sich zu, als die Königin einmal im Bade saß, daß ein Frosch aus dem Wasser ans Land kroch und zu ihr sprach:'] Prediction: ['Ein Frosch aus dem Wasser ans Land sprach zu ihr.\nDie Königin trug sich zu, als sie einmal im Bade saß.'] Label: [['Der Frosch sagt zur Königin: Da kommt ein Frosch.\nAn einem Morgen badet die Königin.']] Sacrebleu: {'score': 2.224972978585352, 'counts': [4, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [16.666666666666668, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 24, 'reference_length': 18} Rouge: {'rouge1': 0.25641025641025644, 'rouge2': 0.16216216216216214, 'rougeL': 0.25641025641025644, 'rougeLsum': 0.25641025641025644} Sari: {'sari': 36.595593948535125} Flesh Reading Ease: 99.3 ---------------------------------------- Source: ['»Ach, wenn wir doch ein Kind hätten!« und kriegten immer keins. Vor Zeiten war ein König und eine Königin, die sprachen jeden Tag:'] Prediction: ['Ein Kind hätten immer keins.\nVor Zeiten war ein König und eine Königin, die sprachen jeden Tag: Die Täter sind eine ähnliche Frau.'] Label: [['Ein König und eine Königin wünschen sich ein Kind.']] Sacrebleu: {'score': 10.332090908268508, 'counts': [8, 3, 2, 1], 'totals': [27, 26, 25, 24], 'precisions': [29.62962962962963, 11.538461538461538, 8.0, 4.166666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 10} Bleu: {'bleu': 0.10332090908268508, 'precisions': [0.2962962962962963, 0.11538461538461539, 0.08, 0.041666666666666664], 'brevity_penalty': 1.0, 'length_ratio': 2.7, 'translation_length': 27, 'reference_length': 10} Rouge: {'rouge1': 0.46153846153846156, 'rouge2': 0.37837837837837834, 'rougeL': 0.358974358974359, 'rougeLsum': 0.46153846153846156} Sari: {'sari': 45.232687581085756} Flesh Reading Ease: 74.9 ---------------------------------------- Source: ["der Jäger zog dem Wolf den Pelz ab und ging damit heim, die Großmutter aß den Kuchen und trank den Wein, den Rotkäppchen gebracht hatte, und erholte sich wieder, Rotkäppchen aber dachte: »Du willst dein Lebtag nicht wieder allein vom Wege ab in den Wald laufen, wenn dir's die Mutter verboten hat.«"] Prediction: ['Ein Wolf hat eine Großmutter auf den Pelz abgestellt.\nDer Wolf hat sie auf den Wein und Rotkäppchen gebracht.'] Label: [['Und Rot·käppchen und die Groß∙mutter essen den Kuchen.\nDer Jäger nimmt das Fell vom Wolf mit nach Hause.']] Sacrebleu: {'score': 4.780204393760627, 'counts': [6, 1, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [28.571428571428573, 5.0, 2.6315789473684212, 1.3888888888888888], 'bp': 1.0, 'sys_len': 21, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.05, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.05, 'translation_length': 21, 'reference_length': 20} Rouge: {'rouge1': 0.3255813953488372, 'rouge2': 0.04878048780487805, 'rougeL': 0.23255813953488372, 'rougeLsum': 0.3255813953488372} Sari: {'sari': 52.913272765246454} Flesh Reading Ease: 88.6 ---------------------------------------- Source: ['Rotkäppchen aber holte geschwind große Steine, damit füllten sie dem Wolf den Leib, und wie er aufwachte, wollte er fortspringen, aber die Steine waren so schwer, daß er gleich niedersank und sich totfiel.'] Prediction: ['Rotkäppchen füllte dem Wolf den Leib, wie er aufwachte, wollte er aufwachte, aber die Steine waren so schwer, daß er gleich niedersank und sich totfiel.\nDer Wolf füllte dem Wolf den Leib, wie er aufwachte, wie er aufwachte, wollte er fortspringen, aber die Steine waren so schwer, daß er gleich niedersank und sich totfiel.'] Label: [['Der Wolf fällt um.\nAber die Steine im Bauch vom Wolf sind sehr schwer.\nUnd will weg∙laufen.\nDer Wolf wacht auf.\nUnd der Jäger legt die Steine in den Bauch vom Wolf.\nDann holt Rot∙käppchen große Steine.']] Sacrebleu: {'score': 3.4861527957891867, 'counts': [12, 4, 1, 0], 'totals': [65, 64, 63, 62], 'precisions': [18.46153846153846, 6.25, 1.5873015873015872, 0.8064516129032258], 'bp': 1.0, 'sys_len': 65, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.18461538461538463, 0.0625, 0.015873015873015872, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5116279069767442, 'translation_length': 65, 'reference_length': 43} Rouge: {'rouge1': 0.3, 'rouge2': 0.10204081632653061, 'rougeL': 0.2, 'rougeLsum': 0.24} Sari: {'sari': 38.942060946271056} Flesh Reading Ease: 65.25 ---------------------------------------- Source: ['Und dann kam die alte Großmutter auch noch lebendig heraus und konnte kaum atmen.'] Prediction: ['Eine alte Großmutter konnte noch lebendig herausfinden.\nDas hatte sie noch lebendig herausgefunden.'] Label: [['Und auch die Groß·mutter lebt.\nUnd dann kommt auch die Groß·mutter aus dem Bauch vom Wolf.']] Sacrebleu: {'score': 2.5586897876995107, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.8187307530779819, 'sys_len': 15, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8187307530779819, 'length_ratio': 0.8333333333333334, 'translation_length': 15, 'reference_length': 18} Rouge: {'rouge1': 0.125, 'rouge2': 0.06666666666666667, 'rougeL': 0.125, 'rougeLsum': 0.125} Sari: {'sari': 46.527777777777786} Flesh Reading Ease: 38.95 ---------------------------------------- Source: ["Wie er ein paar Schnitte gethan hatte, da sah er das rote Käppchen leuchten, und noch ein paar Schnitte, da sprang das Mädchen heraus und rief: »Ach, wie war ich erschrocken, wie war's so dunkel in dem Wolf seinem Leib!«"] Prediction: ['Ein Mädchen sprang das rote Käppchen heraus und rief: "Ach, wie war ich erschrocken, wie war\'s so dunkel in dem Wolf seinem Leib!"'] Label: [['Rot·käppchen lebt.\nPlötzlich kommt Rot∙käppchen aus dem Bauch vom Wolf.']] Sacrebleu: {'score': 1.5301683686839007, 'counts': [2, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [6.896551724137931, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.06896551724137931, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4166666666666665, 'translation_length': 29, 'reference_length': 12} Rouge: {'rouge1': 0.1951219512195122, 'rouge2': 0.05128205128205128, 'rougeL': 0.1951219512195122, 'rougeLsum': 0.1951219512195122} Sari: {'sari': 34.61538461538462} Flesh Reading Ease: 80.95 ---------------------------------------- Source: ['schoß nicht, sondern nahm eine Schere und fing an dem schlafenden Wolf den Bauch aufzuschneiden.'] Prediction: ['Ein Wolf hat in den vergangenen Tagen einen Schere aufgefunden.\nDas hat eine Schere gefunden.\nDer Schüler fing den Bauch aufzuschneiden.'] Label: [['Und schneidet mit der Schere den Bauch vom Wolf auf.\nDer Jäger nimmt eine Schere.']] Sacrebleu: {'score': 6.031470124282465, 'counts': [9, 3, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [37.5, 13.043478260869565, 2.272727272727273, 1.1904761904761905], 'bp': 1.0, 'sys_len': 24, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.375, 0.13043478260869565, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.411764705882353, 'translation_length': 24, 'reference_length': 17} Rouge: {'rouge1': 0.3684210526315789, 'rouge2': 0.1111111111111111, 'rougeL': 0.15789473684210525, 'rougeLsum': 0.3157894736842105} Sari: {'sari': 46.06060606060606} Flesh Reading Ease: 67.7 ---------------------------------------- Source: ['« Nun wollte er seine Büchse anlegen, da fiel ihm ein, der Wolf könnte die Großmutter gefressen haben, und sie wäre noch zu retten;'] Prediction: ['Ein Wolf könnte die Großmutter gefressen haben, und sie wäre noch zu retten.\nEin Später hatte die Büchse anlegen, der Wolf könnte die Großmutter gefressen haben, und sie wäre noch zu retten.'] Label: [['Und vielleicht kann ich die Groß∙mutter noch retten.\nVielleicht hat der Wolf die Groß∙mutter gefressen.\nAber der Jäger denkt: Der Jäger will den Wolf erschießen.']] Sacrebleu: {'score': 3.5438244945230784, 'counts': [10, 2, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [27.027027027027028, 5.555555555555555, 1.4285714285714286, 0.7352941176470589], 'bp': 1.0, 'sys_len': 37, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.2702702702702703, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2758620689655173, 'translation_length': 37, 'reference_length': 29} Rouge: {'rouge1': 0.37142857142857144, 'rouge2': 0.17647058823529413, 'rougeL': 0.3142857142857143, 'rougeLsum': 0.34285714285714286} Sari: {'sari': 40.73733660130719} Flesh Reading Ease: 64.55 ---------------------------------------- Source: ['»Finde ich dich hier, du alter Sünder,« sagte er, »ich habe dich lange gesucht.'] Prediction: ['Ein Sünder hatte sich in der Nacht auf Sonntag in Zürich lange gesucht.\nDie beiden waren über die Schweizer Grenze.'] Label: [['Der Jäger hat den Wolf nämlich schon lange Zeit gesucht.\nDer Jäger freut sich.']] Sacrebleu: {'score': 4.34373789135831, 'counts': [5, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [22.727272727272727, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.22727272727272727, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.375, 'translation_length': 22, 'reference_length': 16} Rouge: {'rouge1': 0.20512820512820512, 'rouge2': 0.0, 'rougeL': 0.15384615384615383, 'rougeLsum': 0.15384615384615383} Sari: {'sari': 55.6984126984127} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['Da trat er in die Stube, und wie er vor das Bett kam, so sah er, daß der Wolf darin lag.'] Prediction: ['Ein Wolf trat in die Stube, wie er vor das Bett kam, so sah er, daß der Wolf darin lag.\nWie er vor das Bett kam, so sah er, daß der Wolf darin lag.'] Label: [['Im Bett liegt der Wolf.\nAber im Bett liegt nicht die Groß∙mutter.\nJetzt steht der Jäger vor dem Bett von der Groß·mutter.\nDer Jäger möchte nach der Groß∙mutter sehen.\nDer Jäger geht zum Haus von der Groß·mutter.']] Sacrebleu: {'score': 2.545496881690401, 'counts': [9, 1, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [21.951219512195124, 2.5, 1.2820512820512822, 0.6578947368421053], 'bp': 0.9759047945423922, 'sys_len': 41, 'ref_len': 42} Bleu: {'bleu': 0.0, 'precisions': [0.21951219512195122, 0.025, 0.0, 0.0], 'brevity_penalty': 0.9759047945423922, 'length_ratio': 0.9761904761904762, 'translation_length': 41, 'reference_length': 42} Rouge: {'rouge1': 0.17721518987341772, 'rouge2': 0.025974025974025976, 'rougeL': 0.1518987341772152, 'rougeLsum': 0.1518987341772152} Sari: {'sari': 38.166666666666664} Flesh Reading Ease: 98.65 ---------------------------------------- Source: ['Der Jäger ging eben an dem Hause vorbei und dachte: »Wie die alte Frau schnarcht, du mußt doch sehen, ob ihr etwas fehlt.«'] Prediction: ['Ein Jäger hatte eine Frau in einem Hause vorbei.\nDie Frau wollte ihr etwas fehlt.\nDer Jäger ging an dem Hause vorbei.'] Label: [['Ich sehe lieber nach.\nVielleicht geht es der Groß∙mutter schlecht.\nDie Groß∙mutter schnarcht aber laut.\nDer Jäger denkt: Und wundert sich.\nDer Jäger kommt zum Haus von der Groß·mutter.\nEin Jäger hört das Schnarchen.']] Sacrebleu: {'score': 4.492686198874956, 'counts': [8, 4, 1, 0], 'totals': [25, 24, 23, 22], 'precisions': [32.0, 16.666666666666668, 4.3478260869565215, 2.272727272727273], 'bp': 0.5272924240430487, 'sys_len': 25, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.32, 0.16666666666666666, 0.043478260869565216, 0.0], 'brevity_penalty': 0.5272924240430485, 'length_ratio': 0.6097560975609756, 'translation_length': 25, 'reference_length': 41} Rouge: {'rouge1': 0.21538461538461542, 'rouge2': 0.126984126984127, 'rougeL': 0.15384615384615383, 'rougeLsum': 0.21538461538461542} Sari: {'sari': 38.59093933637545} Flesh Reading Ease: 84.95 ---------------------------------------- Source: ['Wie der Wolf sein Gelüsten gestillt hatte, legte er sich wieder ins Bett, schlief ein und fing an überlaut zu schnarchen.'] Prediction: ['Ein Gelüsten hatte sich wieder ins Bett und fing an überlaut zu schnarchen.\nDer Wolf legte sich wieder ins Bett, schlief ein und fing an überlaut zu schnarchen.'] Label: [['Der Wolf schnarcht sehr laut.\nUnd schläft ein.\nDer Wolf legt sich wieder in das Bett von der Groß·mutter.\nUnd zufrieden.\nDann ist der Wolf satt.']] Sacrebleu: {'score': 6.313723621572041, 'counts': [8, 3, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [25.806451612903224, 10.0, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.25806451612903225, 0.1, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 31, 'reference_length': 31} Rouge: {'rouge1': 0.28070175438596495, 'rouge2': 0.07272727272727272, 'rougeL': 0.24561403508771928, 'rougeLsum': 0.24561403508771928} Sari: {'sari': 41.3031220322887} Flesh Reading Ease: 84.1 ---------------------------------------- Source: ['« Kaum hatte der Wolf das gesagt, so that er einen Satz aus dem Bett und verschlang das arme Rotkäppchen.'] Prediction: ['Am Sonntag wurde die Schweizer Schweizer Weltmeisterin Andrea von ihrem Mann.\nKaum hatte das Spiel gesagt und verschlang das arme Rotkäppchen.'] Label: [['Und frisst auch Rot·käppchen.\nDa springt der Wolf aus dem Bett.']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7692307692307692, 'translation_length': 23, 'reference_length': 13} Rouge: {'rouge1': 0.1142857142857143, 'rouge2': 0.0, 'rougeL': 0.1142857142857143, 'rougeLsum': 0.1142857142857143} Sari: {'sari': 29.756944444444443} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['Aber, Großmutter, was hast du für ein entsetzlich großes Maul!« »Daß ich dich besser fressen kann.'] Prediction: ['Ein Maul ist immer wieder aufgefallen.\nAber wenn du dich besser fressen kann, kannst du dich besser fressen.\nAber wenn du dich dich besser fressen kannst, wannst du dich dich besser fressen kannst.'] Label: [[': So kann ich dich besser fressen.\nUnd der Wolf antwortet mit tiefer Stimme: Warum hast du so einen großen Mund?\nUnd Rot∙käppchen fragt: Liebe Groß·mutter.']] Sacrebleu: {'score': 6.977877744524465, 'counts': [7, 3, 2, 1], 'totals': [38, 37, 36, 35], 'precisions': [18.42105263157895, 8.108108108108109, 5.555555555555555, 2.857142857142857], 'bp': 1.0, 'sys_len': 38, 'ref_len': 31} Bleu: {'bleu': 0.06977877744524465, 'precisions': [0.18421052631578946, 0.08108108108108109, 0.05555555555555555, 0.02857142857142857], 'brevity_penalty': 1.0, 'length_ratio': 1.2258064516129032, 'translation_length': 38, 'reference_length': 31} Rouge: {'rouge1': 0.16129032258064518, 'rouge2': 0.06666666666666667, 'rougeL': 0.16129032258064518, 'rougeLsum': 0.16129032258064518} Sari: {'sari': 45.182155866299084} Flesh Reading Ease: 87.1 ---------------------------------------- Source: ['« »Daß ich dich besser packen kann.«'] Prediction: ['Im Interview mit 20 Minuten spricht über die Welt und warum die Schweizer über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen und Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ih'] Label: [['Der Wolf antwortet: So kann ich dich besser packen.']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [143, 142, 141, 140], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 143, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 13.0, 'translation_length': 143, 'reference_length': 11} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 20.188492063492067} Flesh Reading Ease: -74.16 ---------------------------------------- Source: ['« »Ei, Großmutter, was hast du für große Hände!'] Prediction: ['Eine Frau, die am Freitagmorgen in der Schweiz verkauft, ist immer noch nicht ganz nach Hause.\nIst du das nicht nur, sondern auch einmal nach Hause?'] Label: [['Warum hast du so große Hände?\nGroß·mutter.\nLiebe Rot∙käppchen fragt.']] Sacrebleu: {'score': 1.5784309053930103, 'counts': [3, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [9.67741935483871, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.0967741935483871, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3846153846153846, 'translation_length': 31, 'reference_length': 13} Rouge: {'rouge1': 0.04878048780487805, 'rouge2': 0.0, 'rougeL': 0.04878048780487805, 'rougeLsum': 0.04878048780487805} Sari: {'sari': 49.56011730205279} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['»Ei, Großmutter, was hast du für große Augen!« »Daß ich dich besser sehen kann.'] Prediction: ['Du hast eine ähnliche Augen?\nWir haben dir die besten Fragen.'] Label: [['So kann ich dich besser sehen.\nUnd der Wolf antwortet mit hoher Stimme: Warum hast du so große Augen?\nUnd Rot∙käppchen fragt: Liebe Groß·mutter.']] Sacrebleu: {'score': 2.1458378170495602, 'counts': [4, 1, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [30.76923076923077, 8.333333333333334, 4.545454545454546, 2.5], 'bp': 0.29206782369141415, 'sys_len': 13, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.3076923076923077, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 0.29206782369141415, 'length_ratio': 0.4482758620689655, 'translation_length': 13, 'reference_length': 29} Rouge: {'rouge1': 0.15384615384615383, 'rouge2': 0.0, 'rougeL': 0.10256410256410255, 'rougeLsum': 0.10256410256410255} Sari: {'sari': 31.878404139433552} Flesh Reading Ease: 80.9 ---------------------------------------- Source: ['« »Daß ich dich besser hören kann.«'] Prediction: ['Im Interview mit 20 Minuten spricht über ihre Ärger-Kollegen über ihre Ärger-Kollegen und ihre Kolleginnen und Kollegen über ihre Ärger-Kollegen und Kolleginnen und Kollegen über ihre Ärger-Kollegen und Kolleginnen und Kollegen über ihre Ärger-Kollegen.'] Label: [['So kann ich dich besser hören.\nUnd der Wolf antwortet mit hoher Stimme:']] Sacrebleu: {'score': 1.2557690800697192, 'counts': [2, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [5.714285714285714, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.05714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 35, 'reference_length': 15} Rouge: {'rouge1': 0.07547169811320754, 'rouge2': 0.0, 'rougeL': 0.03773584905660377, 'rougeLsum': 0.03773584905660377} Sari: {'sari': 24.454365079365083} Flesh Reading Ease: 11.45 ---------------------------------------- Source: ['»Ei, Großmutter, was hast du für große Ohren!'] Prediction: ['Eine Frau, die sich für einen Ohren ohne gesundheitlich gesund war, ist immer noch nicht ganz nach der Welt.\nIst du das nicht nur, sondern auch einige Frauen, sondern auch eine Frau, die sich für ihre Ohren ohne gesundheitlich gesundheitlich gesund war.'] Label: [['Warum hast du so große Ohren?\nDeshalb fragt Rot∙käppchen: Liebe Groß·mutter.']] Sacrebleu: {'score': 0.9798555761147508, 'counts': [3, 0, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [6.122448979591836, 1.0416666666666667, 0.5319148936170213, 0.2717391304347826], 'bp': 1.0, 'sys_len': 49, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.061224489795918366, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 49, 'reference_length': 14} Rouge: {'rouge1': 0.06779661016949153, 'rouge2': 0.0, 'rougeL': 0.06779661016949153, 'rougeLsum': 0.06779661016949153} Sari: {'sari': 50.198412698412696} Flesh Reading Ease: 65.4 ---------------------------------------- Source: ['da lag die Großmutter, und hatte die Haube tief ins Gesicht gesetzt und sah so wunderlich aus.'] Prediction: ['Eine Frau hatte sich mit ihrem Haube tief ins Gesicht gesetzt.\nSie sah so wunderlich aus.'] Label: [['Deshalb kann Rot∙käppchen das Gesicht vom Wolf nicht sehen.\nDer Wolf hat die Haube von der Groß·mutter auf.']] Sacrebleu: {'score': 2.7178901196360052, 'counts': [4, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [22.22222222222222, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 0.8948393168143697, 'sys_len': 18, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8948393168143697, 'length_ratio': 0.9, 'translation_length': 18, 'reference_length': 20} Rouge: {'rouge1': 0.1081081081081081, 'rouge2': 0.0, 'rougeL': 0.05405405405405405, 'rougeLsum': 0.1081081081081081} Sari: {'sari': 35.13888888888889} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Darauf ging es zum Bett und zog die Vorhänge zurück;'] Prediction: ['Im Bett ging es zum Bett und zog die Vorhänge zurück.\nDas Bett ging es zum Bett und zog die Vorhänge zurück.'] Label: [['Rot∙käppchen geht zum Bett von der Groß·mutter.']] Sacrebleu: {'score': 3.482270899863668, 'counts': [3, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [12.5, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 1.0, 'sys_len': 24, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 24, 'reference_length': 8} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.058823529411764705, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 40.06734006734007} Flesh Reading Ease: 92.95 ---------------------------------------- Source: ['« Es rief: »Guten Morgen,« bekam aber keine Antwort.'] Prediction: ['Im Interview mit dem 20-Minuten-Podcast "Guten Morgen" spricht die beiden über ihre Antworten.\nDie beiden waren über ihre Antworten, die ihre Antworten über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen und Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen und Leistungen über ihre Leistungen über ihre Leistungen und Leistungen über ihre Leistungen über ihre Leistungen über ihre Leistungen über ihre Leist'] Label: [['Aber die Groß∙mutter antwortet nicht.\nGuten Morgen.\nUnd ruft: Liebe Groß·mutter.']] Sacrebleu: {'score': 0.5740074433029898, 'counts': [4, 1, 0, 0], 'totals': [148, 147, 146, 145], 'precisions': [2.7027027027027026, 0.6802721088435374, 0.3424657534246575, 0.1724137931034483], 'bp': 1.0, 'sys_len': 148, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.02702702702702703, 0.006802721088435374, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 9.866666666666667, 'translation_length': 148, 'reference_length': 15} Rouge: {'rouge1': 0.050955414012738856, 'rouge2': 0.012903225806451613, 'rougeL': 0.038216560509554146, 'rougeLsum': 0.050955414012738856} Sari: {'sari': 63.41669742832534} Flesh Reading Ease: -8.01 ---------------------------------------- Source: ["Es wunderte sich, daß die Thür aufstand, und wie es in die Stube trat, so kam es ihm so seltsam darin vor, daß es dachte: »Ei, du mein Gott, wie ängstlich wird mir's heute zu Mut, und bin sonst so gern bei der Großmutter!"] Prediction: ['Ein 20-Minuten-Podcast mit Host Andrea über 20 Fragen, die ihre Leute auf Social Media berichtet.\nIn der Folge ist der Direktstream der 20-Minuten-App "Unchained" auf Spotify, Apple Podcasts und Tune In.\nWir haben dir die besten Fragen der Direktstream-App bekannt gegeben.'] Label: [['Rot·käppchen bekommt Angst.\nUnd Rot∙käppchen wundert sich.\nDie Tür ist offen.\nRot·käppchen kommt zum Haus von der Groß·mutter.']] Sacrebleu: {'score': 1.0471589442104283, 'counts': [5, 0, 0, 0], 'totals': [52, 51, 50, 49], 'precisions': [9.615384615384615, 0.9803921568627451, 0.5, 0.25510204081632654], 'bp': 1.0, 'sys_len': 52, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.09615384615384616, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3636363636363638, 'translation_length': 52, 'reference_length': 22} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.0, 'rougeL': 0.08333333333333334, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 63.56636271529889} Flesh Reading Ease: 49.3 ---------------------------------------- Source: ['Rotkäppchen aber war nach den Blumen herumgelaufen, und als es so viel zusammen hatte, daß es keine mehr tragen konnte, fiel ihm die Großmutter wieder ein und es machte sich auf den Weg zu ihr.'] Prediction: ['Ein Blumen-Käppchen hat immer wieder einzuhalten.\nDer Blumen-Käppchen war nach den Blumen herumgelaufen.\nDer Blumen-Käppchen war nach den Blumen herumgelaufen.'] Label: [['Und läuft jetzt schnell zum Haus von der Groß·mutter.\nRot·käppchen geht zurück zum Weg.\nNach einer Weile denkt Rot∙käppchen plötzlich wieder an die Groß∙mutter.\nRot∙käppchen hat viele Blumen gepflückt.\nRot∙käppchen ist immer noch auf der Wiese im Wald.']] Sacrebleu: {'score': 1.122618485280649, 'counts': [7, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [30.434782608695652, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 0.41913374169932255, 'sys_len': 23, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.30434782608695654, 0.0, 0.0, 0.0], 'brevity_penalty': 0.41913374169932255, 'length_ratio': 0.5348837209302325, 'translation_length': 23, 'reference_length': 43} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.10526315789473684, 'rougeL': 0.20512820512820515, 'rougeLsum': 0.28205128205128205} Sari: {'sari': 37.89583333333333} Flesh Reading Ease: 44.6 ---------------------------------------- Source: ['Dann that er ihre Kleider an, setzte ihre Haube auf, legte sich in ihr Bett und zog die Vorhänge vor.'] Prediction: ['Ein Mann hatte sich in einem Bett eine Haube gefunden.\nDas Kleider legte sich in ihr Bett und zog die Vorhänge vor.'] Label: [['Der Wolf legt sich in das Bett von der Groß∙mutter.\nDann zieht der Wolf die Kleider von der Groß∙mutter an.']] Sacrebleu: {'score': 4.303846266589083, 'counts': [7, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [29.166666666666668, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 1.0, 'sys_len': 24, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.2916666666666667, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0909090909090908, 'translation_length': 24, 'reference_length': 22} Rouge: {'rouge1': 0.2666666666666666, 'rouge2': 0.046511627906976744, 'rougeL': 0.22222222222222224, 'rougeLsum': 0.17777777777777776} Sari: {'sari': 38.717532467532465} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['« Der Wolf drückte auf die Klinke, die Thür sprang auf und er ging, ohne ein Wort zu sprechen, gerade zum Bett der Großmutter und verschluckte sie.'] Prediction: ['Ein Wolf hat auf die Klinke in Thür gerückt.\nDer Thür sprang auf und er ging ohne ein Wort zu sprechen.'] Label: [['Und der Wolf frisst die Groß∙mutter ganz schnell.\nDer Wolf geht zum Bett von der Groß∙mutter.']] Sacrebleu: {'score': 4.141141330484801, 'counts': [5, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [21.73913043478261, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2777777777777777, 'translation_length': 23, 'reference_length': 18} Rouge: {'rouge1': 0.1904761904761905, 'rouge2': 0.0, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.1904761904761905} Sari: {'sari': 33.122807017543856} Flesh Reading Ease: 99.3 ---------------------------------------- Source: ['»Drück nur auf die Klinke,« rief die Großmutter, »ich bin zu schwach und kann nicht aufstehen.'] Prediction: ['In der Nacht auf Sonntag wurde die Weltkamera von der Radio-Section deiner 20-Minuten-App veröffentlicht.\nDie Weltkamera ist auf der Suche nach der Weltkamera von 20 Minuten.'] Label: [['Ich kann nicht aufstehen.\nDie Groß∙mutter sagt: Komm nur herein.']] Sacrebleu: {'score': 2.747878682374729, 'counts': [3, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3076923076923075, 'translation_length': 30, 'reference_length': 13} Rouge: {'rouge1': 0.04878048780487805, 'rouge2': 0.0, 'rougeL': 0.04878048780487805, 'rougeLsum': 0.04878048780487805} Sari: {'sari': 32.175495929365894} Flesh Reading Ease: 50.0 ---------------------------------------- Source: ['»Rotkäppchen, das bringt Kuchen und Wein, mach auf.«'] Prediction: ['Einige Wochen sprechen auf Rotkäppchen.\nDie Wochenende sind auf der Wiederholt.'] Label: [['Ich bringe dir einen Korb von der Mutter.\nRot∙käppchen.']] Sacrebleu: {'score': 4.065425428798724, 'counts': [3, 0, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [23.076923076923077, 4.166666666666667, 2.272727272727273, 1.25], 'bp': 1.0, 'sys_len': 13, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1818181818181819, 'translation_length': 13, 'reference_length': 11} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.0, 'rougeL': 0.08695652173913043, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 64.81481481481481} Flesh Reading Ease: 57.5 ---------------------------------------- Source: ['»Wer ist draußen?«'] Prediction: ['Im Interview mit 20 Minuten spricht über die Welt und Welt im Interview mit dem "Unchained" Guy über die Welt und Welt im Interview.\nIm Interview spricht Guy über die Welt und Welt immer wieder über die Welt und Welt.'] Label: [['Die Groß·mutter fragt: Wer ist da?']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 44, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.5, 'translation_length': 44, 'reference_length': 8} Rouge: {'rouge1': 0.0425531914893617, 'rouge2': 0.0, 'rougeL': 0.0425531914893617, 'rougeLsum': 0.0425531914893617} Sari: {'sari': 55.724637681159415} Flesh Reading Ease: 78.1 ---------------------------------------- Source: ['Der Wolf aber ging geradeswegs nach dem Hause der Großmutter und klopfte an die Thür.'] Prediction: ['Ein Wolf klopfte an die Thür.\nDer Wolf ging geradeswegs nach dem Hause der Großmutter und klopfte an die Thür.'] Label: [['Der Wolf klopft an die Tür.\nIn dieser Zeit geht der Wolf zum Haus von der Groß∙mutter.']] Sacrebleu: {'score': 5.809665204409192, 'counts': [8, 2, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [36.36363636363637, 9.523809523809524, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.36363636363636365, 0.09523809523809523, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1578947368421053, 'translation_length': 22, 'reference_length': 19} Rouge: {'rouge1': 0.42857142857142855, 'rouge2': 0.19999999999999998, 'rougeL': 0.42857142857142855, 'rougeLsum': 0.42857142857142855} Sari: {'sari': 39.941520467836256} Flesh Reading Ease: 88.1 ---------------------------------------- Source: ['Und wenn es eine gebrochen hatte, meinte es, weiter hinaus stände eine schönere, und lief danach, und geriet immer tiefer in den Wald hinein.'] Prediction: ['Ein Mann geriet in den Wald hinein.\nWeiter hinaus stände eine schönere, und lief danach.\nDer Mann geriet immer tiefer in den Wald hinein.'] Label: [['Und dabei vergisst Rot∙käppchen die Zeit.\nRot∙käppchen möchte nämlich Blumen für die Groß∙mutter pflücken.']] Sacrebleu: {'score': 1.5880117714047368, 'counts': [2, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [7.142857142857143, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 28, 'reference_length': 16} Rouge: {'rouge1': 0.04081632653061224, 'rouge2': 0.0, 'rougeL': 0.04081632653061224, 'rougeLsum': 0.04081632653061224} Sari: {'sari': 34.56688596491228} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['es ist so früh am Tage, daß ich doch zu rechter Zeit ankomme,« lief vom Wege ab in den Wald hinein und suchte Blumen.'] Prediction: ['Im Wald wurde einige Tage lang abgeschlossen.\nDie Frau lief vom Wege ab in den Wald hinein und suchte Blumen.\nDie Frau lief vom Wege ab in den Wald hinein und suchte Blumen.'] Label: [['Und geht zu der Wiese.\nDeshalb verlässt Rot∙käppchen den Weg.']] Sacrebleu: {'score': 1.3494116947566301, 'counts': [3, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [8.333333333333334, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 36, 'reference_length': 12} Rouge: {'rouge1': 0.08695652173913043, 'rouge2': 0.0, 'rougeL': 0.08695652173913043, 'rougeLsum': 0.08695652173913043} Sari: {'sari': 35.67927170868347} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['»Wenn ich der Großmutter einen frischen Strauß mitbringe, der wird ihr auch Freude machen:'] Prediction: ['Eine Frau hat einen frischen Strauß mitbringen, der ihr auch Freude machen wird.\nDie Frau hat ihr auch Freude machen: Sie hat ihr auch Freude machen.'] Label: [['Groß∙mutter freut sich sicher über einen Blumen∙strauß.']] Sacrebleu: {'score': 1.4763939041893883, 'counts': [2, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [6.666666666666667, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.75, 'translation_length': 30, 'reference_length': 8} Rouge: {'rouge1': 0.1142857142857143, 'rouge2': 0.0, 'rougeL': 0.1142857142857143, 'rougeLsum': 0.1142857142857143} Sari: {'sari': 35.91269841269842} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['Rotkäppchen schlug die Augen auf, und als es sah wie die Sonnenstrahlen durch die Bäume hin und her tanzten, und alles voll schöner Blumen stand, dachte es:'] Prediction: ['Ein Blumen-Käppchen-Käppchen-Käppchen-Käppchen-Käppchen machte die Augen auf.\nDer Blumen-Käppchen-Käppchen-Käppchen schlug die Augen auf.'] Label: [['Rot∙käppchen denkt: Und die Vögel singen.\nDie Sonne scheint zwischen den Bäumen.\nRot∙käppchen schaut sich um.']] Sacrebleu: {'score': 2.4347130516557893, 'counts': [3, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [21.428571428571427, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 0.6514390575310556, 'sys_len': 14, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6514390575310556, 'length_ratio': 0.7, 'translation_length': 14, 'reference_length': 20} Rouge: {'rouge1': 0.23999999999999996, 'rouge2': 0.08333333333333333, 'rougeL': 0.2, 'rougeLsum': 0.23999999999999996} Sari: {'sari': 36.06237816764133} Flesh Reading Ease: 10.2 ---------------------------------------- Source: ['»Rotkäppchen, sieh einmal die schönen Blumen, die ringsumher stehen, warum guckst du dich nicht um?'] Prediction: ['Der Schweizer Gast hat seine Gastronomie mit dem Rücktritt aufgefordert.\nWir haben die Gastronomie mit dem Rücktritt aufgestellt und mit dem Rücktritt zu Gast.'] Label: [['Schau dich einmal um.\nAuf der Wiese hier im Wald wachsen schöne Blumen.']] Sacrebleu: {'score': 1.7179060012299232, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7333333333333334, 'translation_length': 26, 'reference_length': 15} Rouge: {'rouge1': 0.04878048780487805, 'rouge2': 0.0, 'rougeL': 0.04878048780487805, 'rougeLsum': 0.04878048780487805} Sari: {'sari': 57.53205128205129} Flesh Reading Ease: 62.7 ---------------------------------------- Source: ['ich glaube du hörst gar nicht, wie die Vöglein so lieblich singen?'] Prediction: ['Die Schweizerin ist mit ihren Vöglein auf der Strasse geschickt.\nWie sie sich singen, glaube du nicht.\nAber wie sie sich singen, wie sie sich so lieblich singen.'] Label: [['Und die Vögel singen.\nEs ist so schön hier im Wald.']] Sacrebleu: {'score': 2.8244460759801417, 'counts': [5, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [15.151515151515152, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15151515151515152, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5384615384615383, 'translation_length': 33, 'reference_length': 13} Rouge: {'rouge1': 0.23809523809523808, 'rouge2': 0.0, 'rougeL': 0.1904761904761905, 'rougeLsum': 0.23809523809523808} Sari: {'sari': 47.590318178553474} Flesh Reading Ease: 88.8 ---------------------------------------- Source: ['« Da ging er ein Weilchen neben Rotkäppchen her, dann sprach er:'] Prediction: ['Ein Weilchen neben Rotkäppchen ist in der Schweiz ein Paar.\nDer Rotkäppchen-Konzern ist mit einem Weilchen in Rotkäppchen geschickt.'] Label: [['Dann sagt der Wolf zu Rot∙käppchen: Also geht der Wolf ein Stück auf dem Weg mit Rot∙käppchen mit.']] Sacrebleu: {'score': 2.568331954752977, 'counts': [4, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [19.047619047619047, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.19047619047619047, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.05, 'translation_length': 21, 'reference_length': 20} Rouge: {'rouge1': 0.2608695652173913, 'rouge2': 0.0, 'rougeL': 0.21739130434782608, 'rougeLsum': 0.2608695652173913} Sari: {'sari': 36.036346905912126} Flesh Reading Ease: 71.05 ---------------------------------------- Source: ['du mußt es listig anfangen, damit du beide erschnappst.'] Prediction: ['Immer mehr als 20 Minuten hat sich die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über die Welt über'] Label: [['Aber dafür muss der Wolf schlau sein.\nUnd der Wolf will die Groß∙mutter fressen.\nDer Wolf will Rot∙käppchen fressen.\nDer Wolf hat eine Idee.']] Sacrebleu: {'score': 0.1872843748912367, 'counts': [2, 0, 0, 0], 'totals': [226, 225, 224, 223], 'precisions': [0.8849557522123894, 0.2222222222222222, 0.11160714285714286, 0.05605381165919283], 'bp': 1.0, 'sys_len': 226, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.008849557522123894, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 8.071428571428571, 'translation_length': 226, 'reference_length': 28} Rouge: {'rouge1': 0.015748031496062992, 'rouge2': 0.0, 'rougeL': 0.007874015748031496, 'rougeLsum': 0.015748031496062992} Sari: {'sari': 58.782051282051285} Flesh Reading Ease: -104.51 ---------------------------------------- Source: ['Das junge zarte Ding, das ist ein fetter Bissen, der wird noch besser schmecken als die Alte; Der Wolf dachte bei sich: »'] Prediction: ['Ein fetter Bissen, der noch besser schmecken als die Alte ist, ist in den Ferien gefunden.\nDer Wolf dachte bei sich: Der Wolf dachte bei sich:'] Label: [['Und Rot∙käppchen schmeckt sicher besser als die alte Groß∙mutter.\nRot∙käppchen schmeckt sicher gut.\nIch möchte Rot∙käppchen fressen.\nUnd zart.\nUnd denkt: Rot∙käppchen ist jung.\nDer Wolf ist sehr hungrig.']] Sacrebleu: {'score': 5.533834933350031, 'counts': [9, 3, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [29.032258064516128, 10.0, 3.4482758620689653, 1.7857142857142858], 'bp': 0.8510449576692257, 'sys_len': 31, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.2903225806451613, 0.1, 0.034482758620689655, 0.0], 'brevity_penalty': 0.8510449576692258, 'length_ratio': 0.8611111111111112, 'translation_length': 31, 'reference_length': 36} Rouge: {'rouge1': 0.2461538461538462, 'rouge2': 0.09523809523809523, 'rougeL': 0.2153846153846154, 'rougeLsum': 0.2461538461538462} Sari: {'sari': 44.37775834971669} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['»Noch eine gute Viertelstunde weiter im Wald, unter den drei großen Eichbäumen, da steht ihr Haus, unten sind die Nußhecken, das wirst du ja wissen,« sagte Rotkäppchen.'] Prediction: ['Eine Viertelstunde weiter im Wald ist noch nicht bekannt.\nDas wird das nicht mehr überzeugen.\nDas wird das nächste Mal nach dem Wald gegeben.'] Label: [['Das Haus steht unter den 3 Eichen.\nDann kommt das Haus von meiner Groß∙mutter.\nIch muss eine Viertel∙stunde gehen.\nRot∙käppchen antwortet:']] Sacrebleu: {'score': 2.0752738657056446, 'counts': [5, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [18.51851851851852, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.18518518518518517, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.08, 'translation_length': 27, 'reference_length': 25} Rouge: {'rouge1': 0.12, 'rouge2': 0.0, 'rougeL': 0.08, 'rougeLsum': 0.12} Sari: {'sari': 35.17770876466529} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['»Rotkäppchen, wo wohnt deine Großmutter?«'] Prediction: ['Am Freitagabend wurde in der Nähe von der Schweiz eine Frau entdeckt.\nDie Frau war mit ihrem Mann auf der Suche.\nDie Wohnung ist noch nicht bekannt.'] Label: [['Und fragt: Wo wohnt deine Groß∙mutter?\nDer Wolf ist neugierig.']] Sacrebleu: {'score': 1.4763939041893883, 'counts': [2, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [6.666666666666667, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3076923076923075, 'translation_length': 30, 'reference_length': 13} Rouge: {'rouge1': 0.10256410256410255, 'rouge2': 0.0, 'rougeL': 0.10256410256410255, 'rougeLsum': 0.10256410256410255} Sari: {'sari': 35.24531024531024} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['»Kuchen und Wein, gestern haben wir gebacken, da soll sich die kranke und schwache Großmutter etwas zu gute thun und sich damit stärken.«'] Prediction: ['Immer mehr Wochen und Wochen soll sich die kranke und schwache Großmutter etwas zu gute thun stärken.\nWochen und Wein haben wir gebacken, da soll sich die kranke und schwache Großmutter etwas zu gute thun stärken.'] Label: [['Meine Groß∙mutter soll wieder gesund werden.\nUnd schwach.\nMeine Groß∙mutter ist nämlich krank.\nBeides ist für Groß∙mutter.\nUnd Kuchen.\nRot∙käppchen antwortet: Wein.']] Sacrebleu: {'score': 1.3339264902154053, 'counts': [4, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [10.256410256410257, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.10256410256410256, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3448275862068966, 'translation_length': 39, 'reference_length': 29} Rouge: {'rouge1': 0.2318840579710145, 'rouge2': 0.05970149253731343, 'rougeL': 0.17391304347826086, 'rougeLsum': 0.2028985507246377} Sari: {'sari': 36.029411764705884} Flesh Reading Ease: 68.4 ---------------------------------------- Source: ['« »Was trägst du unter der Schürze?«'] Prediction: ['Im Interview mit 20 Minuten mit dem "Morning Show" mit Host Stefan über 20 Fragen kam es zu einer Schürze.\nIm Interview spricht der Comedian über die Welt und die Welt.\nIm Interview spricht er über die Welt und die Welt.'] Label: [['Der Wolf fragt: Was hast du in deinem Korb?']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 46, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.181818181818182, 'translation_length': 46, 'reference_length': 11} Rouge: {'rouge1': 0.0392156862745098, 'rouge2': 0.0, 'rougeL': 0.0392156862745098, 'rougeLsum': 0.0392156862745098} Sari: {'sari': 58.88888888888889} Flesh Reading Ease: 84.4 ---------------------------------------- Source: ['»Zur Großmutter.'] Prediction: ['Im Internet gibt es einen grossen Frühling.\nDie Welt ist eine solche Welle.'] Label: [['Rot∙käppchen antwortet: Ich gehe zur Groß∙mutter.']] Sacrebleu: {'score': 2.627961710408444, 'counts': [1, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [6.666666666666667, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.875, 'translation_length': 15, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['»Wohinaus so früh, Rotkäppchen?«'] Prediction: ['Im Alter von 99 Jahren ist der Schweizer Leben gekommen.\nIm Interview mit 20 Minuten spricht er über die Schweizer Leute.'] Label: [['Wohin gehst du?\nDer Wolf fragt Rot∙käppchen:']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5555555555555554, 'translation_length': 23, 'reference_length': 9} Rouge: {'rouge1': 0.06666666666666667, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.06666666666666667} Sari: {'sari': 57.73809523809524} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['» »Guten Tag, Rotkäppchen,« sprach er.'] Prediction: ['Der Schweizer Weltcup ist mit einem ähnlichen Team.\nDer Schweizer Weltcup ist mit einem ähnlichen Team.'] Label: [['Und sagt: Hallo Rot∙käppchen.\nDer Wolf sieht Rot·käppchen.']] Sacrebleu: {'score': 4.753622060013117, 'counts': [3, 1, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [16.666666666666668, 5.882352941176471, 3.125, 1.6666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.058823529411764705, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6363636363636365, 'translation_length': 18, 'reference_length': 11} Rouge: {'rouge1': 0.07142857142857144, 'rouge2': 0.0, 'rougeL': 0.07142857142857144, 'rougeLsum': 0.07142857142857144} Sari: {'sari': 68.52425180598556} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Rotkäppchen aber wußte nicht was das für ein böses Tier war und fürchtete sich nicht vor ihm.'] Prediction: ['Ein böses Tier fürchtete sich nicht vor ihm.\nDas Tier war ein böses Tier.\nDas Tier war ein böses Tier.'] Label: [['Deshalb hat Rot∙käppchen auch keine Angst vor dem Wolf.\nAber das weiß Rot∙käppchen nicht.\nDer Wolf ist ein böses Tier.']] Sacrebleu: {'score': 12.25914995865642, 'counts': [8, 3, 2, 1], 'totals': [23, 22, 21, 20], 'precisions': [34.78260869565217, 13.636363636363637, 9.523809523809524, 5.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 23} Bleu: {'bleu': 0.12259149958656422, 'precisions': [0.34782608695652173, 0.13636363636363635, 0.09523809523809523, 0.05], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 23, 'reference_length': 23} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.1276595744680851, 'rougeL': 0.24489795918367346, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 44.966055584363204} Flesh Reading Ease: 97.25 ---------------------------------------- Source: ['Wie nun Rotkäppchen in den Wald kam, begegnete ihm der Wolf.'] Prediction: ['Ein Wolf hat Rotkäppchen in den Wald gefunden.\nDer Wolf begegnete ihm der Wolf.'] Label: [['Im Wald trifft Rot∙käppchen einen Wolf.\nDann geht Rot·käppchen in den Wald zur Groß·mutter.']] Sacrebleu: {'score': 11.980914528565991, 'counts': [6, 3, 1, 0], 'totals': [16, 15, 14, 13], 'precisions': [37.5, 20.0, 7.142857142857143, 3.8461538461538463], 'bp': 1.0, 'sys_len': 16, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.375, 0.2, 0.07142857142857142, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 16, 'reference_length': 16} Rouge: {'rouge1': 0.29411764705882354, 'rouge2': 0.1875, 'rougeL': 0.29411764705882354, 'rougeLsum': 0.29411764705882354} Sari: {'sari': 47.063492063492056} Flesh Reading Ease: 85.25 ---------------------------------------- Source: ['»Ich will schon alles gut machen,« sagte Rotkäppchen zur Mutter, und gab ihr die Hand darauf.'] Prediction: ['Eine Mutter hat ihr Hand daraufgefunden.\nSie will ihr schon alles gut machen.'] Label: [['Das verspreche ich dir.\nUnd ich beeile mich. Ich bleibe auf dem Weg.\nLiebe Mutter.\nRot∙käppchen antwortet:']] Sacrebleu: {'score': 2.16884536516529, 'counts': [3, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [20.0, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.6270890852730562, 'sys_len': 15, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6270890852730561, 'length_ratio': 0.6818181818181818, 'translation_length': 15, 'reference_length': 22} Rouge: {'rouge1': 0.0625, 'rouge2': 0.0, 'rougeL': 0.0625, 'rougeLsum': 0.0625} Sari: {'sari': 35.27777777777778} Flesh Reading Ease: 79.9 ---------------------------------------- Source: ['Mach dich auf, bevor es heiß wird, und wenn du hinauskommst, so geh hübsch sittsam und lauf nicht vom Weg ab, sonst fällst du und zerbrichst das Glas und die Großmutter hat nichts.'] Prediction: ['Du findest hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier hier'] Label: [['Und pass gut auf die Dinge im Korb auf.\nAber bleib auf dem Weg.\nAlso beeil dich.']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [449, 448, 447, 446], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 449, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 22.45, 'translation_length': 449, 'reference_length': 20} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 56.92204301075269} Flesh Reading Ease: -327.51 ---------------------------------------- Source: ['sie ist krank und schwach und wird sich daran laben.'] Prediction: ['Die Schweizerin ist auf der Suche nach ihrer kranken Krankheit.\nSie wird sich daran laben.'] Label: [['Und schnell gesund werden.\nDie Groß∙mutter soll wieder zu Kräften kommen.\nDie Groß∙mutter ist krank.']] Sacrebleu: {'score': 3.049483026556587, 'counts': [4, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [23.529411764705884, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.9428731438548749, 'sys_len': 17, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9428731438548749, 'length_ratio': 0.9444444444444444, 'translation_length': 17, 'reference_length': 18} Rouge: {'rouge1': 0.1212121212121212, 'rouge2': 0.0, 'rougeL': 0.1212121212121212, 'rougeLsum': 0.1212121212121212} Sari: {'sari': 31.68527379053695} Flesh Reading Ease: 84.75 ---------------------------------------- Source: ['Eines Tages sprach seine Mutter zu ihm: »Komm, Rotkäppchen, da hast du ein Stück Kuchen und eine Flasche Wein, bring das der Großmutter hinaus;'] Prediction: ['Eine Mutter hat einen Stück Kuchen und Rotkäppchen.\nDie Mutter sprach von ihm: "Komm, Rotkäppchen, da hast du ein Stück Kuchen und eine Flasche Wein?"'] Label: [['Bring den Korb zur Groß∙mutter.\nDann sagt die Mutter zu Rot∙käppchen: Und Kuchen.\nIn dem Korb ist Wein.\nAn einem Morgen gibt die Mutter Rot∙käppchen einen Korb.']] Sacrebleu: {'score': 1.886782264636293, 'counts': [7, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [21.875, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.21875, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 32, 'reference_length': 32} Rouge: {'rouge1': 0.2950819672131148, 'rouge2': 0.03389830508474576, 'rougeL': 0.19672131147540986, 'rougeLsum': 0.22950819672131145} Sari: {'sari': 37.38244766505636} Flesh Reading Ease: 85.6 ---------------------------------------- Source: ['Einmal schenkte sie ihm ein Käppchen von rotem Sammet und weil ihm das so wohl stand, und es nichts anderes mehr tragen wollte, hieß es nur das Rotkäppchen.'] Prediction: ['Einige Frauen schenkten ihm ein Käppchen von rotem Sammet.\nSie hielten ihm das so wohl stand, und es nichts anderes mehr tragen wollte.'] Label: [['Rot∙käppchen.\nDeshalb heißt das Mädchen: Und will das rote Käppchen immer tragen.\nDas Mädchen mag das rote Käppchen sehr.\nDie Groß∙mutter schenkt dem Mädchen ein rotes Käppchen.']] Sacrebleu: {'score': 1.7949729449838596, 'counts': [6, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [23.076923076923077, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 0.7939226578179512, 'sys_len': 26, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7939226578179512, 'length_ratio': 0.8125, 'translation_length': 26, 'reference_length': 32} Rouge: {'rouge1': 0.19672131147540983, 'rouge2': 0.03389830508474576, 'rougeL': 0.1639344262295082, 'rougeLsum': 0.19672131147540983} Sari: {'sari': 35.37037037037037} Flesh Reading Ease: 80.75 ---------------------------------------- Source: ["Von nun an getrauten sich die Räuber nicht weiter in das Haus, den vier Bremer Musikanten gefiel's aber so wohl darin, daß sie nicht wieder heraus wollten."] Prediction: ['Die Räuber haben sich in den vergangenen Tagen in einem Haus gefeiert.\nSie wollten sich nicht weiter in das Haus sein.\nWie sie nicht wieder heraus wollten, ist noch unklar.'] Label: [['Deshalb wollen die 4 Tiere auch nicht mehr nach Bremen gehen.\nDie 4 Tiere fühlen sich sehr wohl in dem Haus.\nUnd die 4 Tiere bleiben in dem Haus.\nDer Esel und der Hund und die Katze und der Hahn sind froh.\nUnd die Räuber kommen nie mehr zu dem Haus zurück.\nDie Räuber laufen fort.\nJetzt haben auch die anderen Räuber Angst.']] Sacrebleu: {'score': 1.1818312416883596, 'counts': [12, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [35.294117647058826, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 0.3468636452568924, 'sys_len': 34, 'ref_len': 70} Bleu: {'bleu': 0.0, 'precisions': [0.35294117647058826, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 0.34686364525689223, 'length_ratio': 0.4857142857142857, 'translation_length': 34, 'reference_length': 70} Rouge: {'rouge1': 0.20202020202020204, 'rouge2': 0.041237113402061855, 'rougeL': 0.12121212121212122, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 39.641414589760096} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['Da machte ich, daß ich fortkam.'] Prediction: ['Ein französischer Mann hatte sich in der Nacht auf Sonntag in Genf geschützt.\nEr wurde dabei von seinem Partner fortkommen.\nNun wurde er von der Polizei verletzt.'] Label: [['Deshalb bin ich fortgelaufen.']] Sacrebleu: {'score': 1.2414943415352928, 'counts': [1, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [3.3333333333333335, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.03333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.0, 'translation_length': 30, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 63.19444444444444} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['und oben auf dem Dache, da sitzt der Richter, der rief, bringt mir den Schelm her.'] Prediction: ['Der Schelm ist ein Spieler.\nDer Richter bringt den Schelm her.'] Label: [['Der Polizist wollte mich fangen.\nUnd auf dem Dach sitzt ein Polizist.']] Sacrebleu: {'score': 4.0451386841269, 'counts': [4, 0, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [30.76923076923077, 4.166666666666667, 2.272727272727273, 1.25], 'bp': 0.925961078642316, 'sys_len': 13, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.3076923076923077, 0.0, 0.0, 0.0], 'brevity_penalty': 0.925961078642316, 'length_ratio': 0.9285714285714286, 'translation_length': 13, 'reference_length': 14} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.0, 'rougeL': 0.17391304347826086, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 33.470209339774556} Flesh Reading Ease: 104.3 ---------------------------------------- Source: ['und auf dem Hof liegt ein schwarzes Ungetüm, das hat mit einer Holzkeule auf mich losgeschlagen;'] Prediction: ['Ein Ungetüm hat mit einer Holzkeule auf mich losgeschlagen.\nDer Ungetüm hat mit einer Holzkeule auf mich losgeschlagen.'] Label: [['Das Monster hat mich getreten.\nUnd bei dem Mist∙haufen ist ein Monster.']] Sacrebleu: {'score': 2.7076576267554477, 'counts': [4, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [20.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4285714285714286, 'translation_length': 20, 'reference_length': 14} Rouge: {'rouge1': 0.18181818181818185, 'rouge2': 0.0, 'rougeL': 0.12121212121212123, 'rougeLsum': 0.18181818181818185} Sari: {'sari': 35.625} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['und vor der Thür steht ein Mann mit einem Messer, der hat mich ins Bein gestochen;'] Prediction: ['Ein Mann hat in der Thür einen Messer gestochen.\nDer Mann hat mich ins Bein gestochen.'] Label: [['Mit dem Messer hat mir der Mann ins Bein gestochen.\nDer Mann hat ein Messer.\nUnd vor der Tür steht ein Mann.']] Sacrebleu: {'score': 23.60372104037685, 'counts': [12, 6, 5, 3], 'totals': [18, 17, 16, 15], 'precisions': [66.66666666666667, 35.294117647058826, 31.25, 20.0], 'bp': 0.6778095780054504, 'sys_len': 18, 'ref_len': 25} Bleu: {'bleu': 0.23603721040376854, 'precisions': [0.6666666666666666, 0.35294117647058826, 0.3125, 0.2], 'brevity_penalty': 0.6778095780054504, 'length_ratio': 0.72, 'translation_length': 18, 'reference_length': 25} Rouge: {'rouge1': 0.6, 'rouge2': 0.3157894736842105, 'rougeL': 0.3, 'rougeLsum': 0.55} Sari: {'sari': 46.54048986523213} Flesh Reading Ease: 95.95 ---------------------------------------- Source: ['« Da lief der Räuber, was er konnte, zu seinem Hauptmann zurück und sprach: »Ach; in dem Hause sitzt eine greuliche Hexe, die hat mich angehaucht und mit ihren langen Fingern mir das Gesicht zerkratzt;'] Prediction: ['Im Sommer 2020 hat ein Räuber seine Hexe angehaucht.\nIn der Nacht auf Sonntag hat er das Gesicht zerkratzt.\nIn der Bildstrecke ist eine greuliche Hexe, die mit ihren langen Fingern das Gesicht zerkratzt hat.'] Label: [['Die Hexe hat mir das Gesicht zerkratzt.\nIn dem Haus ist eine Hexe.\nDer Räuber erzählt mit einer ängstlichen Stimme: Der Räuber läuft zu den anderen Räubern.\nUnd der Räuber läuft davon.']] Sacrebleu: {'score': 12.287542170364494, 'counts': [15, 5, 3, 2], 'totals': [39, 38, 37, 36], 'precisions': [38.46153846153846, 13.157894736842104, 8.108108108108109, 5.555555555555555], 'bp': 1.0, 'sys_len': 39, 'ref_len': 37} Bleu: {'bleu': 0.12287542170364495, 'precisions': [0.38461538461538464, 0.13157894736842105, 0.08108108108108109, 0.05555555555555555], 'brevity_penalty': 1.0, 'length_ratio': 1.054054054054054, 'translation_length': 39, 'reference_length': 37} Rouge: {'rouge1': 0.4, 'rouge2': 0.136986301369863, 'rougeL': 0.26666666666666666, 'rougeLsum': 0.4} Sari: {'sari': 43.46187398805657} Flesh Reading Ease: 74.7 ---------------------------------------- Source: ['»Kikeriki! der Hahn aber, der vom Lärmen aus dem Schlaf geweckt und munter geworden war, rief vom Balken herab:'] Prediction: ['Immer wieder auf dem Balken war ein Mann auf dem Lärmen geweckt und munter geworden.\nDer Mann rief vom Balken herab und munter geworden.'] Label: [['Der Hahn macht Krach.\nUnd so wird auch der Hahn wach.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 26, 'reference_length': 13} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.0, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 34.51121794871795} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['Da erschrak er gewaltig, lief und wollte zur Hinterthür hinaus, aber der Hund, der da lag, sprang auf und biß ihn ins Bein; und als er über den Hof an dem Miste vorbeirannte, gab ihm der Esel noch einen tüchtigen Schlag mit dem Hinterfuß;'] Prediction: ['Ein Hund, der über den Hof an dem Miste vorbeirannte, sprang auf und biß ihn ins Bein.\nDer Hof gab ihm der Esel noch einen tüchtigen Schlag mit dem Hinterfuß.'] Label: [['Der Esel tritt den Räuber.\nAm Mist∙haufen wartet schon der Esel.\nDer Räuber rennt an dem Mist∙haufen vorbei.\nDer Räuber rennt aus dem Haus.\nDer Räuber schreit noch lauter.\nDer Hund beißt den Räuber ins Bein.\nAber vor der Tür liegt noch der Hund.\nDer Räuber rennt zur Tür.\nDer Räuber will schnell aus dem Haus laufen.\nUnd der Räuber schreit.\nJetzt hat der Räuber Angst.']] Sacrebleu: {'score': 2.1141514380458943, 'counts': [14, 5, 1, 0], 'totals': [34, 33, 32, 31], 'precisions': [41.1764705882353, 15.151515151515152, 3.125, 1.6129032258064515], 'bp': 0.28232231990699064, 'sys_len': 34, 'ref_len': 77} Bleu: {'bleu': 0.0, 'precisions': [0.4117647058823529, 0.15151515151515152, 0.03125, 0.0], 'brevity_penalty': 0.28232231990699064, 'length_ratio': 0.44155844155844154, 'translation_length': 34, 'reference_length': 77} Rouge: {'rouge1': 0.25225225225225223, 'rouge2': 0.07339449541284404, 'rougeL': 0.18018018018018017, 'rougeLsum': 0.23423423423423423} Sari: {'sari': 39.14245203794384} Flesh Reading Ease: 88.95 ---------------------------------------- Source: ['Aber die Katze verstand keinen Spaß, sprang ihm ins Gesicht, spie und kratzte.'] Prediction: ['Am Freitag kam es in der Nähe von Katzen zu einem Spaß.\nEin Mann spielte, sprang ihm ins Gesicht, spie und kratzte.'] Label: [['Und die Katze zerkratzt das Gesicht vom Räuber.\nDie Katze springt den Räuber an.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.625, 'translation_length': 26, 'reference_length': 16} Rouge: {'rouge1': 0.10256410256410256, 'rouge2': 0.0, 'rougeL': 0.05128205128205128, 'rougeLsum': 0.05128205128205128} Sari: {'sari': 31.944444444444446} Flesh Reading Ease: 92.95 ---------------------------------------- Source: ['Der Abgeschickte fand alles still, ging in die Küche, ein Licht anzuzünden, und weil er die glühenden, feurigen Augen der Katze für lebendige Kohlen ansah, hielt er ein Schwefelhölzchen daran, daß es Feuer fangen sollte.'] Prediction: ['Ein Schwefelhölzchen hielt am Sonntag in der Nacht auf Sonntag einen Schwefelhölzchen daran.\nDer Abgeschickte fand alles still, ging in die Küche, ein Licht anzuzünden.'] Label: [['Die Augen von der Katze leuchten wie 2 Stücken Kohle.\nDie Augen von der Katze leuchten im Dunkeln.\nDer Räuber denkt: Das ist die Kohle.\nIn der Küche sieht der Räuber 2 leuchtende Punkte.\nAlso geht der Räuber in die Küche.\nDer Räuber will das Licht anmachen.\nEs geht nur 1 Räuber in das Haus.\nAber die Räuber sind vorsichtig:']] Sacrebleu: {'score': 1.7562376577766283, 'counts': [9, 3, 1, 0], 'totals': [29, 28, 27, 26], 'precisions': [31.03448275862069, 10.714285714285714, 3.7037037037037037, 1.9230769230769231], 'bp': 0.2517521153523297, 'sys_len': 29, 'ref_len': 69} Bleu: {'bleu': 0.0, 'precisions': [0.3103448275862069, 0.10714285714285714, 0.037037037037037035, 0.0], 'brevity_penalty': 0.2517521153523297, 'length_ratio': 0.42028985507246375, 'translation_length': 29, 'reference_length': 69} Rouge: {'rouge1': 0.16326530612244897, 'rouge2': 0.08333333333333333, 'rougeL': 0.16326530612244897, 'rougeLsum': 0.16326530612244897} Sari: {'sari': 38.576168016466525} Flesh Reading Ease: 68.05 ---------------------------------------- Source: ['Als Mitternacht vorbei war und die Räuber von weitem sahen, daß kein Licht mehr im Hause brannte, auch alles ruhig schien, sprach der Hauptmann: »Wir hätten uns doch nicht sollen ins Bockshorn jagen lassen,« und hieß einen hingehen und das Haus untersuchen.'] Prediction: ['Ein Räuber hatte am Freitag einen Bockshorn in Südtirol LU verbrannt.\nDer Hauptmann sprach von seinem Licht und besuchte alles ruhig.'] Label: [['Lasst uns zurück zum Haus gehen.\nVielleicht war es doch kein Gespenst.\nWir haben uns geirrt.\nDeshalb sagt der Anführer von den Räubern: Alles ist ganz still.\nDas Licht im Haus ist aus.\nDie Räuber sehen: Aber die Räuber sind noch in der Nähe vom Haus.']] Sacrebleu: {'score': 0.6695598989668606, 'counts': [6, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [26.08695652173913, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 0.2598044394455424, 'sys_len': 23, 'ref_len': 54} Bleu: {'bleu': 0.0, 'precisions': [0.2608695652173913, 0.0, 0.0, 0.0], 'brevity_penalty': 0.2598044394455425, 'length_ratio': 0.42592592592592593, 'translation_length': 23, 'reference_length': 54} Rouge: {'rouge1': 0.18666666666666668, 'rouge2': 0.027397260273972605, 'rougeL': 0.10666666666666666, 'rougeLsum': 0.18666666666666668} Sari: {'sari': 51.712779973649546} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['Der Esel legte sich auf den Mist, der Hund hinter die Thür, die Katze auf den Herd bei die warme Asche, und der Hahn setzte sich auf den Hahnenbalken, und weil sie müde waren von ihrem langen Wege, schliefen sie auch bald ein.'] Prediction: ['Ein Hahn hat sich auf den Mist geschlagen.\nDer Hahn setzte sich auf den Hahnenbalken.\nDer Katze wurde von ihrem langen Wege schliefen.'] Label: [['Und die 4 Tiere schlafen ein.\nDas Licht ist aus.\nUnd der Hahn schläft auf einem Balken unter dem Dach.\nDie Katze schläft in der Küche.\nDer Hund schläft vor der Tür.\nDer Esel schläft bei dem Mist∙haufen.\nVor dem Haus ist ein Mist∙haufen.\nDer Esel geht vor das Haus.']] Sacrebleu: {'score': 1.4191493574526308, 'counts': [8, 2, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [30.76923076923077, 8.0, 2.0833333333333335, 1.0869565217391304], 'bp': 0.29206782369141415, 'sys_len': 26, 'ref_len': 58} Bleu: {'bleu': 0.0, 'precisions': [0.3076923076923077, 0.08, 0.0, 0.0], 'brevity_penalty': 0.29206782369141415, 'length_ratio': 0.4482758620689655, 'translation_length': 26, 'reference_length': 58} Rouge: {'rouge1': 0.1728395061728395, 'rouge2': 0.02531645569620253, 'rougeL': 0.12345679012345678, 'rougeLsum': 0.1728395061728395} Sari: {'sari': 33.90126620628129} Flesh Reading Ease: 84.55 ---------------------------------------- Source: ['Wie die vier Spielleute fertig waren, löschten sie das Licht aus und suchten sich eine Schlafstätte, jeder nach seiner Natur und Bequemlichkeit.'] Prediction: ['Vier Spielleute waren fertig.\nSie suchten sich eine Schlafstätte.'] Label: [['Die 4 Tiere suchen sich einen Schlafplatz: Und werden müde.\nDann sind die 4 Tiere satt.']] Sacrebleu: {'score': 2.383435987623427, 'counts': [3, 0, 0, 0], 'totals': [11, 10, 9, 8], 'precisions': [27.272727272727273, 5.0, 2.7777777777777777, 1.5625], 'bp': 0.48322508118982543, 'sys_len': 11, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.2727272727272727, 0.0, 0.0, 0.0], 'brevity_penalty': 0.48322508118982543, 'length_ratio': 0.5789473684210527, 'translation_length': 11, 'reference_length': 19} Rouge: {'rouge1': 0.07407407407407408, 'rouge2': 0.0, 'rougeL': 0.07407407407407408, 'rougeLsum': 0.07407407407407408} Sari: {'sari': 34.752747252747255} Flesh Reading Ease: 58.5 ---------------------------------------- Source: ['Nun setzten sich die vier Gesellen an den Tisch, nahmen mit dem vorlieb, was übrig geblieben war, und aßen, als wenn sie vier Wochen hungern sollten.'] Prediction: ['Die Welt endete mit einem Tisch.\nDie vier Gesellen sind vor allem in den Tisch.\nDie Welt endete mit einem Tisch.'] Label: [['Die 4 Tiere essen und trinken.\nUnd setzen sich an den Tisch.\nDie 4 Tiere gehen in das Haus.']] Sacrebleu: {'score': 11.71291646655074, 'counts': [8, 3, 2, 1], 'totals': [24, 23, 22, 21], 'precisions': [33.333333333333336, 13.043478260869565, 9.090909090909092, 4.761904761904762], 'bp': 1.0, 'sys_len': 24, 'ref_len': 22} Bleu: {'bleu': 0.1171291646655074, 'precisions': [0.3333333333333333, 0.13043478260869565, 0.09090909090909091, 0.047619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 1.0909090909090908, 'translation_length': 24, 'reference_length': 22} Rouge: {'rouge1': 0.25, 'rouge2': 0.10526315789473685, 'rougeL': 0.2, 'rougeLsum': 0.25} Sari: {'sari': 51.62932347558785} Flesh Reading Ease: 91.1 ---------------------------------------- Source: ['Die Räuber fuhren bei dem entsetzlichen Geschrei in die Höhe, meinten nicht anders als ein Gespenst käme herein und flohen in größter Furcht in den Wald hinaus.'] Prediction: ['In den Wald sind Räuber in den Wald gefunden.\nSie meinten nicht anders als ein Gespenst.\nSie flohen in größter Furcht in den Wald hinaus.'] Label: [['Und die Räuber laufen fort.\nDie Räuber bekommen Angst.\nNur Gespenster können so einen schrecklichen Lärm machen.\nDas ist ein Gespenst.\nDie Räuber denken: Und die Musik ist schrecklich.\nDie Musik von den 4 Tieren ist laut.']] Sacrebleu: {'score': 3.4693446590388834, 'counts': [7, 2, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [25.0, 7.407407407407407, 3.8461538461538463, 2.0], 'bp': 0.5647181220077593, 'sys_len': 28, 'ref_len': 44} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.07407407407407407, 0.038461538461538464, 0.0], 'brevity_penalty': 0.5647181220077593, 'length_ratio': 0.6363636363636364, 'translation_length': 28, 'reference_length': 44} Rouge: {'rouge1': 0.14492753623188406, 'rouge2': 0.059701492537313446, 'rougeL': 0.14492753623188406, 'rougeLsum': 0.14492753623188406} Sari: {'sari': 36.68435563363099} Flesh Reading Ease: 89.8 ---------------------------------------- Source: ['der Esel schrie, der Hund bellte, die Katze miaute und der Hahn krähte;'] Prediction: ['Ein Hund bellte, der Hahn krähte und der Katze krähte.\nDer Hund bellte und der Hahn krähte.\nDer Hund bellte und der Katze krähte.'] Label: [['• Und der Hahn kräht.\n• Die Katze miaut.\n• Der Hund bellt.\n• Der Esel schreit.']] Sacrebleu: {'score': 4.625799890348224, 'counts': [9, 2, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [32.142857142857146, 7.407407407407407, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.32142857142857145, 0.07407407407407407, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 28, 'reference_length': 21} Rouge: {'rouge1': 0.38095238095238093, 'rouge2': 0.2, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.38095238095238093} Sari: {'sari': 43.83113311331133} Flesh Reading Ease: 90.1 ---------------------------------------- Source: ['Wie das geschehen war, fingen sie auf ein Zeichen insgesamt an ihre Musik zu machen:'] Prediction: ['Die Zürcher Musikerin Andrea (27) hat sich auf ein Zeichen insgesamt an ihre Musik zu machen.\nDie Musikerin fingen sie auf ein Zeichen insgesamt an ihre Musik zu machen.'] Label: [['Dann machen die 4 Tiere zusammen Musik:']] Sacrebleu: {'score': 1.3355980882200826, 'counts': [2, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [6.0606060606060606, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.06060606060606061, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.125, 'translation_length': 33, 'reference_length': 8} Rouge: {'rouge1': 0.16216216216216217, 'rouge2': 0.05714285714285715, 'rougeL': 0.16216216216216217, 'rougeLsum': 0.10810810810810811} Sari: {'sari': 35.436507936507944} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['Der Esel mußte sich mit den Vorderfüßen auf das Fenster stellen, der Hund auf des Esels Rücken springen, die Katze auf den Hund klettern, und endlich flog der Hahn hinauf und setzte sich der Katze auf den Kopf.'] Prediction: ['Eine Katze flog der Hahn hinauf und flog sich der Katze auf den Kopf.\nDer Esel mußte sich mit den Vorderfüßen auf das Fenster stellen, der Hund auf des Esels Rücken springen, die Katze auf den Hund klettern.'] Label: [['Und der Hahn fliegt auf den Rücken von der Katze.\nDie Katze klettert auf den Rücken vom Hund.\nDer Hund springt auf den Rücken vom Esel.\nDer Esel stellt sich vor das Fenster.']] Sacrebleu: {'score': 7.232399348650901, 'counts': [21, 7, 1, 0], 'totals': [42, 41, 40, 39], 'precisions': [50.0, 17.073170731707318, 2.5, 1.2820512820512822], 'bp': 1.0, 'sys_len': 42, 'ref_len': 37} Bleu: {'bleu': 0.0, 'precisions': [0.5, 0.17073170731707318, 0.025, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.135135135135135, 'translation_length': 42, 'reference_length': 37} Rouge: {'rouge1': 0.5974025974025975, 'rouge2': 0.24, 'rougeL': 0.28571428571428575, 'rougeLsum': 0.5454545454545454} Sari: {'sari': 40.784372940918075} Flesh Reading Ease: 79.1 ---------------------------------------- Source: ['Da ratschlagten die Tiere wie sie es anfangen müßten, um die Räuber hinauszujagen und fanden endlich ein Mittel.'] Prediction: ['Räuber fanden in den vergangenen Tagen ein Mittel.\nDie Tiere ratschlagten die Tiere wie sie es anfangen müßten, um die Räuber hinauszujagen.\nDie Tiere fanden endlich ein Mittel.'] Label: [['Dann haben die Tiere eine Idee: Die Tiere überlegen.']] Sacrebleu: {'score': 3.4691235891273147, 'counts': [5, 2, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [15.625, 6.451612903225806, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.15625, 0.06451612903225806, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.909090909090909, 'translation_length': 32, 'reference_length': 11} Rouge: {'rouge1': 0.19999999999999998, 'rouge2': 0.10526315789473685, 'rougeL': 0.19999999999999998, 'rougeLsum': 0.19999999999999998} Sari: {'sari': 36.81372549019608} Flesh Reading Ease: 65.4 ---------------------------------------- Source: ['»Ja, ja, ach, wären wir da!« sagte der Esel.'] Prediction: ['Ein Esel hat einen ähnlichen Vorfall.\nDer Mann war mit seinem ähnlichen Vorfall aufgefunden.'] Label: [['Der Esel stimmt zu.']] Sacrebleu: {'score': 3.21858262703621, 'counts': [3, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2, 'translation_length': 16, 'reference_length': 5} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.0, 'rougeL': 0.11111111111111112, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 57.73809523809524} Flesh Reading Ease: 73.55 ---------------------------------------- Source: ['»Das wäre was für uns,« sprach der Hahn.'] Prediction: ['Immer mehr Freunde wäre für die Schweizerin.\nDer Hahn sprach von einem ähnlichen Aufgebot.'] Label: [['Wir wollen auch an dem Tisch sitzen.\nDer Hahn sagt zum Esel:']] Sacrebleu: {'score': 9.103526405546068, 'counts': [3, 2, 1, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 13.333333333333334, 7.142857142857143, 3.8461538461538463], 'bp': 1.0, 'sys_len': 16, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.13333333333333333, 0.07142857142857142, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 16, 'reference_length': 14} Rouge: {'rouge1': 0.14285714285714288, 'rouge2': 0.07692307692307691, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.14285714285714288} Sari: {'sari': 65.17094017094017} Flesh Reading Ease: 73.55 ---------------------------------------- Source: ["»Was ich sehe?« antwortete der Esel, »einen gedeckten Tisch mit schönem Essen und Trinken, und Räuber sitzen daran und lassen's sich wohl sein.«"] Prediction: ["Der Esel ist ein gedeckter Tisch mit schönem Essen und Trinken.\nDer Räuber sitzen daran und lassen's sich wohl sein."] Label: [['Die Räuber essen und trinken.\nAn dem Tisch sitzen Räuber.\nDer Esel antwortet: Ich sehe einen großen Tisch.']] Sacrebleu: {'score': 5.809665204409192, 'counts': [8, 2, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [36.36363636363637, 9.523809523809524, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.36363636363636365, 0.09523809523809523, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 22, 'reference_length': 22} Rouge: {'rouge1': 0.4090909090909091, 'rouge2': 0.1904761904761905, 'rougeL': 0.22727272727272724, 'rougeLsum': 0.3636363636363636} Sari: {'sari': 42.33202258519863} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['»Was siehst du, Grauschimmel?« fragte der Hahn.'] Prediction: ['Der Schweizer Grauschimmel ist in den letzten Tagen gestartet.\nIm Interview mit dem 20-Minuten-Radio-Host Andrea spricht über die Welt und die Schweizerin.'] Label: [['Was siehst du?\nDer Hahn fragt den Esel:']] Sacrebleu: {'score': 1.7179060012299232, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6, 'translation_length': 26, 'reference_length': 10} Rouge: {'rouge1': 0.12121212121212122, 'rouge2': 0.0, 'rougeL': 0.12121212121212122, 'rougeLsum': 0.12121212121212122} Sari: {'sari': 46.891025641025635} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Der Esel, als der größte, näherte sich dem Fenster und schaute hinein.'] Prediction: ['Der Esel näherte sich dem Fenster und schaute hinein.\nDer Esel näherte sich dem Fenster und schaute hinein.'] Label: [['Und der Esel schaut durch ein Fenster in das Haus.']] Sacrebleu: {'score': 2.5197593442434796, 'counts': [3, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [15.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8181818181818181, 'translation_length': 20, 'reference_length': 11} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.07142857142857142, 'rougeL': 0.26666666666666666, 'rougeLsum': 0.2} Sari: {'sari': 40.357598978288635} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Also machten sie sich auf den Weg nach der Gegend, wo das Licht war, und sahen es bald heller schimmern, und es ward immer größer, bis sie vor ein hell erleuchtetes Räuberhaus kamen.'] Prediction: ['Eine der besten jungen Frauen ist auf der Weg nach der Gegend, wo sie sich auf den Weg nach der Gegend schimmern.\nSie sahen es bald heller schimmern, bis sie vor ein hell erleuchtetes Räuberhaus kamen.\nDie Frau war so viel, dass sie sich bald heller schimmern konnten.'] Label: [['Die Tiere kommen zu dem Haus.\nDas Licht wird immer heller.\nDie Tiere folgen dem Licht.\nDie Tiere machen sich auf den Weg zum Haus.']] Sacrebleu: {'score': 5.549736159983157, 'counts': [9, 4, 2, 1], 'totals': [54, 53, 52, 51], 'precisions': [16.666666666666668, 7.547169811320755, 3.8461538461538463, 1.9607843137254901], 'bp': 1.0, 'sys_len': 54, 'ref_len': 29} Bleu: {'bleu': 0.055497361599831575, 'precisions': [0.16666666666666666, 0.07547169811320754, 0.038461538461538464, 0.0196078431372549], 'brevity_penalty': 1.0, 'length_ratio': 1.8620689655172413, 'translation_length': 54, 'reference_length': 29} Rouge: {'rouge1': 0.16216216216216214, 'rouge2': 0.08333333333333333, 'rougeL': 0.10810810810810809, 'rougeLsum': 0.16216216216216214} Sari: {'sari': 38.687978687978685} Flesh Reading Ease: 82.1 ---------------------------------------- Source: ['Ehe er einschlief, sah er sich noch einmal nach allen vier Winden um, da däuchte ihn, er sähe in der Ferne ein Fünkchen brennen und rief seinen Gesellen zu, es müßte nicht gar weit ein Haus sein, denn es scheine ein Licht.'] Prediction: ['Ein Fünkchen rief in der Ferne einen Haus.\nEhe er einschlief, sah er sich noch einmal nach allen vier Winden um, da däuchte ihn, er sähe in der Ferne ein Fünkchen brennen und rief seinen Gesellen zu.'] Label: [['Lasst uns zu dem Haus gehen.\nIch kann ein Haus sehen.\nDer Hahn sagt zu den anderen Tieren: Das Licht kommt von einem Haus.\nDer Hahn denkt: In der Nähe sieht der Hahn ein helles Licht brennen.\nDann schaut sich der Hahn um:']] Sacrebleu: {'score': 2.158814410621595, 'counts': [10, 1, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [23.80952380952381, 2.4390243902439024, 1.25, 0.6410256410256411], 'bp': 0.8265654376242381, 'sys_len': 42, 'ref_len': 50} Bleu: {'bleu': 0.0, 'precisions': [0.23809523809523808, 0.024390243902439025, 0.0, 0.0], 'brevity_penalty': 0.8265654376242381, 'length_ratio': 0.84, 'translation_length': 42, 'reference_length': 50} Rouge: {'rouge1': 0.25882352941176473, 'rouge2': 0.024096385542168672, 'rougeL': 0.16470588235294117, 'rougeLsum': 0.21176470588235297} Sari: {'sari': 35.895130819472925} Flesh Reading Ease: 79.6 ---------------------------------------- Source: ['Der Esel und der Hund legten sich unter einen großen Baum, die Katze und der Hahn machten sich in die Äste, der Hahn aber flog bis in die Spitze, wo es am sichersten für ihn war.'] Prediction: ['Ein Hahn flog bis in die Spitze.\nDer Esel und der Hund legten sich unter einen großen Baum.\nDer Hahn flog bis in die Spitze.'] Label: [['Der Hahn fliegt bis auf die Spitze vom Baum.\nUnd legt sich auf einen Ast.\nDie Katze klettert auf den Baum.\nDer Esel und der Hund legen sich unter einen großen Baum.']] Sacrebleu: {'score': 29.496395784017444, 'counts': [18, 12, 9, 6], 'totals': [28, 27, 26, 25], 'precisions': [64.28571428571429, 44.44444444444444, 34.61538461538461, 24.0], 'bp': 0.7514772930752859, 'sys_len': 28, 'ref_len': 36} Bleu: {'bleu': 0.29496395784017454, 'precisions': [0.6428571428571429, 0.4444444444444444, 0.34615384615384615, 0.24], 'brevity_penalty': 0.751477293075286, 'length_ratio': 0.7777777777777778, 'translation_length': 28, 'reference_length': 36} Rouge: {'rouge1': 0.576271186440678, 'rouge2': 0.42105263157894735, 'rougeL': 0.5084745762711863, 'rougeLsum': 0.576271186440678} Sari: {'sari': 56.631755487186055} Flesh Reading Ease: 101.5 ---------------------------------------- Source: ['Sie konnten aber die Stadt Bremen in einem Tage nicht erreichen und kamen abends in einen Wald, wo sie übernachten wollten.'] Prediction: ['Eine Frau wurde in Bremen übernachten und konnte über ihren Wald übernachten.\nSie konnte aber nicht erreichen.\nSie konnte aber in einen Wald übernachten wollen.'] Label: [['Die Tiere wollen im Wald schlafen.\nDie Tiere sind sehr müde.\nDie Tiere kommen in einen Wald.\nLangsam wird es dunkel.\nDie Tiere gehen den ganzen Tag.\nAber der Weg nach Bremen ist sehr weit:']] Sacrebleu: {'score': 4.112113711186305, 'counts': [9, 2, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [32.142857142857146, 7.407407407407407, 3.8461538461538463, 2.0], 'bp': 0.6285839333986253, 'sys_len': 28, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.32142857142857145, 0.07407407407407407, 0.038461538461538464, 0.0], 'brevity_penalty': 0.6285839333986253, 'length_ratio': 0.6829268292682927, 'translation_length': 28, 'reference_length': 41} Rouge: {'rouge1': 0.22950819672131148, 'rouge2': 0.06779661016949153, 'rougeL': 0.13114754098360656, 'rougeLsum': 0.22950819672131148} Sari: {'sari': 61.671203871748325} Flesh Reading Ease: 78.1 ---------------------------------------- Source: ['« Der Hahn ließ sich den Vorschlag gefallen, und sie gingen alle viere zusammen fort.'] Prediction: ['Ein Mann aus dem Hahn ging alle viere zusammen.\nDie Polizei hatte den Vorschlag gefallen.'] Label: [['• Und der Hahn.\n• Die Katze.\n• Der Hund.\n• Der Esel.\nZusammen gehen die 4 Tiere nach Bremen: Und auch der Hahn kommt gerne mit.']] Sacrebleu: {'score': 1.261900774693035, 'counts': [4, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [23.529411764705884, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.39016854342397683, 'sys_len': 17, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.0, 0.0, 0.0], 'brevity_penalty': 0.39016854342397683, 'length_ratio': 0.5151515151515151, 'translation_length': 17, 'reference_length': 33} Rouge: {'rouge1': 0.15789473684210528, 'rouge2': 0.0, 'rougeL': 0.15789473684210528, 'rougeLsum': 0.15789473684210528} Sari: {'sari': 43.69116189768364} Flesh Reading Ease: 73.05 ---------------------------------------- Source: ['»Ei was, du Rotkopf,« sagte der Esel, »zieh lieber mit uns fort, wir gehen nach Bremen, etwas Besseres als den Tod findest du überall;'] Prediction: ['Der Rotkopf ist nach Bremen mit seinem Besseres überall.\nDer Esel ist nach Bremen mit seinem Besseres überall.'] Label: [['Willst du mitkommen?\nIn Bremen werden wir Stadt∙musikanten.\nWir gehen nach Bremen.\nDer Esel sagt zum Hahn.']] Sacrebleu: {'score': 9.272702895917078, 'counts': [7, 3, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 15.789473684210526, 5.555555555555555, 2.9411764705882355], 'bp': 0.951229424500714, 'sys_len': 20, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.35, 0.15789473684210525, 0.05555555555555555, 0.0], 'brevity_penalty': 0.951229424500714, 'length_ratio': 0.9523809523809523, 'translation_length': 20, 'reference_length': 21} Rouge: {'rouge1': 0.2777777777777778, 'rouge2': 0.11764705882352941, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2777777777777778} Sari: {'sari': 43.20614570614571} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Nun schrei ich aus vollem Hals, solange ich noch kann.«'] Prediction: ['Einige Tage nach dem Interview mit 20 Minuten spricht über die Welt und ihre Welt.\nDie beiden werden von ihrer Karriere noch nicht gesprochen.'] Label: [['Deshalb schreie ich so laut.\nAber ich will nicht sterben.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1666666666666665, 'translation_length': 26, 'reference_length': 12} Rouge: {'rouge1': 0.058823529411764705, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.058823529411764705} Sari: {'sari': 61.4080459770115} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['aber weil morgen zum Sonntag Gäste kommen, so hat die Hausfrau doch kein Erbarmen, und hat der Köchin gesagt, sie wollte mich morgen in der Suppe essen, und da soll ich mir heute abend den Kopf abschneiden lassen.'] Prediction: ['Eine Hausfrau wollte morgen in der Suppe essen.\nDiese wollte ihr heute abend den Kopf abschneiden lassen.\nAber weil morgen zum Sonntag Gäste kommen, hat die Hausfrau doch kein Erbarmen.'] Label: [['Und essen.\nDann will mich meine Herrin braten.\nDer Hahn antwortet: Morgen ist ein großes Fest.']] Sacrebleu: {'score': 2.5889065173943995, 'counts': [4, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [11.764705882352942, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7, 'translation_length': 34, 'reference_length': 20} Rouge: {'rouge1': 0.125, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.125} Sari: {'sari': 34.15299145299145} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['»Du schreist einem durch Mark und Bein,« sprach der Esel »was hast du vor?«'] Prediction: ['Im Interview mit 20 Minuten spricht der Schweizer über die Schweizerin über ihre Ehefrau.\nIm Interview spricht der 39-Jährige über ihre Ehefrau und ihre Ehefrau.\nIm Interview spricht er über ihre Ehefrau und ihre Ehefrauen.'] Label: [['Warum schreist du so laut?\nDer Esel fragt den Hahn:']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 40, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3333333333333335, 'translation_length': 40, 'reference_length': 12} Rouge: {'rouge1': 0.0425531914893617, 'rouge2': 0.0, 'rougeL': 0.0425531914893617, 'rougeLsum': 0.0425531914893617} Sari: {'sari': 49.668534080298784} Flesh Reading Ease: 68.85 ---------------------------------------- Source: ['Darauf kamen die drei Landesflüchtigen an einem Hof vorbei, da saß auf dem Thor der Haushahn und schrie aus Leibeskräften.'] Prediction: ['Drei Landesflüchtige kamen an einem Hof vorbei.\nSie waren auf dem Thor der Haushahn und schrie aus Leibeskräften.'] Label: [['Der Hahn schreit sehr laut.\nAuf dem Bauern∙hof treffen die Tiere einen Hahn.\nAuf ihrem Weg kommen die Tiere zu einem Bauern∙hof.\nUnd so gehen der Esel und der Hund und die Katze zusammen nach Bremen.']] Sacrebleu: {'score': 1.1023565359915672, 'counts': [6, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [30.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 0.36787944117144233, 'sys_len': 20, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.3, 0.0, 0.0, 0.0], 'brevity_penalty': 0.36787944117144233, 'length_ratio': 0.5, 'translation_length': 20, 'reference_length': 40} Rouge: {'rouge1': 0.20689655172413793, 'rouge2': 0.03571428571428572, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 37.574321813452244} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['« Die Katze hielt das für gut und ging mit.'] Prediction: ['Am 19.\nApril ist die Katze von Katzen.\nSie war das erste Mal.'] Label: [['Die Katze kommt gerne mit.']] Sacrebleu: {'score': 2.908317710573757, 'counts': [2, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [12.5, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 16, 'reference_length': 6} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.125, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 59.68915343915344} Flesh Reading Ease: 103.3 ---------------------------------------- Source: ['»Geh mit uns nach Bremen, du verstehst dich doch auf die Nachtmusik, da kannst du ein Stadtmusikant werden.'] Prediction: ['Der Bremner Stadtmusiker ist mit 20 Jahren gestorben.\nEr hatte sich in der Nacht auf Bremen aufgestellt.\nNun verstehst er doch auf die Nachtmusik.'] Label: [['Willst du mitkommen?\nIn Bremen werden wir Stadt∙musikanten.\nWir gehen nach Bremen.\nDer Esel sagt zur Katze:']] Sacrebleu: {'score': 1.962672844874697, 'counts': [4, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [14.814814814814815, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.14814814814814814, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2857142857142858, 'translation_length': 27, 'reference_length': 21} Rouge: {'rouge1': 0.14285714285714288, 'rouge2': 0.0, 'rougeL': 0.09523809523809525, 'rougeLsum': 0.14285714285714288} Sari: {'sari': 34.747868326299695} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ["»Wer kann da lustig sein, wenn's einem an den Kragen geht,« antwortete die Katze, »weil ich nun zu Jahren komme, meine Zähne stumpf werden, und ich lieber hinter dem Ofen sitze und spinne, als nach Mäusen herumjage, hat mich meine Frau ersäufen wollen;"] Prediction: ['Katze ist eine Frau, die sich nun zu Jahren stumpf werden kann.\nSie hat ihr eine Zähne stumpf.\nDie Katze hat ihr eigentlich lustig sein, wenn sie sich lustig sein kann.'] Label: [['Deshalb will mein Herr mich töten.\nIch kann keine Mäuse mehr jagen.\nUnd ich bin schwach.\nDie Katze sagt: Ich bin alt.']] Sacrebleu: {'score': 4.5388618272891605, 'counts': [6, 2, 1, 0], 'totals': [36, 35, 34, 33], 'precisions': [16.666666666666668, 5.714285714285714, 2.9411764705882355, 1.5151515151515151], 'bp': 1.0, 'sys_len': 36, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.05714285714285714, 0.029411764705882353, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 36, 'reference_length': 27} Rouge: {'rouge1': 0.10714285714285714, 'rouge2': 0.037037037037037035, 'rougeL': 0.10714285714285714, 'rougeLsum': 0.10714285714285714} Sari: {'sari': 46.379890079832876} Flesh Reading Ease: 87.8 ---------------------------------------- Source: ['»Nun, was ist dir in die Quere gekommen, alter Bartputzer?« sprach der Esel.'] Prediction: ['In der Nacht auf Sonntag wurde ein Serien-Bartputzer in der Schweiz gefunden.\nDer Grund: Er ist ein französischer Bartputzer.\nDie Frau ist in der Quere gekommen.'] Label: [['Warum bist du so traurig?\nDer Esel fragt die Katze:']] Sacrebleu: {'score': 1.4763939041893883, 'counts': [2, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [6.666666666666667, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 30, 'reference_length': 12} Rouge: {'rouge1': 0.10526315789473682, 'rouge2': 0.0, 'rougeL': 0.10526315789473682, 'rougeLsum': 0.05263157894736841} Sari: {'sari': 51.198743386243386} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['Es dauerte nicht lange, so saß da eine Katze an dem Wege und machte ein Gesicht wie drei Tage Regenwetter.'] Prediction: ['Eine Katze wurde in den vergangenen Tagen Regenwetter gefunden.\nSie war dabei, dass sie sich auf dem Wege verlassen hatte.\nDie Katze war dabei nicht lange.'] Label: [['Die Katze sieht sehr traurig aus.\nAuf ihrem Weg treffen der Esel und der Hund eine Katze.']] Sacrebleu: {'score': 3.1221929756173616, 'counts': [5, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5789473684210527, 'translation_length': 30, 'reference_length': 19} Rouge: {'rouge1': 0.23255813953488372, 'rouge2': 0.09756097560975609, 'rougeL': 0.13953488372093026, 'rougeLsum': 0.23255813953488372} Sari: {'sari': 59.00318816985484} Flesh Reading Ease: 66.0 ---------------------------------------- Source: ["« Der Hund war's zufrieden, und sie gingen weiter."] Prediction: ["Ein Hund war's zufrieden, und sie gingen weiter.\nDie Welt endete mit einem ähnlichen Aufenthalt."] Label: [['Und so gehen der Esel und der Hund zusammen nach Bremen.']] Sacrebleu: {'score': 2.8265205879007453, 'counts': [3, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [16.666666666666668, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 18, 'reference_length': 12} Rouge: {'rouge1': 0.14814814814814814, 'rouge2': 0.0, 'rougeL': 0.07407407407407407, 'rougeLsum': 0.07407407407407407} Sari: {'sari': 28.84615384615385} Flesh Reading Ease: 73.05 ---------------------------------------- Source: ['»Weißt du was,« sprach der Esel, »ich gehe nach Bremen und werde dort Stadtmusikant, geh mit und laß dich auch bei der Musik annehmen.'] Prediction: ['In Bremen ist ein Stadtmusikant aufgefunden.\nDie Schweizer Musikerin hatte sich mit dem Stadtmusikant entlassen.\nDie Schweizerin hatte sich mit dem Stadtmusikant entlassen.'] Label: [['Willst du mitkommen?\nIn Bremen werde ich Stadt∙musikant.\nIch gehe nach Bremen.\nDer Esel sagt zum Hund.']] Sacrebleu: {'score': 3.632928877985223, 'counts': [5, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [19.23076923076923, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.19230769230769232, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2380952380952381, 'translation_length': 26, 'reference_length': 21} Rouge: {'rouge1': 0.0975609756097561, 'rouge2': 0.05128205128205128, 'rougeL': 0.0975609756097561, 'rougeLsum': 0.0975609756097561} Sari: {'sari': 42.33024691358025} Flesh Reading Ease: 49.45 ---------------------------------------- Source: ['auch auf der Jagd nicht mehr fort kann, hat mich mein Herr wollen totschlagen, da hab ich Reißaus genommen;'] Prediction: ['Einige Tage nach der Jagd wurden in der Nähe des Kantons Bern aufgefunden.\nSie wollen totschlagen, da hab ich Reißaus genommen.'] Label: [['Deshalb bin ich fortgelaufen.\nMein Herr wollte mich töten.\nIch kann meinem Herrn nicht mehr beim Jagen helfen.']] Sacrebleu: {'score': 2.0705706652424007, 'counts': [3, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [12.5, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 24, 'reference_length': 21} Rouge: {'rouge1': 0.04761904761904762, 'rouge2': 0.0, 'rougeL': 0.04761904761904762, 'rougeLsum': 0.04761904761904762} Sari: {'sari': 29.58964522263755} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['»Ach,« sagte der Hund, »weil ich alt bin und jeden Tag schwächer werde,'] Prediction: ['Der Hund, der immer wieder schwächer wird, ist immer noch nicht mehr gefragt.\nDer Hund warnt vor einem Jahr, dass er sich schwächer werde.'] Label: [['Und ich bin schwach.\nDer Hund antwortet: Ich bin alt.']] Sacrebleu: {'score': 5.146852383843665, 'counts': [4, 2, 1, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 7.142857142857143, 3.7037037037037037, 1.9230769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.07142857142857142, 0.037037037037037035, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.230769230769231, 'translation_length': 29, 'reference_length': 13} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.058823529411764705, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 47.30428289251819} Flesh Reading Ease: 91.95 ---------------------------------------- Source: ['»Nun, was jappst du so, Packan?« fragte der Esel.'] Prediction: ['Im Interview mit 20 Minuten mit dem "Unchained" spricht der Schweizer über die Schweizerin über ihre Geschichte.\nDie beiden waren über die Schweizerin und der Schweizerin.'] Label: [['Warum bist du so traurig?\nDer Esel fragt den Hund:']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 30, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 30, 'reference_length': 12} Rouge: {'rouge1': 0.05555555555555555, 'rouge2': 0.0, 'rougeL': 0.05555555555555555, 'rougeLsum': 0.05555555555555555} Sari: {'sari': 48.068598068598064} Flesh Reading Ease: 67.55 ---------------------------------------- Source: ['Als er ein Weilchen fortgegangen war, fand er einen Jagdhund auf dem Wege liegen, der jappte wie einer, der sich müde gelaufen hat.'] Prediction: ['Ein Jagdhund aus dem Wege wurde in der Nähe des Landes von einem Weilchen fortgegangen.\nEr fand einen Jagdhund auf dem Wege liegen, der sich müde gelaufen hat.'] Label: [['Der Hund sieht sehr traurig aus.\nNach einer Weile trifft der Esel einen Hund.']] Sacrebleu: {'score': 1.793443763338368, 'counts': [5, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [16.129032258064516, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.16129032258064516, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9375, 'translation_length': 31, 'reference_length': 16} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.0, 'rougeL': 0.13636363636363638, 'rougeLsum': 0.09090909090909091} Sari: {'sari': 35.422099874432526} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ['Da dachte der Herr daran, ihn aus dem Futter zu schaffen, aber der Esel merkte, daß kein guter Wind wehte, lief fort und machte sich auf den Weg nach Bremen: dort, meinte er, könnte er ja Stadtmusikant werden.'] Prediction: ['Ein Esel hatte in Bremen einen Stadtmusikant entdeckt.\nDer Herr merkte, der Esel merkte, daß kein guter Wind wehte, lief fort.\nDer Herr könnte ja Stadtmusikant werden.'] Label: [['So läuft der Esel fort.\nIn Bremen will der Esel ein Stadt∙musikant werden.\nDer Esel will nach Bremen gehen.\nDeshalb will der Esel fortlaufen.\nDas merkt der Esel.\nDeshalb will der Mann den Esel töten.\nAber der Mann möchte keinen alten und schwachen Esel.']] Sacrebleu: {'score': 2.7530740012993182, 'counts': [10, 4, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [30.303030303030305, 12.5, 1.6129032258064515, 0.8333333333333334], 'bp': 0.5795782787848095, 'sys_len': 33, 'ref_len': 51} Bleu: {'bleu': 0.0, 'precisions': [0.30303030303030304, 0.125, 0.0, 0.0], 'brevity_penalty': 0.5795782787848095, 'length_ratio': 0.6470588235294118, 'translation_length': 33, 'reference_length': 51} Rouge: {'rouge1': 0.2631578947368421, 'rouge2': 0.05405405405405405, 'rougeL': 0.18421052631578946, 'rougeLsum': 0.23684210526315794} Sari: {'sari': 39.17799707602339} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Es hatte ein Mann einen Esel, der schon lange Jahre die Säcke unverdrossen zur Mühle getragen hatte, dessen Kräfte aber nun zu Ende gingen, sodaß er zur Arbeit immer untauglicher ward.'] Prediction: ['Ein Mann hatte einen Esel, der schon lange Jahre die Säcke unverdrossen zur Mühle getragen hatte, die Kräfte aber zu Ende gingen.\nDer Esel war zu Ende gingen, sodass er sich immer untauglicher ward gewesen hatte.'] Label: [['Und schwach.\nMit den Jahren wird der Esel alt.\nDer Esel trägt viele Jahre lang Getreide∙säcke zur Mühle.\nDer Mann hat auch einen Esel.\nEin Mann hat eine Mühle.']] Sacrebleu: {'score': 5.9273053487055645, 'counts': [12, 5, 1, 0], 'totals': [41, 40, 39, 38], 'precisions': [29.26829268292683, 12.5, 2.5641025641025643, 1.3157894736842106], 'bp': 1.0, 'sys_len': 41, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.2926829268292683, 0.125, 0.02564102564102564, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2058823529411764, 'translation_length': 41, 'reference_length': 34} Rouge: {'rouge1': 0.35616438356164387, 'rouge2': 0.16901408450704225, 'rougeL': 0.273972602739726, 'rougeLsum': 0.35616438356164387} Sari: {'sari': 39.39732783725032} Flesh Reading Ease: 62.55 ---------------------------------------- Source: ['und also bekam des Teufels rußiger Bruder die Königstochter, und als der alte König gestorben war, auch das ganze Reich.'] Prediction: ['Der Schweizer König hat seinen Königstochter entdeckt.\nDer Schweizer hat seinen Königstochter als der alte König gestorben.\nDas ganze Reich bekam von der Schweiz zu einem rußigen Bruder.'] Label: [['Hans ist jetzt der neue König.\nHans wird sein Nachfolger.\nNach einigen Jahren stirbt der König.\nUnd Hans heiratet die jüngste Tochter vom König.']] Sacrebleu: {'score': 1.9508315563589549, 'counts': [7, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [22.580645161290324, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.22580645161290322, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1071428571428572, 'translation_length': 31, 'reference_length': 28} Rouge: {'rouge1': 0.22950819672131145, 'rouge2': 0.06779661016949153, 'rougeL': 0.22950819672131145, 'rougeLsum': 0.22950819672131145} Sari: {'sari': 34.88562091503268} Flesh Reading Ease: 65.4 ---------------------------------------- Source: ["« Da gab ihm der König die jüngste, die wollt's ihrem Vater zuliebe gern thun;"] Prediction: ['Ein König hat seinen Vater zuliebe gern thun.\nDer Vater wollte ihn zuliebe gern thun.'] Label: [['Die jüngste Tochter vom König stimmt zu.\nDann kannst du meine jüngste Tochter heiraten.']] Sacrebleu: {'score': 3.0098043843528286, 'counts': [3, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [17.647058823529413, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0625, 'translation_length': 17, 'reference_length': 16} Rouge: {'rouge1': 0.12121212121212122, 'rouge2': 0.06451612903225808, 'rougeL': 0.12121212121212122, 'rougeLsum': 0.12121212121212122} Sari: {'sari': 34.33582621082621} Flesh Reading Ease: 78.9 ---------------------------------------- Source: ['Als die aber hörte, daß sie so einen gemeinen Kerl im weißen Kittel heiraten sollte, sprach sie: »Ehe ich das thät, wollt ich lieber ins tiefste Wasser gehen.'] Prediction: ['Eine Frau, die so einen gemeinen Kerl im weißen Kittel heiraten sollte, sprach von ihrem Wasser.\nAls sie so einen gemeinen Kerl im weißen Kittel heiraten sollte, wollte sie lieber ins tiefste Wasser gehen.'] Label: [['Aber die älteste Tochter vom König möchte Hans nicht heiraten.']] Sacrebleu: {'score': 1.2413584734794654, 'counts': [3, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [7.6923076923076925, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5454545454545454, 'translation_length': 39, 'reference_length': 11} Rouge: {'rouge1': 0.08333333333333333, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.08333333333333333} Sari: {'sari': 34.49074074074074} Flesh Reading Ease: 69.4 ---------------------------------------- Source: ['Es war aber ein alter König im Land, vor dem mußte er spielen, und der geriet darüber in solche Freude, daß er dem Hans seine älteste Tochter zur Ehe versprach.'] Prediction: ['Im Herbst war ein junges Paar im Land, vor dem mußte er spielen wollte.\nDer Mann war ein alter König im Land, vor dem Hans seine älteste Tochter zur Ehe versprach.\nDer Mann war ein alter König im Land, vor dem Hans spielen, und geriet darüber in solche Freude.'] Label: [['Du kannst meine älteste Tochter heiraten.\nSo sagt der König zu Hans: Der König mag die Musik von Hans.\nUnd auf seiner Reise macht Hans sogar für den König Musik.\nIm Land gibt es einen König.']] Sacrebleu: {'score': 2.031036500233013, 'counts': [12, 1, 0, 0], 'totals': [56, 55, 54, 53], 'precisions': [21.428571428571427, 1.8181818181818181, 0.9259259259259259, 0.4716981132075472], 'bp': 1.0, 'sys_len': 56, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.01818181818181818, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3658536585365855, 'translation_length': 56, 'reference_length': 41} Rouge: {'rouge1': 0.2765957446808511, 'rouge2': 0.08695652173913043, 'rougeL': 0.19148936170212766, 'rougeLsum': 0.2127659574468085} Sari: {'sari': 36.586105336105334} Flesh Reading Ease: 81.8 ---------------------------------------- Source: ['Hans machte sich auf den Weg heim zu seinem Vater, kaufte sich einen schlechten Linnenkittel auf den Leib, ging herum und machte Musik, denn das hatte er beim Teufel in der Hölle gelernt.'] Prediction: ['Der Musiker Hans (34) hatte am Sonntag seinen Vater auf den Weg geschaut.\nEr machte sich einen schlechten Linnenkittel auf den Leib und ging herum.\nNun hat Hans seinen Vater auf den Weg geschaut.'] Label: [['Auf seiner Reise macht Hans Musik.\nUnd reist durch das Land.\nHans kauft sich ein Hemd für wenig Geld.']] Sacrebleu: {'score': 1.476232328930697, 'counts': [6, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [15.384615384615385, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7727272727272727, 'translation_length': 39, 'reference_length': 22} Rouge: {'rouge1': 0.18518518518518517, 'rouge2': 0.0, 'rougeL': 0.11111111111111112, 'rougeLsum': 0.14814814814814817} Sari: {'sari': 34.75308641975308} Flesh Reading Ease: 80.95 ---------------------------------------- Source: ['und Hans war nun ein reicher Mann.'] Prediction: ['Im Alter von 99 Jahren ist ein Mann auf dem Alter von 99 Jahren gestorben.\nEr war ein reicher Mann.\nNun wurde er von einem reichen Mann verletzt.'] Label: [['Jetzt ist Hans reich.']] Sacrebleu: {'score': 1.4262733286728257, 'counts': [2, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [6.451612903225806, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.06451612903225806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.2, 'translation_length': 31, 'reference_length': 5} Rouge: {'rouge1': 0.0625, 'rouge2': 0.0, 'rougeL': 0.0625, 'rougeLsum': 0.0625} Sari: {'sari': 32.23039215686275} Flesh Reading Ease: 88.8 ---------------------------------------- Source: ['« Da gab ihm der Wirt das Gold und noch mehr dazu, und bat ihn nur still davon zu sein;'] Prediction: ['Ein Wirt hat ihn das Gold und noch mehr dazu.\nImmer wieder gab ihn nur still davon zu sein.'] Label: [['So große Angst hat der Wirt.\nDer Wirt gibt Hans sogar noch mehr Gold dazu.\nUnd der Wirt gibt Hans das Gold zurück.\nDer Wirt hat Angst.']] Sacrebleu: {'score': 4.647050405370801, 'counts': [9, 4, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [42.857142857142854, 20.0, 2.6315789473684212, 1.3888888888888888], 'bp': 0.6211451576154515, 'sys_len': 21, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.42857142857142855, 0.2, 0.0, 0.0], 'brevity_penalty': 0.6211451576154515, 'length_ratio': 0.6774193548387096, 'translation_length': 21, 'reference_length': 31} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.13043478260869565, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.2916666666666667} Sari: {'sari': 41.81577830771379} Flesh Reading Ease: 100.3 ---------------------------------------- Source: ["»Du hast mein Gold gestohlen, giebst du's nicht wieder, so kommst du in die Hölle an meinen Platz, und sollst aussehen so greulich wie ich. « Hans ging hinauf und sprach zum Wirt:"] Prediction: ['Der Schweizer Hans und Andrea Müller sind ein Paar.\nDer Wirt von Hans und Andrea ist auf dem Platz.\nHans ging hinauf und sprach zum Wirt:'] Label: [['Und du wirst so schrecklich aussehen wie ich ausgesehen habe.\nSonst holt dich der Teufel.\nGib mir mein Gold zurück.\nUnd sagt: Du hast mein Gold gestohlen.\nHans geht in die Stadt zu dem Wirt.']] Sacrebleu: {'score': 2.239154027816993, 'counts': [6, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [20.689655172413794, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 0.6611377242318554, 'sys_len': 29, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.20689655172413793, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 0.6611377242318552, 'length_ratio': 0.7073170731707317, 'translation_length': 29, 'reference_length': 41} Rouge: {'rouge1': 0.1904761904761905, 'rouge2': 0.0, 'rougeL': 0.15873015873015875, 'rougeLsum': 0.1904761904761905} Sari: {'sari': 32.418495239127964} Flesh Reading Ease: 101.1 ---------------------------------------- Source: ['»Geh hin und sage dem Wirt, er sollte dir dein Gold wieder herausgeben, sonst wollt ich kommen und ihn abholen, und er sollte an deinem Platz das Feuer schüren.'] Prediction: ['Ein Mann sollte dein Gold wieder herausgeben, sonst wollt ich kommen und ihn abholen.\nDer Wirt sollte das Feuer schüren.'] Label: [['Und hole mir den Wirt.\nSonst komme ich.\nDer Wirt soll dir dein Gold zurück·geben.\nDann sagt der Teufel: Geh zu dem Wirt vom Gasthaus.']] Sacrebleu: {'score': 6.184018661891022, 'counts': [7, 3, 1, 0], 'totals': [23, 22, 21, 20], 'precisions': [30.434782608695652, 13.636363636363637, 4.761904761904762, 2.5], 'bp': 0.7376042638218265, 'sys_len': 23, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.30434782608695654, 0.13636363636363635, 0.047619047619047616, 0.0], 'brevity_penalty': 0.7376042638218265, 'length_ratio': 0.7666666666666667, 'translation_length': 23, 'reference_length': 30} Rouge: {'rouge1': 0.2916666666666667, 'rouge2': 0.08695652173913043, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.2916666666666667} Sari: {'sari': 37.69106614823849} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Der Teufel sagte: »Setze dich, ich will dich waschen, kämmen, schnippen, die Haare und Nägel schneiden und die Augen auswischen,« und als er mit ihm fertig war, gab er ihm den Ranzen wieder voll Kehrdreck und sprach:'] Prediction: ['Ein Teufel gab ihm den Ranzen wieder voll Kehrdreck und sprach: Es ist der erste Teufel seit Beginn der Woche.\nDer 20-Jährige gab ihm den Ranzen wieder voll Kehrdreck und sprach:'] Label: [['Der Teufel gibt Hans wieder einen Rucksack mit Dreck.\nUnd der Teufel wischt Hans die Augen aus.\nUnd der Teufel putzt Hans die Nase.\nUnd die Nägel.\nUnd der Teufel schneidet Hans die Haare.\nUnd der Teufel kämmt Hans.\nDer Teufel wäscht Hans.']] Sacrebleu: {'score': 1.901160857885746, 'counts': [7, 1, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [19.444444444444443, 2.857142857142857, 1.4705882352941178, 0.7575757575757576], 'bp': 0.6778095780054504, 'sys_len': 36, 'ref_len': 50} Bleu: {'bleu': 0.0, 'precisions': [0.19444444444444445, 0.02857142857142857, 0.0, 0.0], 'brevity_penalty': 0.6778095780054504, 'length_ratio': 0.72, 'translation_length': 36, 'reference_length': 50} Rouge: {'rouge1': 0.20253164556962025, 'rouge2': 0.0, 'rougeL': 0.20253164556962025, 'rougeLsum': 0.20253164556962025} Sari: {'sari': 34.1775623025623} Flesh Reading Ease: 76.75 ---------------------------------------- Source: ['Er faßte sich aber kurz, dachte: »Du bist ohne Schuld unglücklich gewesen,« und kehrte wieder um, geradezu in die Hölle, da klagte er dem alten Teufel seine Not und bat ihn um Hilfe.'] Prediction: ['Ein alten Teufel klagte seine Not.\nDer alten Teufel bat ihn um Hilfe.'] Label: [['Kannst du mir helfen?\nDer Wirt vom Gasthaus hat meinen Rucksack mit dem Gold gestohlen.\nHans sagt zum Teufel: Also geht Hans wieder zum Teufel.\nHans ist traurig.']] Sacrebleu: {'score': 1.1836087198749308, 'counts': [5, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [33.333333333333336, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.301194211912202, 'sys_len': 15, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.301194211912202, 'length_ratio': 0.45454545454545453, 'translation_length': 15, 'reference_length': 33} Rouge: {'rouge1': 0.14634146341463414, 'rouge2': 0.0, 'rougeL': 0.0975609756097561, 'rougeLsum': 0.0975609756097561} Sari: {'sari': 35.25} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['Wie nun Hans am anderen Morgen aufstand, den Wirt, bezahlen und weitergehen wollte, da war sein Ranzen weg.'] Prediction: ['Im vergangenen Morgen wurde Hans von einem Wirt bezahlen und weitergehen.\nNun wurde er von seinem Ranzen weggegeben.\nDas war sein Ranzen weg.'] Label: [['Aber der Rucksack mit dem Gold ist weg.\nHans will für das Zimmer bezahlen.\nAm Morgen steht Hans auf.']] Sacrebleu: {'score': 3.951744928978941, 'counts': [7, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [26.923076923076923, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.2692307692307692, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1818181818181819, 'translation_length': 26, 'reference_length': 22} Rouge: {'rouge1': 0.23255813953488372, 'rouge2': 0.0, 'rougeL': 0.09302325581395349, 'rougeLsum': 0.23255813953488372} Sari: {'sari': 40.059824434824435} Flesh Reading Ease: 67.0 ---------------------------------------- Source: ['Dem Wirt aber stand der Ranzen voll Gold vor Augen und ließ ihm keine Ruhe, bis er in der Nacht hinschlich und ihn wegstahl.'] Prediction: ['Der Ranzen-Wirt ist seit Beginn der Woche Gold geworden.\nDer Wirt ist ein Jahr alt und liegt keine Ruhe.'] Label: [['Und klaut den Rucksack mit dem Gold.\nDer Wirt geht leise in das Zimmer von Hans.\nEs ist mitten in der Nacht.']] Sacrebleu: {'score': 6.90610063305171, 'counts': [7, 2, 1, 0], 'totals': [21, 20, 19, 18], 'precisions': [33.333333333333336, 10.0, 5.2631578947368425, 2.7777777777777777], 'bp': 0.8265654376242381, 'sys_len': 21, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.1, 0.05263157894736842, 0.0], 'brevity_penalty': 0.8265654376242381, 'length_ratio': 0.84, 'translation_length': 21, 'reference_length': 25} Rouge: {'rouge1': 0.28571428571428564, 'rouge2': 0.05, 'rougeL': 0.1904761904761905, 'rougeLsum': 0.28571428571428564} Sari: {'sari': 46.464424461211124} Flesh Reading Ease: 88.6 ---------------------------------------- Source: ['Da ließ sich Hans die beste Stube geben und köstlich aufwarten, aß und trank sich satt, wusch sich aber nicht und kämmte sich nicht, wie ihm der Teufel geheißen hatte und legte sich endlich schlafen.'] Prediction: ['Im Juni wurde Hans von einem Teufel geheißen.\nHans hatte sich aber nicht und trank sich satt.\nHans kämmte sich aber nicht.'] Label: [['Dann geht Hans schlafen.\nUnd Hans kämmt sich nicht.\nAber Hans wäscht sich nicht.\nUnd trinkt.\nHans isst.\nUnd das beste Essen.\nHans bekommt das beste Zimmer.']] Sacrebleu: {'score': 4.13605553714005, 'counts': [10, 3, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [40.0, 12.5, 2.1739130434782608, 1.1363636363636365], 'bp': 0.697676326071031, 'sys_len': 25, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.4, 0.125, 0.0, 0.0], 'brevity_penalty': 0.6976763260710311, 'length_ratio': 0.7352941176470589, 'translation_length': 25, 'reference_length': 34} Rouge: {'rouge1': 0.37735849056603776, 'rouge2': 0.0784313725490196, 'rougeL': 0.26415094339622647, 'rougeLsum': 0.339622641509434} Sari: {'sari': 36.50763086578234} Flesh Reading Ease: 90.8 ---------------------------------------- Source: ['« Nun wollte der Wirt ihn nicht einlassen, wie er ihm aber das Gold zeigte, ging er und klinkte selber die Thür auf.'] Prediction: ['Ein Wirt hat selber die Thür aufgefunden.\nDer Wirt klinkte selber die Thür auf.'] Label: [['Und lässt Hans sehr gerne in sein Gasthaus.\nDer Wirt staunt.\nDeshalb zeigt Hans dem Wirt das Gold in seinem Rucksack.\nJetzt hat der Wirt Angst.']] Sacrebleu: {'score': 4.51293920960237, 'counts': [6, 2, 1, 0], 'totals': [16, 15, 14, 13], 'precisions': [37.5, 13.333333333333334, 7.142857142857143, 3.8461538461538463], 'bp': 0.4168620196785084, 'sys_len': 16, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.375, 0.13333333333333333, 0.07142857142857142, 0.0], 'brevity_penalty': 0.4168620196785084, 'length_ratio': 0.5333333333333333, 'translation_length': 16, 'reference_length': 30} Rouge: {'rouge1': 0.18604651162790697, 'rouge2': 0.04878048780487805, 'rougeL': 0.18604651162790697, 'rougeLsum': 0.18604651162790697} Sari: {'sari': 38.81969268482426} Flesh Reading Ease: 91.1 ---------------------------------------- Source: ['»Dem Teufel sein rußiger Bruder und mein König auch.'] Prediction: ['Immer mehr Schweizerinnen und Schweizer gingen immer mehr Schweizer auf.\nIm Interview mit 20 Minuten spricht sie über ihre Bruder und mein König.'] Label: [['Und ich bin ein freier Mann.\nHans sagt: Ich bin des Teufels rußiger Bruder.']] Sacrebleu: {'score': 1.9822566267103439, 'counts': [3, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [12.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.12, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4705882352941178, 'translation_length': 25, 'reference_length': 17} Rouge: {'rouge1': 0.10256410256410255, 'rouge2': 0.0, 'rougeL': 0.10256410256410255, 'rougeLsum': 0.10256410256410255} Sari: {'sari': 35.833333333333336} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['»Wer bist du?«'] Prediction: ['Im Interview mit 20 Minuten spricht über die Welt und die Welt.\nIm Interview spricht über die Welt und Welt immer wieder.'] Label: [['Und der Wirt fragt: Wer bist du?']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 24, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 24, 'reference_length': 9} Rouge: {'rouge1': 0.06896551724137931, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 30.59941520467836} Flesh Reading Ease: 87.1 ---------------------------------------- Source: ['»Aus der Hölle.«'] Prediction: ['Im Alter von 99 Jahren ist es in der Schweiz zu einer Überraschung.\nDie Schweizerin hatte sich mit einem ähnlichen Vorfall geschrieben.'] Label: [['Hans sagt: Ich komme aus der Hölle.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 24, 'reference_length': 9} Rouge: {'rouge1': 0.06666666666666667, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.06666666666666667} Sari: {'sari': 38.61111111111111} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['Er rief ihn an und fragte: »Woher kommst du?«'] Prediction: ['Im Interview mit der 20-Minuten-App spricht der Schweizer über die Welt.\nEr rief ihn an und fragte: "Woher kommst du?"'] Label: [['Woher kommst du?\nDeshalb fragt der Wirt Hans:']] Sacrebleu: {'score': 9.615094003919301, 'counts': [6, 3, 2, 1], 'totals': [27, 26, 25, 24], 'precisions': [22.22222222222222, 11.538461538461538, 8.0, 4.166666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 10} Bleu: {'bleu': 0.09615094003919297, 'precisions': [0.2222222222222222, 0.11538461538461539, 0.08, 0.041666666666666664], 'brevity_penalty': 1.0, 'length_ratio': 2.7, 'translation_length': 27, 'reference_length': 10} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.14285714285714285, 'rougeL': 0.19999999999999998, 'rougeLsum': 0.26666666666666666} Sari: {'sari': 47.32180165513499} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['Vor dem Wirtshause stand der Wirt, und wie ihn der herankommen sah, erschrak er, weil Hans so entsetzlich aussah, ärger als eine Vogelscheuche.'] Prediction: ['Im Wirtshause erschrak Hans so entsetzlich aussah, als eine Vogelscheuche zu sein.\nDer Wirt erschrak ihn, weil Hans so entsetzlich aussah, ärger als eine Vogelscheuche.'] Label: [['Und lange Haare.\nUnd hat lange Nägel.\nHans ist schmutzig.\nHans sieht nämlich schrecklich aus: Aber der Wirt lässt Hans nicht herein.\nHans will im Gasthaus schlafen.\nIn der Stadt ist ein Gasthaus.']] Sacrebleu: {'score': 1.3302167687374409, 'counts': [5, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 0.7165313105737893, 'sys_len': 30, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7165313105737893, 'length_ratio': 0.75, 'translation_length': 30, 'reference_length': 40} Rouge: {'rouge1': 0.1639344262295082, 'rouge2': 0.03389830508474576, 'rougeL': 0.13114754098360656, 'rougeLsum': 0.13114754098360656} Sari: {'sari': 36.645687645687644} Flesh Reading Ease: 62.2 ---------------------------------------- Source: ['»Das hätte ich mir nicht gedacht,« sprach er, war vergnügt und ging in die Stadt hinein.'] Prediction: ['Ein Mann hat in der Stadt Zürich in einen Zusammenhang mit seinem Partner über die Stadt gesprochen.\nEr war nicht gedacht, war in die Stadt hinein.'] Label: [['Hans geht in die Stadt.\nJetzt ist Hans glücklich.']] Sacrebleu: {'score': 5.442133807846854, 'counts': [5, 2, 1, 0], 'totals': [29, 28, 27, 26], 'precisions': [17.24137931034483, 7.142857142857143, 3.7037037037037037, 1.9230769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.07142857142857142, 0.037037037037037035, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6363636363636362, 'translation_length': 29, 'reference_length': 11} Rouge: {'rouge1': 0.16216216216216217, 'rouge2': 0.1142857142857143, 'rougeL': 0.16216216216216217, 'rougeLsum': 0.16216216216216217} Sari: {'sari': 45.13227513227513} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['wie er ihn aber öffnete, so war der Kehrdreck pures Gold geworden.'] Prediction: ['Ein Kehrdreck wurde von der Welt öffnet.\nDer Gold-Konzern war pures Gold geworden.'] Label: [['Im Rucksack ist Gold: Aber im Rucksack ist kein Dreck.\nHans macht den Rucksack auf:']] Sacrebleu: {'score': 2.5586897876995107, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.8187307530779819, 'sys_len': 15, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8187307530779819, 'length_ratio': 0.8333333333333334, 'translation_length': 15, 'reference_length': 18} Rouge: {'rouge1': 0.0689655172413793, 'rouge2': 0.0, 'rougeL': 0.0689655172413793, 'rougeLsum': 0.0689655172413793} Sari: {'sari': 35.476190476190474} Flesh Reading Ease: 79.9 ---------------------------------------- Source: ['Sobald er nun wieder oben im Walde war, hob er seinen Ranzen vom Rücken und wollte ihn ausschütten;'] Prediction: ['Ein Mann wurde im Walde von Walden geschützt.\nObwohl er wieder oben im Walde war, hob er seinen Ranzen vom Rücken und wollte ihn ausschütten.'] Label: [['Hans will den Dreck aus dem Rucksack schütten.\nHans kommt im Wald an.']] Sacrebleu: {'score': 1.7574239156849023, 'counts': [3, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [10.714285714285714, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.10714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8666666666666667, 'translation_length': 28, 'reference_length': 15} Rouge: {'rouge1': 0.09523809523809523, 'rouge2': 0.0, 'rougeL': 0.047619047619047616, 'rougeLsum': 0.09523809523809523} Sari: {'sari': 35.147058823529406} Flesh Reading Ease: 79.75 ---------------------------------------- Source: ['Der Soldat schwieg still und that, was der Teufel sagte, aber er war mit seinem Lohn gar nicht zufrieden.'] Prediction: ['Ein Soldat schwieg still und hat seinem Lohn gar nicht zufrieden.\nDer Soldat war mit seinem Lohn gar nicht zufrieden.'] Label: [['Aber Hans wundert sich über seinen Lohn.\nUnd geht los.']] Sacrebleu: {'score': 2.2731543567022867, 'counts': [3, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [13.636363636363637, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.13636363636363635, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 22, 'reference_length': 12} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 35.232843137254896} Flesh Reading Ease: 88.1 ---------------------------------------- Source: ['auch.‹« Du sollst auch gehen ungewaschen und ungekämmt, mit langen Haaren am Kopf und am Bart, mit ungeschnittenen Nägeln und mit trüben Augen, und wenn du gefragt wirst, woher du kämst, sollst du sagen: ›Aus der Hölle,‹ und wenn du gefragt wirst, wer du wärst, sollst du sagen: ›Des Teufels rußiger Bruder und mein König'] Prediction: ['Du sollst auch gehen ungewaschen und ungekämmt, mit langen Haaren am Kopf und am Bart, mit ungeschnittenen Nägeln und mit trüben Augen.\nAuch wenn du gefragt wirst, woher du kämst, sollst du sagen: ›Aus der Hölle,‹ und wenn du gefragt wirst, wer du wärst, sollst du sagen: ›Des Teufels rußiger Bruder und mein König.'] Label: [['Und ich bin ein freier Mann.\nIch bin des Teufels rußiger Bruder.\nDann sagst du: Wer bist du?\nUnd fragt dich jemand: Ich komme aus der Hölle.\nDann sagst du: Woher kommst du?\nFragt dich jemand: Und du darfst deine Augen nicht auswischen.\nUnd auch nicht die Nägel.\nUnd dir nicht die Haare schneiden.\nUnd nicht kämmen.\nAber du darfst dich nicht waschen.']] Sacrebleu: {'score': 2.949566401316654, 'counts': [17, 3, 1, 0], 'totals': [66, 65, 64, 63], 'precisions': [25.757575757575758, 4.615384615384615, 1.5625, 0.7936507936507936], 'bp': 0.846481724890614, 'sys_len': 66, 'ref_len': 77} Bleu: {'bleu': 0.0, 'precisions': [0.25757575757575757, 0.046153846153846156, 0.015625, 0.0], 'brevity_penalty': 0.846481724890614, 'length_ratio': 0.8571428571428571, 'translation_length': 66, 'reference_length': 77} Rouge: {'rouge1': 0.4031007751937984, 'rouge2': 0.11023622047244094, 'rougeL': 0.18604651162790695, 'rougeLsum': 0.3875968992248062} Sari: {'sari': 35.81994859779417} Flesh Reading Ease: 65.25 ---------------------------------------- Source: ["« Sprach der Teufel: »Damit du deinen verdienten Lohn kriegst, geh und raffe dir deinen Ranzen voll Kehrdreck und nimm's mit nach Haus."] Prediction: ['Du findest hier aktuelle Wissenschaftler in der Schweiz.\nHier gibts die besten Wissenschaftlerinnen und Wissenschaftler.'] Label: [['Und nimm den Rucksack mit nach Hause.\nFüll einen Rucksack mit Dreck.\nIch gebe dir den Lohn für deine Arbeit:']] Sacrebleu: {'score': 1.9108871956733893, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.7026185226629954, 'sys_len': 17, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7026185226629954, 'length_ratio': 0.7391304347826086, 'translation_length': 17, 'reference_length': 23} Rouge: {'rouge1': 0.05405405405405406, 'rouge2': 0.0, 'rougeL': 0.05405405405405406, 'rougeLsum': 0.05405405405405406} Sari: {'sari': 50.316017316017316} Flesh Reading Ease: 49.65 ---------------------------------------- Source: ['jetzt ist deine Zeit herum, willst du wieder heim?«'] Prediction: ['Der Schweizer Sänger überrascht mit einem ähnlichen Vorfall.\nIm Interview mit 20 Minuten spricht er über seine Zeit.'] Label: [['Du kannst nach Hause gehen.\nDeine Arbeit ist jetzt zu Ende.']] Sacrebleu: {'score': 2.276859592073037, 'counts': [2, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [10.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5384615384615385, 'translation_length': 20, 'reference_length': 13} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 55.96969696969697} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['dein Glück ist, daß du noch Holz zugelegt hast, sonst war dein Leben verloren;'] Prediction: ['Ein Holz ist in der Schweiz zugelegt.\nDer Holz war dein Leben verloren.\nImmer wieder war der Holz zugelegt.'] Label: [['Deshalb werde ich dich nicht bestrafen.\nDas war richtig.\nAber du hast Holz zum Feuer gelegt.\nDas hatte ich dir verboten!']] Sacrebleu: {'score': 2.253560074139393, 'counts': [5, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [22.727272727272727, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 0.8725252928694237, 'sys_len': 22, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.22727272727272727, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8725252928694237, 'length_ratio': 0.88, 'translation_length': 22, 'reference_length': 25} Rouge: {'rouge1': 0.1, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.1} Sari: {'sari': 35.206228956228955} Flesh Reading Ease: 85.95 ---------------------------------------- Source: ['»Aber du hast auch in die Kessel geguckt:'] Prediction: ['Immer mehr Menschen sind in den Ferien in den Kessel geguckt.\nEinige sind dabei.'] Label: [['Du hast aber auch in die Kessel geguckt.']] Sacrebleu: {'score': 9.782375748961453, 'counts': [4, 2, 1, 0], 'totals': [16, 15, 14, 13], 'precisions': [25.0, 13.333333333333334, 7.142857142857143, 3.8461538461538463], 'bp': 1.0, 'sys_len': 16, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.13333333333333333, 0.07142857142857142, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 16, 'reference_length': 9} Rouge: {'rouge1': 0.2727272727272727, 'rouge2': 0.1, 'rougeL': 0.2727272727272727, 'rougeLsum': 0.2727272727272727} Sari: {'sari': 27.927188552188554} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['»Ich habe das Feuer unter den Kesseln geschürt, ich habe gekehrt und den Kehrdreck hinter die Thür getragen.«'] Prediction: ['Ein Feuer hatte in der Nacht auf Sonntag in Zürich einen Kehrdreck entdeckt.\nDer Kehrdreck wurde von der Polizei getragen.\nDie Polizei hat den Mann festgenommen.'] Label: [['Und ich habe den Dreck hinaus·gebracht.\nIch habe sauber gemacht.\nHans sagt: Ich habe Feuer unter den Kesseln gemacht.']] Sacrebleu: {'score': 1.9240848598265397, 'counts': [5, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [17.24137931034483, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2608695652173914, 'translation_length': 29, 'reference_length': 23} Rouge: {'rouge1': 0.0851063829787234, 'rouge2': 0.0, 'rougeL': 0.0851063829787234, 'rougeLsum': 0.0851063829787234} Sari: {'sari': 29.79236285157338} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['Als nun die Zeit vollends herum war, kam der Teufel und sagte: »Nun, Hans, was hast du gemacht?«'] Prediction: ['Im Interview mit Hans (45) spricht der Schauspieler über seine Zeit.\nAls er sich über seine Zeit vollständig gemacht war, kam der Teufel zu seinem Zeitpunkt.'] Label: [['Was hast du gemacht?\nDer Teufel fragt Hans: Und der Teufel kommt zurück.\nDie 7 Jahre vergehen.']] Sacrebleu: {'score': 3.1568618107860202, 'counts': [6, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [19.35483870967742, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 1.0, 'sys_len': 31, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.1935483870967742, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4761904761904763, 'translation_length': 31, 'reference_length': 21} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.04651162790697675, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 31.09892787524367} Flesh Reading Ease: 79.25 ---------------------------------------- Source: ['Also that er sieben Jahre seinen Dienst in der Hölle, wusch sich nicht, kämmte sich nicht, schnippte sich nicht, schnitt sich die Nägel und Haare nicht und wischte sich kein Wasser aus den Augen;'] Prediction: ['Ein Dienst in der Hölle von der Schweiz wurde in der Nacht auf Sonntag von 20 Minuten veröffentlicht.\nEr wurde dabei nicht mehr geschnickt, schnippte sich nicht, schnitt sich die Nägel und Haare nicht.\nWir haben ihn nun einen Wasser aus den Augen.'] Label: [['Und wischt sich nicht die Augen aus.\nUnd auch nicht die Nägel.\nUnd schneidet sich nicht die Haare.\nUnd putzt sich nicht die Nase.\nUnd kämmt sich nicht.\nUnd Hans wäscht sich nicht.\nSo arbeitet Hans 7 Jahre lang für den Teufel.']] Sacrebleu: {'score': 3.1890744929072117, 'counts': [14, 3, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [29.166666666666668, 6.382978723404255, 1.0869565217391304, 0.5555555555555556], 'bp': 0.9793821813312402, 'sys_len': 48, 'ref_len': 49} Bleu: {'bleu': 0.0, 'precisions': [0.2916666666666667, 0.06382978723404255, 0.0, 0.0], 'brevity_penalty': 0.9793821813312402, 'length_ratio': 0.9795918367346939, 'translation_length': 48, 'reference_length': 49} Rouge: {'rouge1': 0.2826086956521739, 'rouge2': 0.08888888888888889, 'rougeL': 0.1956521739130435, 'rougeLsum': 0.2608695652173913} Sari: {'sari': 37.61773715334087} Flesh Reading Ease: 83.8 ---------------------------------------- Source: ['Du hast mich gehabt, jetzt hab ich dich,« holte den Blasbalg und ließ das Höllenfeuer recht unter ihm flackern.'] Prediction: ['Immer mehr Schlagzeilen hatte es einen Blasbalg geben.\nDer Blasbalg war recht unter ihm flackern.'] Label: [['Das Feuer wird stärker.\nUnd legt viele große Holz·stücke zum Feuer.\nHans macht den Deckel wieder zu.\nJetzt bestimme ich über dich.\nHans sagt: Früher hast du über mich bestimmt.']] Sacrebleu: {'score': 0.889462218478249, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.3270484156923281, 'sys_len': 17, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 0.3270484156923281, 'length_ratio': 0.4722222222222222, 'translation_length': 17, 'reference_length': 36} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 29.6875} Flesh Reading Ease: 78.9 ---------------------------------------- Source: ["Nun wollte er auch sehen, wer im dritten Kessel säße, da war's gar ein General: »Aha, Vogel, treff' ich dich hier?"] Prediction: ['Im dritten Kessel säße ein General sehen.\nDer General treffte sich hier.'] Label: [['Und Hans kennt auch diesen Soldaten von früher.\nAuch in diesem Kessel sitzt ein Soldat.\nUnd guckt in den Kessel: Also hebt Hans vorsichtig den Deckel vom 3.\nKessel an.\nJetzt will Hans auch in den 3.\nKessel gucken.']] Sacrebleu: {'score': 0.40844687066917895, 'counts': [4, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [28.571428571428573, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 0.10170139230422684, 'sys_len': 14, 'ref_len': 46} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.0, 0.0, 0.0], 'brevity_penalty': 0.10170139230422684, 'length_ratio': 0.30434782608695654, 'translation_length': 14, 'reference_length': 46} Rouge: {'rouge1': 0.07547169811320756, 'rouge2': 0.0, 'rougeL': 0.07547169811320756, 'rougeLsum': 0.07547169811320756} Sari: {'sari': 35.66468253968254} Flesh Reading Ease: 68.7 ---------------------------------------- Source: ["Du hast mich gehabt, jetzt hab' ich dich,« machte den Deckel wieder zu und trug noch einen Klotz herbei, der sollte ihm erst recht heiß machen."] Prediction: ['Ein Deckel sollte ihm erst recht heiß machen.\nDer Deckel machte den Deckel wieder zu und trug noch einen Klotz herbei.\nDer Deckel sollte ihm erst recht heiß machen.'] Label: [['Das Feuer wird stärker.\nUnd legt ein großes Stück Holz zum Feuer.\nHans macht den Deckel wieder zu.\nJetzt bestimme ich über dich.\nHans sagt: Früher hast du über mich bestimmt.']] Sacrebleu: {'score': 7.1440762072501744, 'counts': [7, 3, 2, 1], 'totals': [32, 31, 30, 29], 'precisions': [21.875, 9.67741935483871, 6.666666666666667, 3.4482758620689653], 'bp': 0.8553453273074225, 'sys_len': 32, 'ref_len': 37} Bleu: {'bleu': 0.07144076207250175, 'precisions': [0.21875, 0.0967741935483871, 0.06666666666666667, 0.034482758620689655], 'brevity_penalty': 0.8553453273074225, 'length_ratio': 0.8648648648648649, 'translation_length': 32, 'reference_length': 37} Rouge: {'rouge1': 0.1875, 'rouge2': 0.0967741935483871, 'rougeL': 0.15625, 'rougeLsum': 0.1875} Sari: {'sari': 38.433296330155414} Flesh Reading Ease: 88.4 ---------------------------------------- Source: ["Danach ging er zum zweiten Kessel, hob den Deckel auch ein wenig auf und guckte, da saß sein Fähnrich darin: »Aha, Vogel, treff' ich dich hier?"] Prediction: ['Ein 20-Minuten-Radio-Host hat mit seiner 20-Minuten-App über die Frage gesprochen.\nIn der Folge wurde der Deckel auch ein wenig aufgehoben.\nDie Frage ist noch nicht bekannt.'] Label: [['Und Hans kennt auch diesen Soldaten von früher.\nAuch in diesem Kessel sitzt ein Soldat.\nUnd guckt in den Kessel: Also hebt Hans vorsichtig den Deckel vom 2.\nKessel an.\nJetzt will Hans auch in die anderen Kessel gucken.']] Sacrebleu: {'score': 1.2698941825498804, 'counts': [7, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [21.21212121212121, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 0.6951439283988788, 'sys_len': 33, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.21212121212121213, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6951439283988786, 'length_ratio': 0.7333333333333333, 'translation_length': 33, 'reference_length': 45} Rouge: {'rouge1': 0.14084507042253522, 'rouge2': 0.0, 'rougeL': 0.14084507042253522, 'rougeLsum': 0.14084507042253522} Sari: {'sari': 37.38419913419914} Flesh Reading Ease: 60.15 ---------------------------------------- Source: ["Du hast mich gehabt, jetzt hab' ich dich,« ließ geschwind den Deckel fallen, schürte das Feuer und legte noch frisch zu."] Prediction: ["Du hast mich gehabt, jetzt hab' ich dich dich, wie es sich um den Deckel fallen?\nDas Feuer war noch frisch zu sein."] Label: [['Das Feuer wird stärker.\nUnd legt mehr Holz zum Feuer.\nHans macht den Deckel wieder zu.\nJetzt bestimme ich über dich.\nUnd sagt: Früher hast du über mich bestimmt.']] Sacrebleu: {'score': 3.670143667836929, 'counts': [10, 2, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [37.03703703703704, 7.6923076923076925, 2.0, 1.0416666666666667], 'bp': 0.7435670792059064, 'sys_len': 27, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.37037037037037035, 0.07692307692307693, 0.0, 0.0], 'brevity_penalty': 0.7435670792059064, 'length_ratio': 0.7714285714285715, 'translation_length': 27, 'reference_length': 35} Rouge: {'rouge1': 0.40740740740740744, 'rouge2': 0.07692307692307691, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.37037037037037035} Sari: {'sari': 39.797678602232686} Flesh Reading Ease: 98.3 ---------------------------------------- Source: ["Da sah er seinen ehemaligen Unteroffizier darin sitzen: »Aha, Vogel,« sprach er, »treff' ich dich hier?"] Prediction: ['Ein ehemaliger Unteroffizier hat seinen ehemaligen Unteroffizier darin sitzen.\nDer Unteroffizier sprach seinen ehemaligen Unteroffizier, der sich darin sitzen kann.'] Label: [['Hans kennt den Soldaten von früher.\nDer Soldat ist ein böser Mensch.\nIm Kessel sitzt ein Soldat.']] Sacrebleu: {'score': 3.644667088679882, 'counts': [3, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [13.043478260869565, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.13043478260869565, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.15, 'translation_length': 23, 'reference_length': 20} Rouge: {'rouge1': 0.10256410256410256, 'rouge2': 0.0, 'rougeL': 0.05128205128205128, 'rougeLsum': 0.10256410256410256} Sari: {'sari': 35.99744245524297} Flesh Reading Ease: 17.9 ---------------------------------------- Source: ['endlich konnte er sich nicht mehr anhalten, hob vom ersten Kessel ein klein bißchen den Deckel auf und guckte hinein.'] Prediction: ['Ein bißchen konnte sich nicht mehr anhalten.\nDer Deckel-Kessel-Konzern hatte einen bißchen den Deckel aufgestellt.\nDer Deckel-Konzern hatte sich nicht mehr anhalten.'] Label: [['Und guckt in den Kessel: Trotzdem hebt Hans vorsichtig den Deckel von einem Kessel an.']] Sacrebleu: {'score': 3.333744983027298, 'counts': [3, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [12.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.12, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4705882352941178, 'translation_length': 25, 'reference_length': 17} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.05, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 38.05555555555556} Flesh Reading Ease: 61.55 ---------------------------------------- Source: ['Er hätte für sein Leben gern hineingeschaut, wenn es ihm der Teufel nicht so streng verboten hätte:'] Prediction: ['Ein Teufel in der Schweiz war nicht so streng verboten.\nDer Teufel war nicht so streng verboten.'] Label: [['Aber der Teufel hat es ihm verboten.\nHans will unbedingt in die Kessel gucken.\nJetzt ist Hans neugierig:']] Sacrebleu: {'score': 4.796244947449376, 'counts': [6, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [31.57894736842105, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 0.9000876262522591, 'sys_len': 19, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.3157894736842105, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 0.9000876262522594, 'length_ratio': 0.9047619047619048, 'translation_length': 19, 'reference_length': 21} Rouge: {'rouge1': 0.22857142857142856, 'rouge2': 0.06060606060606061, 'rougeL': 0.17142857142857143, 'rougeLsum': 0.22857142857142856} Sari: {'sari': 40.06834215167549} Flesh Reading Ease: 89.6 ---------------------------------------- Source: ['Wie der alte Teufel wieder kam, sah er nach, ob alles geschehen war, zeigte sich zufrieden und ging zum zweitenmal fort.'] Prediction: ['Ein Mann wurde in der Nähe des Landes wieder aufgefunden.\nDer alte Teufel war wieder aufgefunden und ging zum zweitenmal fort.\nDer Mann war zum zweitenmal fort.'] Label: [['Und geht wieder weg.\nDeshalb ist der Teufel zufrieden.\nNach einiger Zeit kommt der Teufel zurück.']] Sacrebleu: {'score': 1.943043650185126, 'counts': [6, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5789473684210527, 'translation_length': 30, 'reference_length': 19} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.0, 'rougeL': 0.17777777777777778, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 36.574074074074076} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['« Da ging nun der alte Teufel wieder hinaus auf seine Wanderung und der Soldat trat seinen Dienst an, legte Feuer zu, kehrte und trug den Kehrdreck hinter die Thür, alles wie es befohlen war.'] Prediction: ['Ein Soldat hat einen alten Teufel wieder auf seine Wanderung geschickt.\nDer alte Teufel war wieder hinaus auf seine Wanderung und der Soldat trat seinen Dienst an, legte Feuer zu, kehrte und trug den Kehrdreck hinter die Thür.'] Label: [['Und Hans bringt den Dreck hinaus.\nUnd Hans macht sauber.\nHans macht Feuer unter den Kesseln.\nAlso beginnt Hans mit der Arbeit: Und geht weg.\nDas sagt der Teufel zu Hans.']] Sacrebleu: {'score': 1.4687168144827005, 'counts': [8, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [19.047619047619047, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 37} Bleu: {'bleu': 0.0, 'precisions': [0.19047619047619047, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.135135135135135, 'translation_length': 42, 'reference_length': 37} Rouge: {'rouge1': 0.2571428571428572, 'rouge2': 0.0, 'rougeL': 0.1142857142857143, 'rougeLsum': 0.2285714285714286} Sari: {'sari': 37.142857142857146} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ['aber guckte er ein einziges Mal in die Kessel hinein, so würde es ihm schlimm ergehen.'] Prediction: ['Ein Mann wurde in einziges Mal in die Kessel hinein.\nDas hatte er schon mal geschlagen.\nDer Mann wurde schwerm ergehen.'] Label: [['Sonst werde ich dich bestrafen.\nAber du darfst nicht in die Kessel gucken.']] Sacrebleu: {'score': 6.654221263555511, 'counts': [5, 2, 1, 0], 'totals': [24, 23, 22, 21], 'precisions': [20.833333333333332, 8.695652173913043, 4.545454545454546, 2.380952380952381], 'bp': 1.0, 'sys_len': 24, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.20833333333333334, 0.08695652173913043, 0.045454545454545456, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 24, 'reference_length': 15} Rouge: {'rouge1': 0.17647058823529413, 'rouge2': 0.125, 'rougeL': 0.17647058823529413, 'rougeLsum': 0.17647058823529413} Sari: {'sari': 44.236111111111114} Flesh Reading Ease: 85.25 ---------------------------------------- Source: ['er müßte das Feuer schüren unter den Kesseln, wo die Höllenbraten drin säßen, das Haus rein halten, den Kehrdreck hinter die Thür tragen und überall auf Ordnung sehen;'] Prediction: ['Ein Kehrdreck trug den Thür und trug den Kehrdreck hinter die Thür auf Ordnung.\nDer Kehrdreck müsse das Feuer schüren, wo die Höllenbraten drin säßen, das Haus rein halten, den Kehrdreck hinter die Thür tragen und überall auf Ordnung sehen.'] Label: [['Und den Dreck hinaus·bringen.\nUnd sauber machen.\nDu musst Feuer unter den Kesseln machen.']] Sacrebleu: {'score': 1.2157709822493183, 'counts': [5, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [11.11111111111111, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6470588235294117, 'translation_length': 45, 'reference_length': 17} Rouge: {'rouge1': 0.16129032258064516, 'rouge2': 0.0, 'rougeL': 0.12903225806451613, 'rougeLsum': 0.16129032258064516} Sari: {'sari': 29.853062294100024} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['Dann sagte es ihm, was er zu thun hätte:'] Prediction: ['Ein Mann hatte sich in der Nacht auf Sonntag zu einem sexuellen Interview mit dem 20-Minuten-Radio-Host Andrea übertragen.\nDie beiden waren zu sehen, dass sie ihm nicht mehr gefunden haben.'] Label: [['Der Teufel sagt zu Hans:']] Sacrebleu: {'score': 1.0559717178170818, 'counts': [1, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [2.857142857142857, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.02857142857142857, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.833333333333333, 'translation_length': 35, 'reference_length': 6} Rouge: {'rouge1': 0.10526315789473685, 'rouge2': 0.0, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.10526315789473685} Sari: {'sari': 61.115196078431374} Flesh Reading Ease: 59.7 ---------------------------------------- Source: ["»Frisch dran, wenn's nicht anders sein kann,« und ging mit dem Männchen fort, das führte ihn geradeswegs in die Hölle hinein. « Der Soldat sprach:"] Prediction: ['Ein Männchen führte in die Hölle eines Soldaten.\nDer Soldat sprach von einem Messer.'] Label: [['Hans und der Teufel kommen in der Hölle an.\nUnd Hans geht mit dem Teufel in die Hölle.\nHans überlegt und stimmt zu.']] Sacrebleu: {'score': 5.536531720559046, 'counts': [5, 2, 1, 0], 'totals': [16, 15, 14, 13], 'precisions': [31.25, 13.333333333333334, 7.142857142857143, 3.8461538461538463], 'bp': 0.5352614285189903, 'sys_len': 16, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.3125, 0.13333333333333333, 0.07142857142857142, 0.0], 'brevity_penalty': 0.5352614285189903, 'length_ratio': 0.6153846153846154, 'translation_length': 16, 'reference_length': 26} Rouge: {'rouge1': 0.2380952380952381, 'rouge2': 0.15, 'rougeL': 0.19047619047619052, 'rougeLsum': 0.2380952380952381} Sari: {'sari': 55.24978547424367} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Aber eins sag ich dir, du darfst dich nicht waschen, nicht kämmen, nicht schnippen, keine Nägel und Haare abschneiden und kein Wasser aus den Augen wischen.'] Prediction: ['Ein 20-Minuten-Radio-Host hat mit 20-Minuten-Radio-Host Andrea über ihre Fragen über ihre Fragen gesprochen.\nDiese Fragen über ihre Fragen und ihre Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über ihre Fragen und Fragen über i'] Label: [['Und du darfst dir nicht die Augen auswischen.\nUnd auch nicht die Nägel.\nUnd dir nicht die Haare schneiden.\nUnd dir nicht die Nase putzen.\nUnd nicht kämmen.\nAber in den 7 Jahren darfst du dich nicht waschen.']] Sacrebleu: {'score': 0.17546344074600356, 'counts': [1, 0, 0, 0], 'totals': [203, 202, 201, 200], 'precisions': [0.49261083743842365, 0.24752475247524752, 0.12437810945273632, 0.0625], 'bp': 1.0, 'sys_len': 203, 'ref_len': 44} Bleu: {'bleu': 0.0, 'precisions': [0.0049261083743842365, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.613636363636363, 'translation_length': 203, 'reference_length': 44} Rouge: {'rouge1': 0.04098360655737705, 'rouge2': 0.0, 'rougeL': 0.04098360655737705, 'rougeLsum': 0.04098360655737705} Sari: {'sari': 38.38205897051474} Flesh Reading Ease: -18.46 ---------------------------------------- Source: ['sieben Jahre sollst du mir dienen, hernach bist du wieder frei. Der Teufel sagte: »Willst du dich bei mir vermieten und mein Knecht sein, so sollst du für dein Lebtag genug haben;'] Prediction: ['Der Schweizer Lebtag-Star überlebt seit mehreren Jahren.\nIm Interview mit 20 Minuten spricht er über seine Lebtag-Knecht und seine Knecht.'] Label: [['Danach bist du ein freier Mann.\nDer Teufel sagt: Du kannst für mich arbeiten: 7 Jahre lang.']] Sacrebleu: {'score': 2.2731543567022867, 'counts': [3, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [13.636363636363637, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.13636363636363635, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0476190476190477, 'translation_length': 22, 'reference_length': 21} Rouge: {'rouge1': 0.049999999999999996, 'rouge2': 0.0, 'rougeL': 0.049999999999999996, 'rougeLsum': 0.049999999999999996} Sari: {'sari': 41.580857414190746} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['« Da sprach der Soldat: »Ich habe Hunger, aber kein Geld.«'] Prediction: ['Ein Schweizer warnt vor Hunger.\nDer Hunger-Hunger-Pfleger warnt vor allem in der Schweiz.'] Label: [['Aber ich habe kein Geld.\nHans sagt: Ich habe Hunger.']] Sacrebleu: {'score': 5.816635421147513, 'counts': [3, 1, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [20.0, 7.142857142857143, 3.8461538461538463, 2.0833333333333335], 'bp': 1.0, 'sys_len': 15, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.07142857142857142, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1538461538461537, 'translation_length': 15, 'reference_length': 13} Rouge: {'rouge1': 0.08, 'rouge2': 0.0, 'rougeL': 0.08, 'rougeLsum': 0.08} Sari: {'sari': 39.57903207903207} Flesh Reading Ease: 79.9 ---------------------------------------- Source: ['Du siehst ja so trübselig aus. Das Männchen sagte zu ihm: »Was fehlt dir?'] Prediction: ['Ein Männchen hat ihren Mann so trübselig ausgegeben.\nDas Männchen sagte zu ihm: "Was fehlt dir?"'] Label: [['Warum bist du so traurig?\nDer Teufel fragt Hans:']] Sacrebleu: {'score': 2.3901021968803136, 'counts': [3, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [14.285714285714286, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9090909090909092, 'translation_length': 21, 'reference_length': 11} Rouge: {'rouge1': 0.07142857142857142, 'rouge2': 0.0, 'rougeL': 0.07142857142857142, 'rougeLsum': 0.07142857142857142} Sari: {'sari': 34.791666666666664} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Da ging er hinaus in den Wald und als er ein Weilchen gegangen war, begegnete ihm ein kleines Männchen, das war aber der Teufel.'] Prediction: ['Ein kleines Männchen ging in den Wald.\nDer Waldfahrer war ein Teufel.\nEr begegnete ihm ein kleines Männchen.'] Label: [['Der kleine Mann ist der Teufel.\nIm Wald trifft Hans einen kleinen Mann.\nHans kommt zu einem Wald.']] Sacrebleu: {'score': 5.684653076227407, 'counts': [6, 2, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [28.571428571428573, 10.0, 2.6315789473684212, 1.3888888888888888], 'bp': 1.0, 'sys_len': 21, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.1, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 21, 'reference_length': 21} Rouge: {'rouge1': 0.15789473684210525, 'rouge2': 0.0, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.15789473684210525} Sari: {'sari': 38.62817964451358} Flesh Reading Ease: 80.4 ---------------------------------------- Source: ['Ein abgedankter Soldat hatte nichts zu leben und wußte sich nicht mehr zu helfen.'] Prediction: ['Ein abgedankter Soldat hatte nichts zu leben.\nDer abgedankte Soldat wurde nicht mehr zu helfen.'] Label: [['Und denkt: Was soll ich jetzt tun?\nDeshalb ist Hans traurig.\nUnd hat kein Geld zum Leben.\nHans arbeitet nicht mehr.\nEin Soldat kommt aus dem Krieg zurück.']] Sacrebleu: {'score': 2.214490309902151, 'counts': [6, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [35.294117647058826, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 0.36787944117144233, 'sys_len': 17, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.35294117647058826, 0.0625, 0.0, 0.0], 'brevity_penalty': 0.36787944117144233, 'length_ratio': 0.5, 'translation_length': 17, 'reference_length': 34} Rouge: {'rouge1': 0.22727272727272724, 'rouge2': 0.047619047619047616, 'rougeL': 0.13636363636363635, 'rougeLsum': 0.22727272727272724} Sari: {'sari': 38.06485911749069} Flesh Reading Ease: 67.2 ---------------------------------------- Source: ['Also erhielt er die Krone und hat lange in Weisheit geherrscht.'] Prediction: ['Vergangenen Wochenende hatte es in der Schweiz eine Krone geherrscht.\nNun hat sich der Mann zu den Krone geherrscht.'] Label: [['So wird der Dummling der neue König.']] Sacrebleu: {'score': 2.3901021968803136, 'counts': [3, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [14.285714285714286, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.625, 'translation_length': 21, 'reference_length': 8} Rouge: {'rouge1': 0.14814814814814814, 'rouge2': 0.0, 'rougeL': 0.14814814814814814, 'rougeLsum': 0.07407407407407407} Sari: {'sari': 53.70370370370371} Flesh Reading Ease: 76.9 ---------------------------------------- Source: ['Darauf sprang das schöne Fräulein, das der Dummling mitgebracht hatte, und sprang so leicht hindurch wie ein Reh, und aller Widerspruch mußte aufhören.'] Prediction: ['Ein Fräulein sprang auf einem Reh und sprang leicht hindurch wie ein Reh.\nDieser sprang so leicht hindurch wie ein Reh, und aller Widerspruch mußte aufhören.'] Label: [['Und die Frau vom Dummling schafft es.\nDie Frau vom Dummling springt so leicht wie eine Feder.\nDann springt die Frau vom Dummling durch den Reifen.']] Sacrebleu: {'score': 3.235912122544166, 'counts': [5, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [17.24137931034483, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 29, 'reference_length': 29} Rouge: {'rouge1': 0.14545454545454548, 'rouge2': 0.03773584905660378, 'rougeL': 0.14545454545454548, 'rougeLsum': 0.14545454545454548} Sari: {'sari': 37.07924836601307} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['Da sprangen die zwei Bauernweiber, sprangen auch durch den Ring, waren aber so plump, daß sie fielen und ihre groben Arme und Beine entzwei brachen.'] Prediction: ['Zwei Bauernweiber sprangen durch den Ring, sprangen aber so plump, daß sie fielen und ihre groben Arme und Beine entzwei brachen.\nDie zwei Bauernweiber sprangen auch durch den Ring, sprangen aber so plump, daß sie fielen und ihre groben Arme und Beine entzwei brachen.'] Label: [['Und die Frauen fallen hin.\nAber die Frauen sind zu schwer.\nZuerst springen die Frauen von den 2 Brüdern durch den Reifen.']] Sacrebleu: {'score': 1.8337651269639847, 'counts': [5, 1, 0, 0], 'totals': [50, 49, 48, 47], 'precisions': [10.0, 2.0408163265306123, 1.0416666666666667, 0.5319148936170213], 'bp': 1.0, 'sys_len': 50, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.02040816326530612, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 50, 'reference_length': 25} Rouge: {'rouge1': 0.1791044776119403, 'rouge2': 0.03076923076923077, 'rougeL': 0.11940298507462685, 'rougeLsum': 0.1492537313432836} Sari: {'sari': 37.244152046783626} Flesh Reading Ease: 70.25 ---------------------------------------- Source: ['Sie dachten: »Die Bauernweiber können das wohl, die sind stark genug, aber das zarte Fräulein springt sich tot.«'] Prediction: ['Die Bauernweiber können das wohl, die sind stark genug, aber das zarte Fräulein springt sich tot.\nDie Bauernweiber können das wohl, die sind stark genug, aber das zarte Fräulein springt sich tot.'] Label: [['Die Frau vom Dummling schafft diese Aufgabe nicht.\nUnd schwach.\nAber die Frau vom Dummling ist dünn.\nUnsere Frauen können durch den Reifen springen.\nDie Brüder vom Dummling denken: Unsere Frauen sind stark.']] Sacrebleu: {'score': 3.1749707622921095, 'counts': [8, 2, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [21.05263157894737, 5.405405405405405, 1.3888888888888888, 0.7142857142857143], 'bp': 0.9740274534203012, 'sys_len': 38, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.05405405405405406, 0.0, 0.0], 'brevity_penalty': 0.9740274534203012, 'length_ratio': 0.9743589743589743, 'translation_length': 38, 'reference_length': 39} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.05714285714285714, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.19444444444444445} Sari: {'sari': 37.430614757980486} Flesh Reading Ease: 82.1 ---------------------------------------- Source: ["Aber die zwei ältesten betäubten die Ohren des Königs aufs neue mit ihrem Geschrei, »wir können's nicht zugeben, daß der Dummling König wird,« und verlangten, der sollte den Vorzug haben, dessen Frau durch einen Ring springen könnte, der da mitten in dem Saal hing."] Prediction: ['Eine Frau wollte das Paar in einem neuen Geschrei einen Ring springen.\nDie Ohren des Königs sind ältest.\nDie Frau wollte das Paar durch einen Ring springen.'] Label: [['Dann wird dieser Sohn König.\nSchafft es die Frau von einem Sohn?\nJetzt sollen die Frauen durch einen Reifen springen.\nDer König ist einverstanden: Deshalb bitten die Brüder vom Dummling den König um eine letzte Aufgabe.']] Sacrebleu: {'score': 2.8940493121400777, 'counts': [8, 2, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [26.666666666666668, 6.896551724137931, 1.7857142857142858, 0.9259259259259259], 'bp': 0.6930406200864415, 'sys_len': 30, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.06896551724137931, 0.0, 0.0], 'brevity_penalty': 0.6930406200864415, 'length_ratio': 0.7317073170731707, 'translation_length': 30, 'reference_length': 41} Rouge: {'rouge1': 0.2647058823529412, 'rouge2': 0.060606060606060615, 'rougeL': 0.1764705882352941, 'rougeLsum': 0.2647058823529412} Sari: {'sari': 40.75432240250789} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['»Dem jüngsten gehört das Reich nach meinem Tode.«'] Prediction: ['Der Schweizer Präsident hat sich mit einem Tod geschützt.\nDie Schweiz hat sich mit einem Tod geschützt.'] Label: [['Der Dummling wird König.']] Sacrebleu: {'score': 2.4074859035470344, 'counts': [2, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [10.526315789473685, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.8, 'translation_length': 19, 'reference_length': 5} Rouge: {'rouge1': 0.08000000000000002, 'rouge2': 0.0, 'rougeL': 0.08000000000000002, 'rougeLsum': 0.08000000000000002} Sari: {'sari': 67.77777777777777} Flesh Reading Ease: 89.6 ---------------------------------------- Source: ['Als der König sie erblickte, sprach er:'] Prediction: ['Eine Frau, die sich in der Nacht auf Sonntag in die Nacht auf Sonntag in die Nacht geschickt hat, sprach von ihrem Mann.\nAls sie sie erblickte, sprach er: "Ich wolle me sie sie nicht mehr geben".'] Label: [['Da sagt der König:']] Sacrebleu: {'score': 0.9668670750672484, 'counts': [2, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [4.444444444444445, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.044444444444444446, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 9.0, 'translation_length': 45, 'reference_length': 5} Rouge: {'rouge1': 0.047619047619047616, 'rouge2': 0.0, 'rougeL': 0.047619047619047616, 'rougeLsum': 0.047619047619047616} Sari: {'sari': 25.252525252525253} Flesh Reading Ease: 91.3 ---------------------------------------- Source: ['Seine Brüder kamen nach, die hatten sich gar keine Mühe gegeben, eine schöne Frau zu suchen, sondern die ersten besten Bauernweiber mitgenommen.'] Prediction: ['Die ersten besten Bauernweiber sind in den letzten Tagen in der Schweiz.\nSie haben sich keine Mühe gegeben, eine schöne Frau zu suchen.\nDie Brüder sind sich nach der ersten Besten Bauernweiber mitgenommen.'] Label: [['Aber die Brüder haben es sich wieder leicht gemacht: Auch die Brüder vom Dummling bringen ihre Frauen zum Schloss.']] Sacrebleu: {'score': 1.4091499441909465, 'counts': [4, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [10.81081081081081, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.10810810810810811, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7619047619047619, 'translation_length': 37, 'reference_length': 21} Rouge: {'rouge1': 0.24561403508771928, 'rouge2': 0.07272727272727272, 'rougeL': 0.24561403508771928, 'rougeLsum': 0.2105263157894737} Sari: {'sari': 37.474747474747474} Flesh Reading Ease: 69.55 ---------------------------------------- Source: ['Da küßte er sie, jagte mit den Pferden davon und brachte sie zu dem König.'] Prediction: ['Ein Mann hatte sich mit seinem Pferden zu seinem König geschickt.\nEr brachte sie zu dem König.'] Label: [['Der Dummling fährt mit der schönen Frau in der Kutsche zum Schloss.']] Sacrebleu: {'score': 2.4074859035470344, 'counts': [2, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [10.526315789473685, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4615384615384615, 'translation_length': 19, 'reference_length': 13} Rouge: {'rouge1': 0.06060606060606061, 'rouge2': 0.0, 'rougeL': 0.06060606060606061, 'rougeLsum': 0.06060606060606061} Sari: {'sari': 36.36363636363636} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['« Da griff er auf Geratewohl eine aus dem Kreise und setzte sie in die gelbe Kutsche, aber kaum saß sie darin, so ward sie zu einem wunderschönen Fräulein, die Rübe zur Kutsche, und die sechs Mäuschen zu Pferden.'] Prediction: ['Ein Fräulein hat eine gelbe Kutsche gefunden.\nDie Kutsche können sich in einem wunderschönen Fräulein retten.\nDie Mäuschen können sich in einem Kreise geben.'] Label: [['Und die kleine Kröte wird zu einer schönen Frau.\nUnd die 6 Mäuse werden zu Pferden.\nPlötzlich wird die Rübe zu einer Kutsche.\nDer Dummling setzt eine kleine Kröte in die Rübe.']] Sacrebleu: {'score': 1.556345094574259, 'counts': [6, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [22.22222222222222, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 0.7165313105737893, 'sys_len': 27, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7165313105737893, 'length_ratio': 0.75, 'translation_length': 27, 'reference_length': 36} Rouge: {'rouge1': 0.20289855072463772, 'rouge2': 0.0, 'rougeL': 0.14492753623188406, 'rougeLsum': 0.20289855072463772} Sari: {'sari': 42.27338528598446} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Die Itsche antwortete: »Setze nur eine von meinen kleinen Itschen hinein.'] Prediction: ['Die Schweiz scheint immer mehr zu sehen.\nDas ist ein Spieler von meinen kleinen Itschen.'] Label: [['Setze eine kleine Kröte in die Rübe.\nDie dicke Kröte antwortet:']] Sacrebleu: {'score': 2.719665272174911, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3076923076923077, 'translation_length': 17, 'reference_length': 13} Rouge: {'rouge1': 0.0689655172413793, 'rouge2': 0.0, 'rougeL': 0.0689655172413793, 'rougeLsum': 0.0689655172413793} Sari: {'sari': 34.28571428571429} Flesh Reading Ease: 90.6 ---------------------------------------- Source: ['»Was soll ich damit anfangen?« Da sprach der Dummling ganz traurig:'] Prediction: ['Der Dummling ist ein Schweizer.\nEr war mit seinem Ex-Freund auf die Welt ganz traurig.\nIm Interview spricht der Dummling ganz traurig.'] Label: [['Und sagt: Was soll ich damit?\nDer Dummling ist traurig.']] Sacrebleu: {'score': 7.050012289384432, 'counts': [5, 3, 1, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 12.5, 4.3478260869565215, 2.272727272727273], 'bp': 1.0, 'sys_len': 25, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.125, 0.043478260869565216, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9230769230769231, 'translation_length': 25, 'reference_length': 13} Rouge: {'rouge1': 0.24242424242424243, 'rouge2': 0.1290322580645161, 'rougeL': 0.24242424242424243, 'rougeLsum': 0.24242424242424243} Sari: {'sari': 37.0679012345679} Flesh Reading Ease: 90.8 ---------------------------------------- Source: ['« Sie gab ihm eine ausgehöhlte gelbe Rübe mit sechs Mäuschen bespannt.'] Prediction: ['Eine Frau hat in der Nähe von ihrem Mann ausgehöhlte Rübe mit sechs Mäuschen bespannt.\nSie gab ihm eine ausgehöhlte gelbe Rübe mit sechs Mäuschen bespannt.'] Label: [['Vor die Rübe sind 6 Mäuse gespannt.\nDie Rübe ist innen hohl.\nDie dicke Kröte gibt dem Dummling eine Rübe.']] Sacrebleu: {'score': 1.996819088094332, 'counts': [5, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [17.857142857142858, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.17857142857142858, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2173913043478262, 'translation_length': 28, 'reference_length': 23} Rouge: {'rouge1': 0.20689655172413793, 'rouge2': 0.07142857142857144, 'rougeL': 0.20689655172413793, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 36.66666666666667} Flesh Reading Ease: 73.4 ---------------------------------------- Source: ['die ist nicht gleich zur Hand, aber du sollst sie doch haben. »Ei,« antwortete die Itsche, »die schönste Frau!'] Prediction: ['Eine schönste Frau sollte doch haben.\nDie Frau sollte aber doch haben.'] Label: [['Aber du bekommst die schönste Frau.\nDas ist schwer.\nDie dicke Kröte antwortet:']] Sacrebleu: {'score': 7.362479602707965, 'counts': [5, 2, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [35.714285714285715, 15.384615384615385, 4.166666666666667, 2.272727272727273], 'bp': 0.8668778997501817, 'sys_len': 14, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.35714285714285715, 0.15384615384615385, 0.0, 0.0], 'brevity_penalty': 0.8668778997501817, 'length_ratio': 0.875, 'translation_length': 14, 'reference_length': 16} Rouge: {'rouge1': 0.3571428571428571, 'rouge2': 0.15384615384615383, 'rougeL': 0.28571428571428575, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 49.42956349206349} Flesh Reading Ease: 86.25 ---------------------------------------- Source: ['Da ging der Dummling ohne weiteres hinab zu der dicken Itsche und sprach: »Ich soll die schönste Frau heimbringen.«'] Prediction: ['Ein Dummling hat die schönste Frau heimbringen.\nDie Frau soll ihr schönes Heimbritt heimbringen.'] Label: [['Ich soll die schönste Frau nach Hause bringen.\nDer Dummling sagt zu der dicken Kröte: Und der Dummling geht wieder zu der dicken Kröte.']] Sacrebleu: {'score': 5.657523886703762, 'counts': [7, 2, 1, 0], 'totals': [16, 15, 14, 13], 'precisions': [43.75, 13.333333333333334, 7.142857142857143, 3.8461538461538463], 'bp': 0.5028315779709409, 'sys_len': 16, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.4375, 0.13333333333333333, 0.07142857142857142, 0.0], 'brevity_penalty': 0.5028315779709409, 'length_ratio': 0.5925925925925926, 'translation_length': 16, 'reference_length': 27} Rouge: {'rouge1': 0.27906976744186046, 'rouge2': 0.14634146341463417, 'rougeL': 0.18604651162790697, 'rougeLsum': 0.27906976744186046} Sari: {'sari': 38.300039313971205} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Die drei Federn blies er nochmals in die Luft, und sie flogen wie die vorigen Male.'] Prediction: ['Die drei Federn blieben nochmals in die Luft.\nSie flogen wie die vorigen Male.'] Label: [['Und die Federn fliegen wieder an dieselben Orte.\nDer König pustet 3 Federn in die Luft.\nDer König und seine 3 Söhne gehen wieder vor das Schloss.']] Sacrebleu: {'score': 7.340641142706144, 'counts': [7, 3, 2, 1], 'totals': [16, 15, 14, 13], 'precisions': [43.75, 20.0, 14.285714285714286, 7.6923076923076925], 'bp': 0.4168620196785084, 'sys_len': 16, 'ref_len': 30} Bleu: {'bleu': 0.07340641142706147, 'precisions': [0.4375, 0.2, 0.14285714285714285, 0.07692307692307693], 'brevity_penalty': 0.4168620196785084, 'length_ratio': 0.5333333333333333, 'translation_length': 16, 'reference_length': 30} Rouge: {'rouge1': 0.22727272727272724, 'rouge2': 0.09523809523809525, 'rougeL': 0.22727272727272724, 'rougeLsum': 0.22727272727272724} Sari: {'sari': 41.69628959527103} Flesh Reading Ease: 85.25 ---------------------------------------- Source: ['Die zwei ältesten ließen nicht ab, den König zu quälen, bis er noch eine dritte Bedingung machte und den Ausspruch that, der sollte das Reich haben, der die schönste Frau heimbrächte.'] Prediction: ['Die zwei ältesten Frauen wollten sich in der Schweiz eine Bedingung quälen.\nSie wollten sich noch eine dritte Bedingung machten.\nDer Ausspruch hatte das Reich, der die schönste Frau heimbrächte.'] Label: [['Der Sohn mit der schönsten Frau wird König.\nDa sagt der König: Sucht die schönste Frau.\nUnd die Brüder vom Dummling bitten den König um eine neue Aufgabe.\nDer Dummling darf nicht König sein.\nDer Dummling ist dumm.\nAber die Brüder vom Dummling sagen zum König:']] Sacrebleu: {'score': 3.4649957583856814, 'counts': [10, 3, 1, 0], 'totals': [34, 33, 32, 31], 'precisions': [29.41176470588235, 9.090909090909092, 3.125, 1.6129032258064515], 'bp': 0.571881469967622, 'sys_len': 34, 'ref_len': 53} Bleu: {'bleu': 0.0, 'precisions': [0.29411764705882354, 0.09090909090909091, 0.03125, 0.0], 'brevity_penalty': 0.571881469967622, 'length_ratio': 0.6415094339622641, 'translation_length': 34, 'reference_length': 53} Rouge: {'rouge1': 0.20454545454545456, 'rouge2': 0.06976744186046512, 'rougeL': 0.1590909090909091, 'rougeLsum': 0.20454545454545456} Sari: {'sari': 39.07245934419847} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['»Ihm gehört das Reich.'] Prediction: ['Der Schweizer Präsident hat sich mit einem ähnlichen Aufruf geschützt.\nEr hat sich mit dem Aufruf geschützt.'] Label: [['Der Dummling wird König.']] Sacrebleu: {'score': 2.4074859035470344, 'counts': [2, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [10.526315789473685, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.8, 'translation_length': 19, 'reference_length': 5} Rouge: {'rouge1': 0.08000000000000002, 'rouge2': 0.0, 'rougeL': 0.08000000000000002, 'rougeLsum': 0.08000000000000002} Sari: {'sari': 67.70833333333334} Flesh Reading Ease: 77.9 ---------------------------------------- Source: ['Als aber der Dummling seinen goldenen Ring vorzeigte, so sprach der Vater abermals:'] Prediction: ['Der Dummling hat seinen goldenen Ring vorzeigt.\nAls er seinen goldenen Ring vorzeigt, so sprach der Vater abermals: Als der Dummling seinen goldenen Ring vorzeigte, so sprach der Vater abermals:'] Label: [['Da sagt der König: Und der Dummling bringt dem König seinen schönen Ring.']] Sacrebleu: {'score': 2.8886790607758566, 'counts': [7, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [20.0, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 35, 'reference_length': 15} Rouge: {'rouge1': 0.21739130434782608, 'rouge2': 0.045454545454545456, 'rougeL': 0.21739130434782608, 'rougeLsum': 0.21739130434782608} Sari: {'sari': 40.63390313390314} Flesh Reading Ease: 71.4 ---------------------------------------- Source: ['Die zwei ältesten lachten über den Dummling, der einen goldenen Ring suchen wollte, gaben sich gar keine Mühe, sondern schlugen einem alten Wagenring die Nägel aus und brachten ihn dem König.'] Prediction: ['Ein Dummling brachte dem König.\nZwei ältesten lachten über den Dummling, der einen goldenen Ring suchen wollte, gaben sich gar keine Mühe.'] Label: [['Die Brüder bringen dem König die alten Ringe.\nUnd die Brüder suchen nicht weiter.\nDie Brüder finden alte Ringe auf dem Weg.\nDeshalb machen wir es uns leicht.\nDer Dummling findet nichts.\nDie Brüder vom Dummling denken: Der Dummling ist dumm.']] Sacrebleu: {'score': 1.6955435864444872, 'counts': [7, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [26.923076923076923, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 0.42906200094310865, 'sys_len': 26, 'ref_len': 48} Bleu: {'bleu': 0.0, 'precisions': [0.2692307692307692, 0.04, 0.0, 0.0], 'brevity_penalty': 0.42906200094310865, 'length_ratio': 0.5416666666666666, 'translation_length': 26, 'reference_length': 48} Rouge: {'rouge1': 0.2, 'rouge2': 0.058823529411764705, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.2} Sari: {'sari': 35.269457245263695} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['Sie ließ sich gleich ihre große Schachtel holen, und gab ihm daraus einen Ring, der glänzte von Edelsteinen und war so schön, daß ihn kein Goldschmied auf der Erde hätte machen können.'] Prediction: ['Ein Ring glänzte von Edelsteinen.\nDer Ring war ein Goldschmied auf der Erde.'] Label: [['Der Ring ist schöner als alle Ringe auf der Welt.\nUnd der Ring hat viele Edel·steine.\nDer Ring glänzt.\nDie dicke Kröte gibt dem Dummling den Ring.\nUnd holt einen Ring heraus.\nDie dicke Kröte macht die Schachtel auf.\nDie kleine Kröte bringt eine große Schachtel.\nBring mir die große Schachtel!\nDie dicke Kröte sagt zu einer kleinen Kröte:']] Sacrebleu: {'score': 0.3907996644074383, 'counts': [7, 3, 1, 0], 'totals': [15, 14, 13, 12], 'precisions': [46.666666666666664, 21.428571428571427, 7.6923076923076925, 4.166666666666667], 'bp': 0.029207395438494873, 'sys_len': 15, 'ref_len': 68} Bleu: {'bleu': 0.0, 'precisions': [0.4666666666666667, 0.21428571428571427, 0.07692307692307693, 0.0], 'brevity_penalty': 0.029207395438494873, 'length_ratio': 0.22058823529411764, 'translation_length': 15, 'reference_length': 68} Rouge: {'rouge1': 0.14457831325301204, 'rouge2': 0.07407407407407408, 'rougeL': 0.09638554216867469, 'rougeLsum': 0.14457831325301204} Sari: {'sari': 37.807074331046934} Flesh Reading Ease: 91.6 ---------------------------------------- Source: ['Da stieg er wieder hinab zu der dicken Itsche und sagte ihr, daß er den schönsten Ring brauchte.'] Prediction: ['Ein Mann hatte während seiner Schwangerschaft ein schönes Ring.\nDas Ring wurde durchgeführt.\nDer Mann hatte sich dabei wieder hinab und sagte, daß er den schönsten Ring brauchte.'] Label: [['Ich brauche den schönsten Ring.\nDer Dummling sagt zu der dicken Kröte: Und der Dummling geht wieder zu der dicken Kröte.']] Sacrebleu: {'score': 6.346353770787776, 'counts': [7, 4, 1, 0], 'totals': [32, 31, 30, 29], 'precisions': [21.875, 12.903225806451612, 3.3333333333333335, 1.7241379310344827], 'bp': 1.0, 'sys_len': 32, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.21875, 0.12903225806451613, 0.03333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 32, 'reference_length': 24} Rouge: {'rouge1': 0.25, 'rouge2': 0.1111111111111111, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.21428571428571427} Sari: {'sari': 39.46766196766196} Flesh Reading Ease: 77.1 ---------------------------------------- Source: ['Die zwei ältesten zogen wieder nach Osten und Westen, und für den Dummling flog die Feder geradeaus und fiel neben der Erdthür nieder.'] Prediction: ['Die Feder hat sich mit einem Dummling aus dem Erdthür zu verlassen.\nDie zwei ältesten zogen wieder nach Osten und Westen.\nDer Dummling flog die Feder geradeaus und fiel neben der Erdthür nieder.'] Label: [['Nur die Feder vom Dummling fliegt wieder gerade∙aus neben die Fall∙tür.\nUnd eine Feder fliegt wieder nach Westen.\nEine Feder fliegt wieder nach Osten.']] Sacrebleu: {'score': 6.418919953889859, 'counts': [12, 4, 1, 0], 'totals': [36, 35, 34, 33], 'precisions': [33.333333333333336, 11.428571428571429, 2.9411764705882355, 1.5151515151515151], 'bp': 1.0, 'sys_len': 36, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.11428571428571428, 0.029411764705882353, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 36, 'reference_length': 27} Rouge: {'rouge1': 0.41935483870967744, 'rouge2': 0.10000000000000002, 'rougeL': 0.2903225806451613, 'rougeLsum': 0.3870967741935484} Sari: {'sari': 40.50925925925925} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['Da sagte der Vater: »Der soll das Reich erben, der mir den schönsten Ring bringt,« führte die drei Brüder hinaus, und blies drei Federn in die Luft, denen sie nachgehen sollten.'] Prediction: ['Drei Brüder sollen sich in der Luft eingereicht haben, wie sie in der Schweiz schönsten Ring bringen.\nDer Vater führte die drei Brüder hinaus und blies drei Federn in die Luft, denen sie nachgehen sollten.'] Label: [['Folgt den Federn!\nDann sagt der König zu seinen 3 Söhnen: Der König pustet 3 Federn in die Luft.\nDer König und seine 3 Söhne gehen wieder vor das Schloss.\nDer Sohn mit dem schönsten Ring wird König.\nDa sagt der König: Sucht den schönsten Ring.']] Sacrebleu: {'score': 6.166753956784023, 'counts': [12, 5, 2, 1], 'totals': [39, 38, 37, 36], 'precisions': [30.76923076923077, 13.157894736842104, 5.405405405405405, 2.7777777777777777], 'bp': 0.6983922586158029, 'sys_len': 39, 'ref_len': 53} Bleu: {'bleu': 0.06166753956784026, 'precisions': [0.3076923076923077, 0.13157894736842105, 0.05405405405405406, 0.027777777777777776], 'brevity_penalty': 0.6983922586158029, 'length_ratio': 0.7358490566037735, 'translation_length': 39, 'reference_length': 53} Rouge: {'rouge1': 0.276595744680851, 'rouge2': 0.10869565217391304, 'rougeL': 0.1702127659574468, 'rougeLsum': 0.276595744680851} Sari: {'sari': 40.81667993284855} Flesh Reading Ease: 74.75 ---------------------------------------- Source: ['« Aber die zwei anderen ließen dem Vater keine Ruhe und sprachen, unmöglich könnte der Dummling, dem es in allen Dingen an Verstand fehlte, König werden, und baten ihn, er möchte eine neue Bedingung machen.'] Prediction: ['Ein Dummling bat in allen Dingen eine neue Bedingung.\nDer Vater möchte eine neue Bedingung machen.'] Label: [['Und die Brüder vom Dummling bitten den König um eine neue Aufgabe.\nDer Dummling darf nicht König sein.\nDer Dummling ist dumm.\nAber die Brüder vom Dummling sagen zum König:']] Sacrebleu: {'score': 2.763758608025448, 'counts': [6, 2, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [33.333333333333336, 11.764705882352942, 3.125, 1.6666666666666667], 'bp': 0.41111229050718745, 'sys_len': 18, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.11764705882352941, 0.0, 0.0], 'brevity_penalty': 0.41111229050718745, 'length_ratio': 0.5294117647058824, 'translation_length': 18, 'reference_length': 34} Rouge: {'rouge1': 0.15384615384615385, 'rouge2': 0.039999999999999994, 'rougeL': 0.15384615384615385, 'rougeLsum': 0.15384615384615385} Sari: {'sari': 37.700138026224984} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Zu derselben Zeit kam auch der Dummling zurück und brachte seinen schönen Teppich, und als der König den sah, erstaunte er und sprach: »Wenn es dem Recht nach gehen soll, so gehört dem jüngsten das Königreich.'] Prediction: ['Der Dummling ist seit einem Jahr auf derselben Welt geworden.\nDer Recht nach dem Recht soll nicht nach gehen.'] Label: [['Und sagt: Der Dummling wird König.\nDer König staunt.\nUnd der Dummling bringt dem König seinen schönen Teppich.']] Sacrebleu: {'score': 5.420299397467588, 'counts': [6, 2, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [28.571428571428573, 10.0, 2.6315789473684212, 1.3888888888888888], 'bp': 0.9534969548334766, 'sys_len': 21, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.1, 0.0, 0.0], 'brevity_penalty': 0.9534969548334766, 'length_ratio': 0.9545454545454546, 'translation_length': 21, 'reference_length': 22} Rouge: {'rouge1': 0.1951219512195122, 'rouge2': 0.05128205128205128, 'rougeL': 0.1951219512195122, 'rougeLsum': 0.1951219512195122} Sari: {'sari': 44.8893298971704} Flesh Reading Ease: 88.6 ---------------------------------------- Source: ['»Was sollen wir uns mit Suchen große Mühe geben,« sprachen sie, nahmen dem ersten besten Schäfersweib, das ihnen begegnete, die groben Tücher vom Leib und trugen sie dem König heim.'] Prediction: ['Ein Schäfersweib, das groben Tücher vom Leib trugen, sprachen sie.\nDer erste beste Schäfersweib sprachen sie, das ihnen begegnete, die groben Tücher trugen sie dem König heim.'] Label: [['Die Brüder bringen dem König die alten Tücher.\nUnd die Brüder suchen nicht weiter.\nDie Brüder finden alte Tücher auf dem Weg.\nDeshalb machen wir es uns leicht.']] Sacrebleu: {'score': 3.072311854373273, 'counts': [7, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [21.21212121212121, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.21212121212121213, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.03125, 'translation_length': 33, 'reference_length': 32} Rouge: {'rouge1': 0.27272727272727276, 'rouge2': 0.125, 'rougeL': 0.21212121212121213, 'rougeLsum': 0.24242424242424243} Sari: {'sari': 34.5679012345679} Flesh Reading Ease: 67.05 ---------------------------------------- Source: ['Die beiden anderen hatten aber ihren jüngsten Bruder für so albern gehalten, daß sie glaubten, er würde gar nichts finden und aufbringen.'] Prediction: ['Einige Frauen haben ihren jüngsten Bruder albern gehalten.\nSie glaubten, er würde gar nichts finden und aufbringen.'] Label: [['Der Dummling findet nichts.\nDie Brüder vom Dummling denken: Der Dummling ist dumm.']] Sacrebleu: {'score': 2.5197593442434796, 'counts': [3, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [15.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 20, 'reference_length': 16} Rouge: {'rouge1': 0.06060606060606061, 'rouge2': 0.0, 'rougeL': 0.06060606060606061, 'rougeLsum': 0.06060606060606061} Sari: {'sari': 34.161793372319686} Flesh Reading Ease: 60.35 ---------------------------------------- Source: ['Da dankte er ihr und stieg wieder hinauf.'] Prediction: ['Ein Mann hatte sich in der Nacht auf Sonntag in die Schweiz geschossen.\nEr wurde dabei verletzt.\nDer Mann war zuvor wieder hinauf.'] Label: [['Und der Dummling geht zurück zum Schloss.\nDer Dummling bedankt sich bei der Kröte.']] Sacrebleu: {'score': 3.632928877985223, 'counts': [5, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [19.23076923076923, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.19230769230769232, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.625, 'translation_length': 26, 'reference_length': 16} Rouge: {'rouge1': 0.15384615384615383, 'rouge2': 0.0, 'rougeL': 0.10256410256410256, 'rougeLsum': 0.15384615384615383} Sari: {'sari': 44.462796129462795} Flesh Reading Ease: 90.4 ---------------------------------------- Source: ['Die junge Itsche holte die Schachtel, und die dicke Itsche machte sie auf und gab dem Dummling einen Teppich daraus, so schön und so fein, wie oben auf der Erde keiner konnte gewebt werden.'] Prediction: ['Eine junge Itsche holte die Schachtel, und einen Teppich daraus gab dem Dummling einen Teppich daraus.\nDie junge Itsche holte die Schachtel, und gab dem Dummling einen Teppich daraus.'] Label: [['Der Teppich ist schöner als alle Teppiche auf der Welt.\nDie dicke Kröte gibt dem Dummling den Teppich.\nUnd holt einen Teppich heraus.\nDie dicke Kröte macht die Schachtel auf.\nDie kleine Kröte bringt eine große Schachtel.']] Sacrebleu: {'score': 3.7849238506350633, 'counts': [12, 4, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [36.36363636363637, 12.5, 1.6129032258064515, 0.8333333333333334], 'bp': 0.7613003866968737, 'sys_len': 33, 'ref_len': 42} Bleu: {'bleu': 0.0, 'precisions': [0.36363636363636365, 0.125, 0.0, 0.0], 'brevity_penalty': 0.7613003866968737, 'length_ratio': 0.7857142857142857, 'translation_length': 33, 'reference_length': 42} Rouge: {'rouge1': 0.3661971830985915, 'rouge2': 0.08695652173913043, 'rougeL': 0.22535211267605634, 'rougeLsum': 0.3380281690140845} Sari: {'sari': 39.988765776580905} Flesh Reading Ease: 71.9 ---------------------------------------- Source: ["»Jungfer grün und klein, Hutzelbein, Hutzelbeins Hündchen, Hutzel hin und her, bring' mir die große Schachtel her.«"] Prediction: ["Immer mehr geschützt, Hutzelbein, Hutzelbeins Hündchen, Hutzel hin und her, bring' mir die große Schachtel her.\nImmer mehr geschützt werden, wenn du ihr geschützt wird."] Label: [['Bring mir die große Schachtel!']] Sacrebleu: {'score': 7.261813302549418, 'counts': [4, 3, 2, 1], 'totals': [32, 31, 30, 29], 'precisions': [12.5, 9.67741935483871, 6.666666666666667, 3.4482758620689653], 'bp': 1.0, 'sys_len': 32, 'ref_len': 6} Bleu: {'bleu': 0.07261813302549416, 'precisions': [0.125, 0.0967741935483871, 0.06666666666666667, 0.034482758620689655], 'brevity_penalty': 1.0, 'length_ratio': 5.333333333333333, 'translation_length': 32, 'reference_length': 6} Rouge: {'rouge1': 0.33333333333333337, 'rouge2': 0.29411764705882354, 'rougeL': 0.33333333333333337, 'rougeLsum': 0.33333333333333337} Sari: {'sari': 42.43055555555556} Flesh Reading Ease: 73.9 ---------------------------------------- Source: ['« Da rief sie eine junge und sprach:'] Prediction: ['Eine junge Frau wurde in der Nacht auf Sonntag von ihrem Mann aufgefunden.\nSie war eine junge Frau, die ihn nach dem Mann gewann.\nDie Frau war eine junge Frau, die ihn nach dem Mann gewann.'] Label: [['Die dicke Kröte sagt zu einer kleinen Kröte:']] Sacrebleu: {'score': 0.8954307276600084, 'counts': [1, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [2.4390243902439024, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.024390243902439025, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.555555555555555, 'translation_length': 41, 'reference_length': 9} Rouge: {'rouge1': 0.04347826086956522, 'rouge2': 0.0, 'rougeL': 0.04347826086956522, 'rougeLsum': 0.04347826086956522} Sari: {'sari': 49.25213675213676} Flesh Reading Ease: 86.1 ---------------------------------------- Source: ['Er antwortete: »Ich hätte gern den schönsten und feinsten Teppich.'] Prediction: ['Der Schweizer Mario hat seinen schönsten und feinsten Teppich.\nDer Schönste-Kollegen hatte seinen schönsten und feinsten Teppich.\nNun hat er seinen Titel.'] Label: [['Ich brauche den schönsten Teppich.\nDer Dummling sagt zu der dicken Kröte:']] Sacrebleu: {'score': 6.024757292375468, 'counts': [4, 2, 1, 0], 'totals': [25, 24, 23, 22], 'precisions': [16.0, 8.333333333333334, 4.3478260869565215, 2.272727272727273], 'bp': 1.0, 'sys_len': 25, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.16, 0.08333333333333333, 0.043478260869565216, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7857142857142858, 'translation_length': 25, 'reference_length': 14} Rouge: {'rouge1': 0.25, 'rouge2': 0.10526315789473685, 'rougeL': 0.2, 'rougeLsum': 0.2} Sari: {'sari': 38.90496758143817} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ['Die dicke Itsche fragte, was sein Begehren wäre.'] Prediction: ['Die Schweizer Nati hat einen Sieg gegen die Schweizer Meisterschaft.\nDer Sieg ging nach dem ersten Mal auf dem Weg.\nDer Sieg wurde nur noch nicht gefasst.'] Label: [['Die dicke Kröte fragt: Was willst du?']] Sacrebleu: {'score': 1.2414943415352928, 'counts': [1, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [3.3333333333333335, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.03333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3333333333333335, 'translation_length': 30, 'reference_length': 9} Rouge: {'rouge1': 0.05714285714285714, 'rouge2': 0.0, 'rougeL': 0.05714285714285714, 'rougeLsum': 0.05714285714285714} Sari: {'sari': 50.324074074074076} Flesh Reading Ease: 94.95 ---------------------------------------- Source: ['Die Thür that sich auf und er sah eine große Itsche (Kröte) sitzen und rings um sie eine Menge kleiner Itschen.'] Prediction: ['Eine Itsche (Kröte) ist eine Menge kleiner Itschen.\nThür That sich auf und er sah eine große Itsche (Kröte) sitzen und rings um sie eine Menge kleiner Itschen.'] Label: [['Und um die dicke Kröte herum sitzen viele kleine Kröten.\nUnd dick.\nDie Kröte ist groß.\nDer Dummling sieht eine Kröte.\nDie Tür geht auf.']] Sacrebleu: {'score': 1.8853392178716653, 'counts': [9, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [26.470588235294116, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.2647058823529412, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1333333333333333, 'translation_length': 34, 'reference_length': 30} Rouge: {'rouge1': 0.41935483870967744, 'rouge2': 0.09999999999999999, 'rougeL': 0.19354838709677422, 'rougeLsum': 0.3548387096774193} Sari: {'sari': 30.016819089666775} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ['Da kam er vor eine andere Thür, klopfte an, und hörte, wie es inwendig rief:'] Prediction: ['Ein Thür hat eine andere Thür.\nDer Thür klopfte an und hörte, wie es inwendig rief.'] Label: [['Der Dummling klopft an die Tür.\nUnten ist eine Tür.']] Sacrebleu: {'score': 3.0272532566104675, 'counts': [5, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [26.31578947368421, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.2631578947368421, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5833333333333333, 'translation_length': 19, 'reference_length': 12} Rouge: {'rouge1': 0.3125, 'rouge2': 0.0, 'rougeL': 0.18749999999999997, 'rougeLsum': 0.3125} Sari: {'sari': 38.49206349206349} Flesh Reading Ease: 90.1 ---------------------------------------- Source: ['Er hob sie in die Höhe, fand eine Treppe und stieg hinab.'] Prediction: ['Ein Mann hat sich in der Höhe von einem Treppe gefunden.\nEr stieg hinab.'] Label: [['Der Dummling geht die Treppe hinunter.\nUnter der Fall∙tür ist eine Treppe.\nDer Dummling öffnet die Fall∙tür.']] Sacrebleu: {'score': 2.6935542467877966, 'counts': [4, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [25.0, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 0.7788007830714049, 'sys_len': 16, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7788007830714049, 'length_ratio': 0.8, 'translation_length': 16, 'reference_length': 20} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.0, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 42.60010822510822} Flesh Reading Ease: 91.1 ---------------------------------------- Source: ['Da bemerkte er auf einmal, daß neben der Feder eine Fallthür lag.'] Prediction: ['Ein Schweizer war auf einmal in den Sommer gefallen.\nEr war eine Fallthür.\nDer Mann bemerkte aber auf einmal.'] Label: [['Neben der Feder ist eine Fall∙tür.\nPlötzlich sieht der Dummling:']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 22, 'reference_length': 12} Rouge: {'rouge1': 0.18181818181818185, 'rouge2': 0.0, 'rougeL': 0.18181818181818185, 'rougeLsum': 0.18181818181818185} Sari: {'sari': 40.525446775446774} Flesh Reading Ease: 80.1 ---------------------------------------- Source: ['Der Dummling setzte sich nieder und war traurig.'] Prediction: ['Ein Dummling hatte sich in der Nacht auf Sonntag in die Nacht gefunden.\nDer Dummling war traurig.'] Label: [['Und ist traurig.\nDer Dummling setzt sich hin.']] Sacrebleu: {'score': 9.917720727091444, 'counts': [6, 3, 1, 0], 'totals': [19, 18, 17, 16], 'precisions': [31.57894736842105, 16.666666666666668, 5.882352941176471, 3.125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.3157894736842105, 0.16666666666666666, 0.058823529411764705, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9, 'translation_length': 19, 'reference_length': 10} Rouge: {'rouge1': 0.31999999999999995, 'rouge2': 0.08695652173913043, 'rougeL': 0.15999999999999998, 'rougeLsum': 0.31999999999999995} Sari: {'sari': 53.9520202020202} Flesh Reading Ease: 89.6 ---------------------------------------- Source: ['Nun ging der eine Bruder rechts, der andere ging links, und sie lachten den Dummling aus, der bei der dritten Feder, da, wo sie niedergefallen war, bleiben mußte.'] Prediction: ['In der Nacht auf Sonntag wurde ein Dummling von einem Bruder rechts gefunden.\nDie Bruder lachten den Dummling aus, wo sie niedergefallen war.'] Label: [['Deshalb lachen seine Brüder über den Dummling.\nNur der Dummling muss bei der 3.\nFeder bleiben.\nEin Sohn folgt der Feder nach Westen.\nEin Sohn folgt der Feder nach Osten.']] Sacrebleu: {'score': 2.689796982106058, 'counts': [6, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [23.076923076923077, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 0.7074036474040616, 'sys_len': 26, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.04, 0.0, 0.0], 'brevity_penalty': 0.7074036474040618, 'length_ratio': 0.7428571428571429, 'translation_length': 26, 'reference_length': 35} Rouge: {'rouge1': 0.18518518518518517, 'rouge2': 0.03846153846153846, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.18518518518518517} Sari: {'sari': 35.872035573122524} Flesh Reading Ease: 74.9 ---------------------------------------- Source: ['Die eine Feder flog nach Osten, die andere nach Westen, die dritte flog aber gerade aus und flog nicht weit, sondern fiel bald zur Erde.'] Prediction: ['Die Schweiz hat einen grossen Sieg auf den Osten.\nDie Schweiz hat einen grossen Sieg auf den Osten.'] Label: [['Und fällt auf den Boden.\nNur die 3.\nFeder fliegt gerade∙aus.\nUnd eine Feder fliegt links nach Westen.\nEine Feder fliegt rechts nach Osten.']] Sacrebleu: {'score': 3.6510579873765, 'counts': [5, 2, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 10.526315789473685, 2.7777777777777777, 1.4705882352941178], 'bp': 0.6376281516217733, 'sys_len': 20, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.10526315789473684, 0.0, 0.0], 'brevity_penalty': 0.6376281516217733, 'length_ratio': 0.6896551724137931, 'translation_length': 20, 'reference_length': 29} Rouge: {'rouge1': 0.18181818181818185, 'rouge2': 0.04761904761904763, 'rougeL': 0.18181818181818185, 'rougeLsum': 0.18181818181818185} Sari: {'sari': 53.5447790227202} Flesh Reading Ease: 100.8 ---------------------------------------- Source: ['»Wie die fliegen, so sollt ihr ziehen.«'] Prediction: ['Eine Frau soll immer mehrfach fliegen.\nIhr sollte ihr ziehen.'] Label: [['Folgt den Federn!']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 12, 'ref_len': 4} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 12, 'reference_length': 4} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 41.66666666666667} Flesh Reading Ease: 81.4 ---------------------------------------- Source: ['Und damit es keinen Streit unter ihnen gab, führte er sie vor sein Schloß, blies drei Federn in die Luft und sprach:'] Prediction: ['Immer mehr Federn ging es in der Luft.\nDer Streit unter ihnen gab es keinen Streit.\nEinige Federn blieben in die Luft und sprach.'] Label: [['Dann sagt der König zu seinen 3 Söhnen: Der König pustet 3 Federn in die Luft.\nDer König und seine 3 Söhne gehen vor das Schloss.']] Sacrebleu: {'score': 8.928604232475555, 'counts': [9, 4, 2, 0], 'totals': [27, 26, 25, 24], 'precisions': [33.333333333333336, 15.384615384615385, 8.0, 2.0833333333333335], 'bp': 0.9286029058931802, 'sys_len': 27, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.15384615384615385, 0.08, 0.0], 'brevity_penalty': 0.9286029058931802, 'length_ratio': 0.9310344827586207, 'translation_length': 27, 'reference_length': 29} Rouge: {'rouge1': 0.2545454545454545, 'rouge2': 0.11320754716981132, 'rougeL': 0.2545454545454545, 'rougeLsum': 0.2545454545454545} Sari: {'sari': 41.74000062544954} Flesh Reading Ease: 90.1 ---------------------------------------- Source: ['Da sprach er zu ihnen: »Zieht aus, und wer mir den feinsten Teppich bringt, der soll nach meinem Tode König sein.«'] Prediction: ['Ein 20-Minuten-Radio-Host hat sich mit seinem ähnlichen Teppich über die Frage gefeiert.\nEr sprach von seinem feinsten Teppich aus, wer er den feinsten Teppich bringt.'] Label: [['Der Sohn mit dem schönsten Teppich wird König.\nUnd der König sagt zu seinen Söhnen: Sucht den schönsten Teppich.']] Sacrebleu: {'score': 1.943043650185126, 'counts': [6, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3636363636363635, 'translation_length': 30, 'reference_length': 22} Rouge: {'rouge1': 0.15384615384615383, 'rouge2': 0.0, 'rougeL': 0.15384615384615383, 'rougeLsum': 0.15384615384615383} Sari: {'sari': 34.231582125603865} Flesh Reading Ease: 68.05 ---------------------------------------- Source: ['Als der König alt und schwach ward und an sein Ende dachte, wußte er nicht, welcher von seinen Söhnen nach ihm das Reich erben sollte.'] Prediction: ['Der König wurde von seinen Söhnen nach ihm das Reich erben sollte.\nAls der König alt und schwach ward und an sein Ende dachte, wußte er nicht, welcher von seinen Söhnen nach ihm das Reich erben sollte.'] Label: [['Welcher Sohn wird nach mir König?\nDeshalb fragt sich der König: Und auch krank.\nDer König ist schon sehr alt.']] Sacrebleu: {'score': 3.0118579559893055, 'counts': [8, 2, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [19.51219512195122, 5.0, 1.2820512820512822, 0.6578947368421053], 'bp': 1.0, 'sys_len': 41, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.1951219512195122, 0.05, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7083333333333333, 'translation_length': 41, 'reference_length': 24} Rouge: {'rouge1': 0.30769230769230765, 'rouge2': 0.12698412698412698, 'rougeL': 0.2153846153846154, 'rougeLsum': 0.30769230769230765} Sari: {'sari': 37.26190476190476} Flesh Reading Ease: 79.6 ---------------------------------------- Source: ['Es war einmal ein König, der hatte drei Söhne, davon waren zwei klug und gescheit, aber der dritte sprach nicht viel, war einfältig und hieß nur der Dummling.'] Prediction: ['Ein König hatte drei Söhne, davon waren zwei klug und gescheit.\nDer Dummling hieß nur der Dummling.'] Label: [['Deshalb heißt dieser Sohn: Dummling.\nUnd 1 Sohn ist dumm.\n2 Söhne sind klug.\nEin König hat 3 Söhne: Es war einmal:']] Sacrebleu: {'score': 4.175086364947132, 'counts': [7, 2, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 10.526315789473685, 2.7777777777777777, 1.4705882352941178], 'bp': 0.6703200460356393, 'sys_len': 20, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.35, 0.10526315789473684, 0.0, 0.0], 'brevity_penalty': 0.6703200460356393, 'length_ratio': 0.7142857142857143, 'translation_length': 20, 'reference_length': 28} Rouge: {'rouge1': 0.35555555555555557, 'rouge2': 0.13953488372093023, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.35555555555555557} Sari: {'sari': 35.733024691358025} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['Da hatten alle Sorgen ein Ende, und sie lebten in lauter Freude zusammen.'] Prediction: ['Einige Frauen lebten in ihrer Freude zusammen.\nSie waren in lauter Freude zusammen.'] Label: [['Hänsel und Gretel und ihr Vater leben glücklich zusammen.\nUnd die Familie muss nie wieder Hunger leiden.\nJetzt ist die Familie reich.']] Sacrebleu: {'score': 2.986360200388484, 'counts': [3, 1, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [20.0, 7.142857142857143, 3.8461538461538463, 2.0833333333333335], 'bp': 0.513417119032592, 'sys_len': 15, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.07142857142857142, 0.0, 0.0], 'brevity_penalty': 0.513417119032592, 'length_ratio': 0.6, 'translation_length': 15, 'reference_length': 25} Rouge: {'rouge1': 0.05405405405405406, 'rouge2': 0.0, 'rougeL': 0.05405405405405406, 'rougeLsum': 0.05405405405405406} Sari: {'sari': 38.40277777777778} Flesh Reading Ease: 56.5 ---------------------------------------- Source: ['Gretel schüttete sein Schürzchen aus, daß die Perlen und Edelsteine in der Stube herumsprangen, und Hänsel warf eine Handvoll nach der andern aus seiner Tasche dazu.'] Prediction: ['Ein Schürzchen schüttete in der Stube einen anderen Schürzchen aus.\nDer andere schüttete den Schürzchen aus und schüttete sein Schürzchen aus.'] Label: [['Dann zeigen Hänsel und Gretel dem Vater die Edel∙steine.']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3, 'translation_length': 23, 'reference_length': 10} Rouge: {'rouge1': 0.05128205128205127, 'rouge2': 0.0, 'rougeL': 0.05128205128205127, 'rougeLsum': 0.05128205128205127} Sari: {'sari': 33.75350140056022} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['Da fingen sie an zu laufen, stürzten in die Stube hinein und fielen ihrem Vater um den Hals.'] Prediction: ['Einige Frauen wurden in den vergangenen Tagen in die Stube hinein.\nSie fingen sie an und fielen ihrem Vater um den Hals.\nDie Frauen waren nicht mehr gefallen, sondern auch ihrem Vater.'] Label: [['Hänsel und Gretel umarmen den Vater.\nUnd der Vater ist sehr glücklich.\nDer Vater sieht Hänsel und Gretel.\nHänsel und Gretel gehen in das Haus hinein:']] Sacrebleu: {'score': 2.9867390496386634, 'counts': [9, 1, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [25.0, 2.857142857142857, 1.4705882352941178, 0.7575757575757576], 'bp': 1.0, 'sys_len': 36, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.02857142857142857, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 36, 'reference_length': 30} Rouge: {'rouge1': 0.19354838709677422, 'rouge2': 0.0, 'rougeL': 0.12903225806451615, 'rougeLsum': 0.19354838709677422} Sari: {'sari': 38.241106719367586} Flesh Reading Ease: 69.85 ---------------------------------------- Source: ['Der Mann hatte keine frohe Stunde gehabt, seitdem er die Kinder im Walde gelassen hatte, die Frau aber war gestorben.'] Prediction: ['Ein Mann hatte Kinder im Walde gelassen.\nDie Frau war gestorben.'] Label: [['Die Stief∙mutter ist nämlich gestorben.\nDie Stief∙mutter ist nicht mehr da.\nOhne seine Kinder war der Vater sehr traurig.']] Sacrebleu: {'score': 4.838693166975792, 'counts': [6, 2, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [46.15384615384615, 16.666666666666668, 4.545454545454546, 2.5], 'bp': 0.50041992036057, 'sys_len': 13, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.46153846153846156, 0.16666666666666666, 0.0, 0.0], 'brevity_penalty': 0.50041992036057, 'length_ratio': 0.5909090909090909, 'translation_length': 13, 'reference_length': 22} Rouge: {'rouge1': 0.24242424242424246, 'rouge2': 0.0, 'rougeL': 0.12121212121212123, 'rougeLsum': 0.24242424242424246} Sari: {'sari': 39.255782462304204} Flesh Reading Ease: 80.9 ---------------------------------------- Source: ['« Das that das gute Tierchen, und als sie glücklich drüben waren und ein Weilchen fortgingen, da kam ihnen der Wald immer bekannter und immer bekannter vor, und endlich erblickten sie von weitem ihres Vaters Haus. « Als sie aber ein paar Stunden gegangen waren, gelangten sie an ein großes Wasser.'] Prediction: ['Eine Frau erblickte von ihrem Vaters Haus einen Weilchen.\nAls sie ein paar Stunden gegangen waren, gelangten sie an ein großes Wasser.'] Label: [['Nach einer Weile sehen Hänsel und Gretel das Haus vom Vater.\nHänsel und Gretel finden endlich den Weg aus dem Wald.\nHänsel und Gretel haben Glück:']] Sacrebleu: {'score': 1.6891676725883336, 'counts': [3, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [12.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.8521437889662115, 'sys_len': 25, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.12, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8521437889662112, 'length_ratio': 0.8620689655172413, 'translation_length': 25, 'reference_length': 29} Rouge: {'rouge1': 0.03773584905660378, 'rouge2': 0.0, 'rougeL': 0.03773584905660378, 'rougeLsum': 0.03773584905660378} Sari: {'sari': 33.77952227589909} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['»Aber jetzt wollen wir fort,« sagte Hänsel, »damit wir aus dem Hexenwalde herauskommen.'] Prediction: ['Der Grund: Im Hexenwalde wollen wir fort.\nDie Polizei hatte den Grund: Es ist der erste Mal.'] Label: [['Und Hänsel und Gretel laufen durch den Wald.\nLass uns den Weg nach Hause suchen.\nDann sagt Hänsel zu Gretel:']] Sacrebleu: {'score': 2.3350155441098117, 'counts': [4, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [19.047619047619047, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 0.909156442876713, 'sys_len': 21, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.19047619047619047, 0.0, 0.0, 0.0], 'brevity_penalty': 0.909156442876713, 'length_ratio': 0.9130434782608695, 'translation_length': 21, 'reference_length': 23} Rouge: {'rouge1': 0.05128205128205128, 'rouge2': 0.0, 'rougeL': 0.05128205128205128, 'rougeLsum': 0.05128205128205128} Sari: {'sari': 44.48051948051948} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['»Die sind noch besser als Kieselsteine,« sagte Hänsel und steckte in seine Taschen was hinein wollte, und Gretel sagte: »Ich will auch etwas mit nach Hause bringen,« und füllte sich sein Schürzchen voll.'] Prediction: ['Einige Frauen wollten sich in den Schürzchen einige Monate nach Hause bringen.\nGretel und Hänsel wollten sich noch besser als Kieselsteine.'] Label: [['Und auch Gretel nimmt einige Edel∙steine.\nHänsel steckt sich Edel∙steine in seine Hosen∙taschen.']] Sacrebleu: {'score': 2.678425460878287, 'counts': [7, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [30.434782608695652, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.30434782608695654, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5333333333333334, 'translation_length': 23, 'reference_length': 15} Rouge: {'rouge1': 0.35, 'rouge2': 0.052631578947368425, 'rougeL': 0.19999999999999998, 'rougeLsum': 0.3} Sari: {'sari': 38.3008658008658} Flesh Reading Ease: 58.35 ---------------------------------------- Source: ['Und weil sie sich nicht mehr zu fürchten brauchten, so gingen sie in das Haus der Hexe hinein, da standen in allen Ecken Kasten mit Perlen und Edelsteinen.'] Prediction: ['In der Hexe gingen die Hexen hinein.\nWeil sie sich nicht mehr zu fürchten brauchten, so gingen sie in das Haus der Hexe hinein.'] Label: [['In den Kisten sind Edel∙steine.\nIn allen Ecken stehen große Kisten.\nDann gehen Hänsel und Gretel in das Häuschen von der Hexe:']] Sacrebleu: {'score': 4.514788618484021, 'counts': [7, 2, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [25.925925925925927, 7.6923076923076925, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.25925925925925924, 0.07692307692307693, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.08, 'translation_length': 27, 'reference_length': 25} Rouge: {'rouge1': 0.19607843137254902, 'rouge2': 0.08163265306122448, 'rougeL': 0.19607843137254902, 'rougeLsum': 0.19607843137254902} Sari: {'sari': 34.18219852043381} Flesh Reading Ease: 86.1 ---------------------------------------- Source: ['Wie haben sie sich gefreut, sind sich um den Hals gefallen, sind herumgesprungen und haben sich geküßt!'] Prediction: ['Eine Frau hat sich gefreut, sich um den Hals gefallen und haben sich geküßt.\nWie haben sie sich gefreut, sind sich um den Hals gefallen und haben sich geküßt.\nWie haben sie sich gefreut, sind sich um den Hals gefallen und haben sich geküßt!'] Label: [['Hänsel und Gretel umarmen sich.']] Sacrebleu: {'score': 0.959641509636166, 'counts': [3, 0, 0, 0], 'totals': [50, 49, 48, 47], 'precisions': [6.0, 1.0204081632653061, 0.5208333333333334, 0.26595744680851063], 'bp': 1.0, 'sys_len': 50, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.06, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 8.333333333333334, 'translation_length': 50, 'reference_length': 6} Rouge: {'rouge1': 0.07547169811320754, 'rouge2': 0.0, 'rougeL': 0.07547169811320754, 'rougeLsum': 0.07547169811320754} Sari: {'sari': 36.86594202898551} Flesh Reading Ease: 83.4 ---------------------------------------- Source: ['Gretel aber lief schnurstracks zum Hänsel, öffnete sein Ställchen und rief: »Hänsel, wir sind erlöst, die alte Hexe ist tot!'] Prediction: ['Der Schweizer Hexen ist tot.\nDas ist ein Jahr nach der alten Hexe.\nDie alten Hexe ist tot.'] Label: [['Die böse Hexe ist im Ofen verbrannt!\nUnd ruft: Wir sind frei!\nGretel befreit Hänsel aus dem Käfig.\nDann läuft Gretel schnell zum Käfig.']] Sacrebleu: {'score': 3.1203667270627813, 'counts': [5, 1, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [23.80952380952381, 5.0, 2.6315789473684212, 1.3888888888888888], 'bp': 0.6832104226749482, 'sys_len': 21, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.23809523809523808, 0.05, 0.0, 0.0], 'brevity_penalty': 0.6832104226749482, 'length_ratio': 0.7241379310344828, 'translation_length': 21, 'reference_length': 29} Rouge: {'rouge1': 0.1276595744680851, 'rouge2': 0.044444444444444446, 'rougeL': 0.1276595744680851, 'rougeLsum': 0.1276595744680851} Sari: {'sari': 46.00374453921365} Flesh Reading Ease: 97.95 ---------------------------------------- Source: ['aber Gretel lief fort und die gottlose Hexe mußte elendiglich verbrennen.'] Prediction: ['Immer mehr als die elfjährige Hexe verbrennen wird.\nGretel ging von einer gottlosen Hexe auf.\nDas ganze Werk ist noch nicht bekannt.'] Label: [['Und die böse Hexe verbrennt im Ofen.']] Sacrebleu: {'score': 1.9822566267103439, 'counts': [3, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [12.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.12, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.125, 'translation_length': 25, 'reference_length': 8} Rouge: {'rouge1': 0.12903225806451613, 'rouge2': 0.0, 'rougeL': 0.12903225806451613, 'rougeLsum': 0.12903225806451613} Sari: {'sari': 53.6075036075036} Flesh Reading Ease: 79.1 ---------------------------------------- Source: ['Da gab ihr Gretel einen Stoß, daß sie weit hineinfuhr, machte die eiserne Thür zu und schob den Riegel vor.'] Prediction: ['Ein ehemaliger Schutzmädchen schob Gretel den Riegel vor.\nDas gab ihr Gretel einen Stoß, daß sie weit hineinfuhr, machte die eiserne Thür zu und schob den Riegel vor.'] Label: [['Gretel macht schnell die Tür vom Ofen zu.\nDie Hexe fällt in den Ofen.\nUnd sofort gibt Gretel der Hexe einen Stoß:']] Sacrebleu: {'score': 3.378939372622377, 'counts': [9, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [28.125, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.28125, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.28, 'translation_length': 32, 'reference_length': 25} Rouge: {'rouge1': 0.33333333333333326, 'rouge2': 0.038461538461538464, 'rougeL': 0.1851851851851852, 'rougeLsum': 0.2962962962962963} Sari: {'sari': 38.688610240334384} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['»Dumme Gans,« sagte die Alte, »die Öffnung ist groß genug, siehst du wohl, ich könnte selbst hinein,« krabbelte heran und steckte den Kopf in den Backofen.'] Prediction: ['Im Kopf krabbelte eine Alte heran.\nDie Alte krabbelte den Kopf in den Backofen.'] Label: [['Die Hexe steckt den Kopf in den Ofen.\nUnd die Hexe macht es Gretel vor: Ich zeige es dir.\nGeh da weg.\nUnd sagt: Dummes Kind!\nDie Hexe ist wütend.']] Sacrebleu: {'score': 4.73947413682418, 'counts': [7, 3, 2, 1], 'totals': [16, 15, 14, 13], 'precisions': [43.75, 20.0, 14.285714285714286, 7.6923076923076925], 'bp': 0.26914634872918386, 'sys_len': 16, 'ref_len': 37} Bleu: {'bleu': 0.047394741368241816, 'precisions': [0.4375, 0.2, 0.14285714285714285, 0.07692307692307693], 'brevity_penalty': 0.26914634872918386, 'length_ratio': 0.43243243243243246, 'translation_length': 16, 'reference_length': 37} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.13953488372093023, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 52.34582668793194} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ["wie komm ich da hinein? Aber Gretel merkte, was sie im Sinn hatte, und sprach: »Ich weiß nicht, wie ich's machen soll;"] Prediction: ['Gretel hatte im Sinn, was sie im Sinn hatte, und sprach: "Ich weiß nicht, wie ich\'s machen soll; wie ich\'s machen soll; Gretel merkte, was sie im Sinn hatte, und sprach: "Ich weiß nicht, wie ich\'s machen soll; wie ich\'s machen soll;'] Label: [['Wie komme ich in den Ofen?\nUnd deshalb fragt Gretel die Hexe: Gretel kennt den Plan von der Hexe.\nAber Gretel ist schlau.']] Sacrebleu: {'score': 0.8539456561476954, 'counts': [3, 0, 0, 0], 'totals': [56, 55, 54, 53], 'precisions': [5.357142857142857, 0.9090909090909091, 0.46296296296296297, 0.2358490566037736], 'bp': 1.0, 'sys_len': 56, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.05357142857142857, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.074074074074074, 'translation_length': 56, 'reference_length': 27} Rouge: {'rouge1': 0.14492753623188406, 'rouge2': 0.0, 'rougeL': 0.08695652173913045, 'rougeLsum': 0.14492753623188406} Sari: {'sari': 32.594056507099985} Flesh Reading Ease: 67.8 ---------------------------------------- Source: ["Und wenn Gretel darin war, wollte sie den Ofen zumachen und Gretel sollte darin braten, und dann wollte sie's auch aufessen."] Prediction: ["Gretel (34) wollte Gretel (29) den Ofen zumachen.\nDas war dann, wenn sie den Ofen zumachen und Gretel sollte darin braten.\nWann dann wollte sie's auch aufessen?\nWir haben die besten Details zum Interviews veröffentlicht."] Label: [['Gretel soll im Ofen braten.\nDie Hexe will Gretel nämlich in den Ofen stoßen.']] Sacrebleu: {'score': 2.799103318440567, 'counts': [8, 2, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [18.181818181818183, 4.651162790697675, 1.1904761904761905, 0.6097560975609756], 'bp': 1.0, 'sys_len': 44, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.046511627906976744, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 44, 'reference_length': 16} Rouge: {'rouge1': 0.2641509433962264, 'rouge2': 0.0392156862745098, 'rougeL': 0.1509433962264151, 'rougeLsum': 0.2641509433962264} Sari: {'sari': 39.360036099166535} Flesh Reading Ease: 77.6 ---------------------------------------- Source: ['»Kriech hinein,« sagte die Hexe, »und sieh zu, ob schon recht eingeheizt ist, damit wir das Brot hineinschießen können.«'] Prediction: ['Im Brot kannst du ein recht eingeheizt werden.\nDie Hexe kannst du das Brot hineinschießen.'] Label: [['Gretel soll in den Ofen steigen.\nIst der Ofen heiß?']] Sacrebleu: {'score': 2.2869567780619007, 'counts': [1, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [5.882352941176471, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4166666666666667, 'translation_length': 17, 'reference_length': 12} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 42.73809523809524} Flesh Reading Ease: 84.75 ---------------------------------------- Source: ['»Spare nur dein Geplärre,« sagte die Alte, »es hilft dir alles nichts.«'] Prediction: ['Die Alte war mit einem Geplärren in der Schweiz.\nDie Alte war mit einem Geplärren zu sehen.'] Label: [['Weinen hilft dir nicht.\nAber die Hexe sagt zu Gretel: Sei still.\nDie arme Gretel weint viele Tränen.']] Sacrebleu: {'score': 4.111695414936657, 'counts': [4, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [21.05263157894737, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 0.8539396656235351, 'sys_len': 19, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 0.8539396656235351, 'length_ratio': 0.8636363636363636, 'translation_length': 19, 'reference_length': 22} Rouge: {'rouge1': 0.15789473684210525, 'rouge2': 0.0, 'rougeL': 0.10526315789473684, 'rougeLsum': 0.15789473684210525} Sari: {'sari': 54.06293133195308} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['»Lieber Gott, hilf uns doch,« rief sie aus, »hätten uns nur die wilden Tiere im Wald gefressen, so wären wir doch zusammen gestorben.«'] Prediction: ['Im Wald wurden Tiere immer mehr gefeiert.\nDie Tiere waren nur im Wald gefressen.\nDie Tiere waren zusammen gestorben.'] Label: [['Die Hexe darf Hänsel nicht essen.\nDer liebe Gott soll uns beschützen!\nGretel denkt:']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2941176470588236, 'translation_length': 22, 'reference_length': 17} Rouge: {'rouge1': 0.05714285714285714, 'rouge2': 0.0, 'rougeL': 0.05714285714285714, 'rougeLsum': 0.05714285714285714} Sari: {'sari': 43.3974358974359} Flesh Reading Ease: 68.4 ---------------------------------------- Source: ['Hänsel mag fett oder mager sein, morgen will ich ihn schlachten und kochen.'] Prediction: ['Hänsel mag fett oder mager sein, morgen will ich ihn schlachten und kochen.\nHänsel mag fett oder mager sein, morgen will ich ihn schlachten und kochen.'] Label: [['Morgen will ich Hänsel im Ofen braten.']] Sacrebleu: {'score': 2.952787808378777, 'counts': [4, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [13.333333333333334, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.75, 'translation_length': 30, 'reference_length': 8} Rouge: {'rouge1': 0.2777777777777778, 'rouge2': 0.17647058823529413, 'rougeL': 0.2777777777777778, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 40.773809523809526} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['Als vier Wochen herum waren und Hänsel immer mager blieb, da übernahm sie die Ungeduld und sie wollte nicht länger warten.'] Prediction: ['Hänsel wurde immer mager blieb.\nAls vier Wochen herum waren und Hänsel immer mager blieb, da übernahm sie die Ungeduld und sie wollte nicht länger warten.'] Label: [['Hänsel und Gretel sind viele Wochen bei der Hexe.\nDie Zeit vergeht:']] Sacrebleu: {'score': 1.8196871111910016, 'counts': [4, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0714285714285716, 'translation_length': 29, 'reference_length': 14} Rouge: {'rouge1': 0.23809523809523808, 'rouge2': 0.05, 'rougeL': 0.1904761904761905, 'rougeLsum': 0.1904761904761905} Sari: {'sari': 36.27450980392157} Flesh Reading Ease: 73.4 ---------------------------------------- Source: ['« Hänsel streckte ihr aber ein Knöchlein heraus, und die Alte, die trübe Augen hatte, konnte es nicht sehen und meinte, es wären Hänsels Finger, und verwunderte sich, daß er gar nicht fett werden wollte.'] Prediction: ['Ein Knöchlein hat ein Hänsel herausgebracht.\nDer Finger wurde von einem Knöchlein herausgebracht.\nHänsel streckte ihr aber ein Knöchlein heraus.'] Label: [['Und die Hexe denkt: Hänsel ist immer noch zu dünn.\nDeshalb sieht die Hexe den Knochen nicht.\nDie Hexe hat nämlich schlechte Augen.\nHänsel steckt einen dünnen Knochen durch das Gitter.\nHänsel steckt nicht seine Finger durch das Gitter.\nAber Hänsel ist schlau:']] Sacrebleu: {'score': 1.3926054947734017, 'counts': [7, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [30.434782608695652, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 0.30915483498901647, 'sys_len': 23, 'ref_len': 50} Bleu: {'bleu': 0.0, 'precisions': [0.30434782608695654, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 0.30915483498901647, 'length_ratio': 0.46, 'translation_length': 23, 'reference_length': 50} Rouge: {'rouge1': 0.18666666666666668, 'rouge2': 0.054794520547945195, 'rougeL': 0.16, 'rougeLsum': 0.16} Sari: {'sari': 36.27263237432998} Flesh Reading Ease: 68.0 ---------------------------------------- Source: ['Jeden Morgen schlich die Alte zu dem Ställchen und rief: »Hänsel, streck deine Finger heraus, damit ich fühle, ob du bald fett bist.'] Prediction: ['Ein Ställchen-Ställchen hat einen Finger erfasst.\nDie Finger fühle ihn bald fett bist.'] Label: [['Ich will deine Finger fühlen.\nZeig mir deine Finger.\nUnd die Hexe fragt: Bist du schon fett?\nJeden Morgen kommt die Hexe zu Hänsel.']] Sacrebleu: {'score': 1.5453256663698869, 'counts': [5, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [33.333333333333336, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.39324072086859824, 'sys_len': 15, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.39324072086859835, 'length_ratio': 0.5172413793103449, 'translation_length': 15, 'reference_length': 29} Rouge: {'rouge1': 0.2790697674418605, 'rouge2': 0.048780487804878044, 'rougeL': 0.13953488372093026, 'rougeLsum': 0.23255813953488372} Sari: {'sari': 33.29678362573099} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['Gretel fing an bitterlich zu weinen, aber es war alles vergeblich, sie mußte thun, was die böse Hexe verlangte.'] Prediction: ['Eine böse Hexe ist in der Schweiz aufgebrochen.\nDie böse Hexe ist auf die Suche nachgewiesen.\nDie Welt ist auf die Suche nachgewiesen.'] Label: [['Aber Gretel muss auf die Hexe hören.\nGretel weint viele Tränen.']] Sacrebleu: {'score': 3.632928877985223, 'counts': [5, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [19.23076923076923, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.19230769230769232, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 26, 'reference_length': 13} Rouge: {'rouge1': 0.15789473684210525, 'rouge2': 0.05555555555555555, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.15789473684210525} Sari: {'sari': 47.90078068264343} Flesh Reading Ease: 72.85 ---------------------------------------- Source: ['Wenn er fett ist, so will ich ihn essen.«'] Prediction: ['Im Interview mit 20 Minuten spricht über ihre Welt und ihre Welt im Interview.\nWir haben sich über ihre Welt und Welt vorgestellt.'] Label: [['Dann kann ich Hänsel essen.']] Sacrebleu: {'score': 1.506189323093867, 'counts': [1, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [4.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.04, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.166666666666667, 'translation_length': 25, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 51.89393939393939} Flesh Reading Ease: 80.75 ---------------------------------------- Source: ['Dann ging sie zur Gretel, rüttelte sie wach und rief: »Steh auf, Faulenzerin, trag Wasser und koch deinem Bruder etwas Gutes, der sitzt draußen im Stall und soll fett werden.'] Prediction: ['Eine Gretel-Fälle wurde von Faulenzerin gefunden.\nSie trag Wasser und fett werden.\nDie Frau sitzt draußen im Stall und soll fett werden.'] Label: [['Hänsel soll nämlich fett werden.\nEssen!\nKoch Mach dich an die Arbeit!\nDann sagt die Hexe zu Gretel: Du faules Mädchen!']] Sacrebleu: {'score': 5.788523179970295, 'counts': [4, 2, 1, 0], 'totals': [25, 24, 23, 22], 'precisions': [16.0, 8.333333333333334, 4.3478260869565215, 2.272727272727273], 'bp': 0.9607894391523232, 'sys_len': 25, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.16, 0.08333333333333333, 0.043478260869565216, 0.0], 'brevity_penalty': 0.9607894391523232, 'length_ratio': 0.9615384615384616, 'translation_length': 25, 'reference_length': 26} Rouge: {'rouge1': 0.20408163265306126, 'rouge2': 0.0425531914893617, 'rougeL': 0.12244897959183673, 'rougeLsum': 0.20408163265306126} Sari: {'sari': 40.140755930229616} Flesh Reading Ease: 79.1 ---------------------------------------- Source: ['Da packte sie Hänsel mit ihrer dürren Hand und trug ihn in einen kleinen Stall und sperrte ihn mit einer Gitterthür ein;'] Prediction: ['Eine Hänsel hatte ihn in einen kleinen Stall und sperrte ihn mit einer Gitterthür ein.\nSie packte sie Hänsel mit ihrer dürren Hand und trug ihn in einen kleinen Stall und sperrte ihn mit einer Gitterthür ein.'] Label: [['Der Käfig hat ein Gitter.\nUnd die Hexe sperrt Hänsel in einen Käfig.\nDie Hexe packt Hänsel.\nDie Hexe ist böse.']] Sacrebleu: {'score': 2.5802625919834825, 'counts': [7, 1, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [17.94871794871795, 2.6315789473684212, 1.3513513513513513, 0.6944444444444444], 'bp': 1.0, 'sys_len': 39, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.1794871794871795, 0.02631578947368421, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.56, 'translation_length': 39, 'reference_length': 25} Rouge: {'rouge1': 0.23529411764705882, 'rouge2': 0.0909090909090909, 'rougeL': 0.17647058823529413, 'rougeLsum': 0.20588235294117643} Sari: {'sari': 38.65079365079365} Flesh Reading Ease: 73.75 ---------------------------------------- Source: ['Wenn eins in ihre Gewalt kam, so machte sie es tot, kochte es und aß es, und das war ihr ein Festtag.'] Prediction: ['Eine Frau war tot in ihre Gewalt.\nSie kochte es und aß es, das war ihr ein Festtag.'] Label: [['Und die böse Hexe will Hänsel und Gretel essen.']] Sacrebleu: {'score': 2.159701133933343, 'counts': [2, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [9.523809523809524, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.09523809523809523, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1, 'translation_length': 21, 'reference_length': 10} Rouge: {'rouge1': 0.06896551724137931, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 34.046052631578945} Flesh Reading Ease: 94.95 ---------------------------------------- Source: ['Die Alte hatte sich nur so freundlich angestellt, sie war aber eine böse Hexe, die den Kindern auflauerte, und hatte das Brothäuslein bloß gebaut, um sie herbeizulocken.'] Prediction: ['Eine böse Hexe hatte in den USA eine böse Hexe, die den Kindern auflauerte, und hatte das Brothäuslein bloß gebaut, um sie herbeizulocken.\nDie Alte hatte sich nur so freundlich angestellt, sie war aber eine böse Hexe, die den Kindern auflauerte, und hatte das Brothäuslein bloß gebaut, um sie herbeizulocken.'] Label: [['Die alte Frau ist nämlich eine böse Hexe.']] Sacrebleu: {'score': 2.601098383059072, 'counts': [5, 2, 1, 0], 'totals': [59, 58, 57, 56], 'precisions': [8.474576271186441, 3.4482758620689653, 1.7543859649122806, 0.8928571428571429], 'bp': 1.0, 'sys_len': 59, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.0847457627118644, 0.034482758620689655, 0.017543859649122806, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.555555555555555, 'translation_length': 59, 'reference_length': 9} Rouge: {'rouge1': 0.1846153846153846, 'rouge2': 0.12698412698412698, 'rougeL': 0.1846153846153846, 'rougeLsum': 0.1846153846153846} Sari: {'sari': 38.251608887282515} Flesh Reading Ease: 49.7 ---------------------------------------- Source: ['Hernach wurden zwei schöne Bettlein weiß gedeckt und Hänsel und Gretel legten sich hinein und meinten, sie wären im Himmel.'] Prediction: ['In der Nacht auf Sonntag wurden zwei schöne Bettlein weiß gedeckt.\nHänsel und Gretel legten sich hinein und meinten, sie wären im Himmel.'] Label: [['Hänsel und Gretel sind sehr glücklich.\nDann gehen Hänsel und Gretel ins Bett.']] Sacrebleu: {'score': 6.394766688900896, 'counts': [6, 2, 1, 0], 'totals': [26, 25, 24, 23], 'precisions': [23.076923076923077, 8.0, 4.166666666666667, 2.1739130434782608], 'bp': 1.0, 'sys_len': 26, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.08, 0.041666666666666664, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7333333333333334, 'translation_length': 26, 'reference_length': 15} Rouge: {'rouge1': 0.2380952380952381, 'rouge2': 0.15, 'rougeL': 0.2380952380952381, 'rougeLsum': 0.2380952380952381} Sari: {'sari': 34.712276214833764} Flesh Reading Ease: 80.75 ---------------------------------------- Source: ['Da ward gutes Essen aufgetragen, Milch und Pfannkuchen mit Zucker, Äpfel und Nüsse.'] Prediction: ['Wer sich mit einer guten Essen aufgetragen hat, ist noch unklar.\nWir haben sie gefunden, wie es mit dem Essen gesucht hat.'] Label: [['• Und Nüsse.\n• Äpfel.\n• Und Pfann∙kuchen.\n• Milch.\nDie alte Frau gibt Hänsel und Gretel zu essen:']] Sacrebleu: {'score': 1.7179060012299232, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0833333333333333, 'translation_length': 26, 'reference_length': 24} Rouge: {'rouge1': 0.049999999999999996, 'rouge2': 0.0, 'rougeL': 0.049999999999999996, 'rougeLsum': 0.049999999999999996} Sari: {'sari': 38.95502645502645} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['« Sie faßte beide an der Hand und führte sie in ihr Häuschen.'] Prediction: ['Eine Frau (23) führte in ihr Häuschen.\nSie führte sie in ihr Häuschen.'] Label: [['Hänsel und Gretel gehen mit der alten Frau ins Häuschen.']] Sacrebleu: {'score': 5.061867434834413, 'counts': [3, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [17.647058823529413, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 1.0, 'sys_len': 17, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0625, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5454545454545454, 'translation_length': 17, 'reference_length': 11} Rouge: {'rouge1': 0.27586206896551724, 'rouge2': 0.07407407407407407, 'rougeL': 0.20689655172413793, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 38.452380952380956} Flesh Reading Ease: 91.6 ---------------------------------------- Source: ['Kommt nur herein und bleibt bei mir, es geschieht euch kein Leid. Die Alte aber wackelte mit dem Kopfe und sprach: »Ei, ihr lieben Kinder, wer hat euch hierher gebracht?'] Prediction: ['Eine Alte wollte ihren Mann auf die Kopf geben.\nDie Alte wollte ihn nicht aufmerksam machen.\nDie Alte wollte ihn nicht aufmerksam machen.'] Label: [['Habt keine Angst.\nKommt herein.\nAber die alte Frau sagt: Liebe Kinder!']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.625, 'translation_length': 26, 'reference_length': 16} Rouge: {'rouge1': 0.11428571428571427, 'rouge2': 0.060606060606060615, 'rougeL': 0.11428571428571427, 'rougeLsum': 0.11428571428571427} Sari: {'sari': 50.33089515848136} Flesh Reading Ease: 72.85 ---------------------------------------- Source: ['Hänsel und Gretel erschraken so gewaltig, daß sie fallen ließen, was sie in den Händen hielten.'] Prediction: ['Hänsel und Gretel sind so gewaltig, was sie in den Händen hielten.\nDas hat das Paar zu Gast.\nWir haben die beiden mit Gretel und Hänsel geschickt.'] Label: [['Hänsel und Gretel erschrecken sich.']] Sacrebleu: {'score': 4.797392517011848, 'counts': [4, 2, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [12.903225806451612, 6.666666666666667, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.12903225806451613, 0.06666666666666667, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.166666666666667, 'translation_length': 31, 'reference_length': 6} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.17647058823529413, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 41.670856376738726} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['Da ging auf einmal die Thür auf und eine steinalte Frau, die sich auf eine Krücke stützte, kam herausgeschlichen.'] Prediction: ['Eine steinalte Frau stützte sich auf eine Krücke.\nDer Mann kam ausgeschlichen und ging auf einmal auf.'] Label: [['Und eine alte Frau kommt aus dem Häuschen.\nDie Tür vom Häuschen geht auf.']] Sacrebleu: {'score': 5.0912128230977505, 'counts': [5, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [26.31578947368421, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 1.0, 'sys_len': 19, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2631578947368421, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1875, 'translation_length': 19, 'reference_length': 16} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.0, 'rougeL': 0.16666666666666669, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 36.42015681774718} Flesh Reading Ease: 77.9 ---------------------------------------- Source: ['und aßen weiter, ohne sich irre machen zu lassen.'] Prediction: ['Wegen der Corona-Pandemie werden die Menschen wegen der Virus ausgebrochen.\nDie Menschen sind sich in den sozialen Medien geworden.'] Label: [['Dann essen Hänsel und Gretel weiter.']] Sacrebleu: {'score': 1.8160849415439309, 'counts': [1, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [4.761904761904762, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.047619047619047616, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 21, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 59.81481481481481} Flesh Reading Ease: 47.65 ---------------------------------------- Source: ['»Der Wind, der Wind, das himmlische Kind,« die Kinder antworteten:'] Prediction: ['Eine Kinder-Kollegin hat einen hemlischen Kind entwendet.\nDie Kinder antworteten den Wind, der Wind, das hemlische Kind.'] Label: [['Das himmlische Kind.\nDer Wind.\nHänsel und Gretel antworten: Der Wind.']] Sacrebleu: {'score': 4.567211833282236, 'counts': [5, 1, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [23.80952380952381, 5.0, 2.6315789473684212, 1.3888888888888888], 'bp': 1.0, 'sys_len': 21, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.23809523809523808, 0.05, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 21, 'reference_length': 15} Rouge: {'rouge1': 0.33333333333333337, 'rouge2': 0.07142857142857142, 'rougeL': 0.26666666666666666, 'rougeLsum': 0.33333333333333337} Sari: {'sari': 35.279245536598474} Flesh Reading Ease: 60.35 ---------------------------------------- Source: ['»Knupper, knupper, kneischen, wer knuppert an meinem Häuschen?« Da rief eine feine Stimme aus der Stube heraus:'] Prediction: ['Immer mehr knuppert sich im Alter von 99 Jahren.\nImmer mehr Stube, mehr Stube, mehr Stube.\nDie Stimme aus der Stube heraus: Knupper, knupper, kneischen.'] Label: [['Wer knuspert an meinem Häuschen?\nDie Stimme kommt aus dem Häuschen: Knusper knusper Knäuschen.\nPlötzlich hören Hänsel und Gretel eine Stimme.']] Sacrebleu: {'score': 2.9561645124389617, 'counts': [6, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [18.181818181818183, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.32, 'translation_length': 33, 'reference_length': 25} Rouge: {'rouge1': 0.11538461538461538, 'rouge2': 0.04, 'rougeL': 0.11538461538461538, 'rougeLsum': 0.11538461538461538} Sari: {'sari': 29.944300947590424} Flesh Reading Ease: 78.1 ---------------------------------------- Source: ['Ich will ein Stück vom Dach essen, Gretel, du kannst, vom Fenster essen, das schmeckt süß.'] Prediction: ['Gretel (23) ist ein Stück vom Dach essen.\nIm Interview mit 20 Minuten spricht Gretel über ihre Leistungen.\nIm Interview spricht Gretel über ihre Leistungen und ihre Leistungen.'] Label: [['Hänsel und Gretel essen ein Stück vom Häuschen.\nIch esse ein Stück vom Dach.']] Sacrebleu: {'score': 8.611161279613844, 'counts': [9, 3, 2, 1], 'totals': [33, 32, 31, 30], 'precisions': [27.272727272727273, 9.375, 6.451612903225806, 3.3333333333333335], 'bp': 1.0, 'sys_len': 33, 'ref_len': 16} Bleu: {'bleu': 0.08611161279613844, 'precisions': [0.2727272727272727, 0.09375, 0.06451612903225806, 0.03333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 2.0625, 'translation_length': 33, 'reference_length': 16} Rouge: {'rouge1': 0.3404255319148936, 'rouge2': 0.17777777777777778, 'rougeL': 0.2553191489361702, 'rougeLsum': 0.2978723404255319} Sari: {'sari': 58.64327801827801} Flesh Reading Ease: 71.25 ---------------------------------------- Source: ['»Da wollen wir uns dranmachen,« sprach Hänsel, »und eine gesegnete Mahlzeit halten.'] Prediction: ['Immer wieder wollen sich die Menschen ihre Mahlzeit dran machen.\nDiese wollen sie sich dranmachen.'] Label: [['Lass uns ein Stück vom Häuschen essen.\nUnd ich bin sehr hungrig.\nDas Häuschen sieht lecker aus.\nHänsel sagt zu Gretel:']] Sacrebleu: {'score': 1.698797377536768, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.6246347280002744, 'sys_len': 17, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6246347280002745, 'length_ratio': 0.68, 'translation_length': 17, 'reference_length': 25} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 59.19913419913419} Flesh Reading Ease: 73.05 ---------------------------------------- Source: ['aber die Fenster waren von hellem Zucker. Und als es fertig war, schwang es seine Flügel und flog vor ihnen her, und sie gingen ihm nach, bis sie zu einem Häuschen gelangten, auf dessen Dach es sich setzte, und als sie ganz nahe herankamen, so sahen sie, daß das Häuslein aus Brot gebaut war und mit Kuchen gedeckt;'] Prediction: ['Eine Fenster-Fälle flog vor ihnen her, bis sie zu einem Häuschen gelangten, als sie ganz nahe herankamen, so sahen sie, daß das Häuslein aus Brot gebaut war und mit Kuchen gedeckt.'] Label: [['Und das Dach von dem Häuschen ist mit Leb·kuchen bedeckt.\nUnd Zucker.\nDas Häuschen ist aus Brot.\nDann kommen Hänsel und Gretel zu einem Häuschen.\nHänsel und Gretel laufen dem kleinen Vogel nach.\nDann fliegt der kleine Vogel weiter.']] Sacrebleu: {'score': 4.329312856802523, 'counts': [9, 3, 1, 0], 'totals': [36, 35, 34, 33], 'precisions': [25.0, 8.571428571428571, 2.9411764705882355, 1.5151515151515151], 'bp': 0.7788007830714049, 'sys_len': 36, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.08571428571428572, 0.029411764705882353, 0.0], 'brevity_penalty': 0.7788007830714049, 'length_ratio': 0.8, 'translation_length': 36, 'reference_length': 45} Rouge: {'rouge1': 0.27499999999999997, 'rouge2': 0.12820512820512822, 'rougeL': 0.17500000000000002, 'rougeLsum': 0.27499999999999997} Sari: {'sari': 36.52265359161911} Flesh Reading Ease: 55.4 ---------------------------------------- Source: ['Als es Mittag war, sahen sie ein schönes schneeweißes Vöglein auf einem Ast sitzen, das sang so schön, daß sie stehen blieben und ihm zuhörten.'] Prediction: ['Eine Frau sang auf einem Ast.\nSie sang so schön, daß sie stehen blieben und ihm zuhörten.'] Label: [['Der kleine Vogel singt wunder∙schön.\nNach einer Weile sehen Hänsel und Gretel einen kleinen Vogel auf einem Ast.']] Sacrebleu: {'score': 13.264759167412226, 'counts': [6, 3, 2, 1], 'totals': [20, 19, 18, 17], 'precisions': [30.0, 15.789473684210526, 11.11111111111111, 5.882352941176471], 'bp': 1.0, 'sys_len': 20, 'ref_len': 20} Bleu: {'bleu': 0.1326475916741222, 'precisions': [0.3, 0.15789473684210525, 0.1111111111111111, 0.058823529411764705], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 20, 'reference_length': 20} Rouge: {'rouge1': 0.3, 'rouge2': 0.15789473684210525, 'rougeL': 0.15, 'rougeLsum': 0.3} Sari: {'sari': 43.19685990338164} Flesh Reading Ease: 89.6 ---------------------------------------- Source: ['Sie gingen die ganze Nacht und noch einen Tag von Morgen bis Abend, aber sie kamen aus dem Walde nicht heraus, und waren so hungrig, denn sie hatten nichts als die paar Beeren, die auf der Erde standen.'] Prediction: ['Eine Frau wurde auf der Erde von einem Walde in Zürich geschickt.\nSie kamen aus dem Walde nicht heraus und waren so hungrig, denn sie hatten nichts als die paar Beeren, die auf der Erde standen.'] Label: [['Hänsel und Gretel sind hungrig.\nSo laufen Hänsel und Gretel 3 Tage lang durch den Wald.\nAber Hänsel und Gretel finden den Weg nach Hause nicht.\nHänsel und Gretel suchen den Weg nach Hause.']] Sacrebleu: {'score': 1.3737889784665156, 'counts': [5, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [12.5, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0526315789473684, 'translation_length': 40, 'reference_length': 38} Rouge: {'rouge1': 0.10666666666666667, 'rouge2': 0.0, 'rougeL': 0.05333333333333334, 'rougeLsum': 0.08} Sari: {'sari': 34.74702380952381} Flesh Reading Ease: 80.1 ---------------------------------------- Source: ['« Als der Mond kam, machten sie sich auf, aber sie fanden kein Bröcklein mehr, denn die viel tausend Vögel, die im Walde und im Felde umherfliegen, die hatten sie weggepickt.'] Prediction: ['Viele Vögel, die im Walde und im Felde umherfliegen, hatten sie weggepickt.\nAls der Mond kam, machten sie sich auf, aber sie fanden kein Bröcklein mehr.'] Label: [['Vögel haben die Brot∙krümel gegessen.\nDie Brot∙krümel sind weg.']] Sacrebleu: {'score': 1.6404472625060698, 'counts': [4, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [12.5, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.909090909090909, 'translation_length': 32, 'reference_length': 11} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.05, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 33.73015873015873} Flesh Reading Ease: 79.25 ---------------------------------------- Source: ['Sie erwachten erst in der finsteren Nacht, und Hänsel tröstete sein Schwesterchen und sagte: »Wart nur, Gretel, bis der Mond aufgeht, dann werden wir die Brotbröcklein sehen, die ich ausgestreut habe, die zeigen uns den Weg nach Hause.'] Prediction: ['Eine Leserin erwachte erst in der finsteren Nacht, und Hänsel tröstete sein Schwesterchen.\nDie Brotbröcklein sind die Brotbröcklein sehen, die sie ausgestreut haben.'] Label: [['Aber Hänsel und Gretel sehen die Brot∙krümel auf dem Weg nicht.\nSo können Hänsel und Gretel vielleicht die Brot∙krümel auf dem Weg sehen.\nZum Glück scheint der Mond hell.\nHänsel und Gretel wachen auf.\nEs ist dunkle Nacht.']] Sacrebleu: {'score': 1.329027141577689, 'counts': [9, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [33.333333333333336, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 0.5528920012788026, 'sys_len': 27, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5528920012788026, 'length_ratio': 0.627906976744186, 'translation_length': 27, 'reference_length': 43} Rouge: {'rouge1': 0.2162162162162162, 'rouge2': 0.05555555555555555, 'rougeL': 0.13513513513513514, 'rougeLsum': 0.18918918918918917} Sari: {'sari': 35.36814826358226} Flesh Reading Ease: 57.35 ---------------------------------------- Source: ['Dann schliefen sie ein, und der Abend verging, aber niemand kam zu den armen Kindern.'] Prediction: ['Eine Frau (27) schlief ein, niemand war zu den armen Kindern.\nDas war niemand, aber niemand kam zu den armen Kindern.'] Label: [['Und Hänsel und Gretel schlafen ein.\nHänsel und Gretel sind sehr müde.']] Sacrebleu: {'score': 1.826472886268134, 'counts': [3, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [11.11111111111111, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9285714285714286, 'translation_length': 27, 'reference_length': 14} Rouge: {'rouge1': 0.05555555555555555, 'rouge2': 0.0, 'rougeL': 0.05555555555555555, 'rougeLsum': 0.05555555555555555} Sari: {'sari': 34.70695970695971} Flesh Reading Ease: 87.6 ---------------------------------------- Source: ['wir gehen in den Wald und hauen Holz, und abends, wenn wir fertig sind, kommen wir und holen euch ab. Da ward wieder ein großes Feuer angemacht, und die Mutter sagte: »Bleibt nur da sitzen, ihr Kinder, und wenn ihr müde seid, könnt ihr ein wenig schlafen;'] Prediction: ['Wendige Woche gehen in den Wald und hauen Holz.\nWenn wir fertig sind, kommen wir und holen euch ab.\nWir sind wieder in großes Feuer angemacht.'] Label: [['Wir holen euch später ab.\nWir gehen Holz sammeln.\nIhr wartet hier.\nIm Wald sagt die Stief∙mutter zu Hänsel und Gretel:']] Sacrebleu: {'score': 7.077187862619301, 'counts': [11, 3, 1, 0], 'totals': [30, 29, 28, 27], 'precisions': [36.666666666666664, 10.344827586206897, 3.5714285714285716, 1.8518518518518519], 'bp': 1.0, 'sys_len': 30, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.36666666666666664, 0.10344827586206896, 0.03571428571428571, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 30, 'reference_length': 25} Rouge: {'rouge1': 0.35294117647058826, 'rouge2': 0.08163265306122448, 'rougeL': 0.19607843137254902, 'rougeLsum': 0.35294117647058826} Sari: {'sari': 38.91915653551173} Flesh Reading Ease: 83.55 ---------------------------------------- Source: ['Hänsel aber warf nach und nach alle Bröcklein auf den Weg.'] Prediction: ['In der Schweiz sind alle Bröcklein auf den Weg gekommen.\nDie Bröcklein sind auf den Weg gekommen.'] Label: [['Und Hänsel lässt die Brot∙krümel auf den Weg fallen.']] Sacrebleu: {'score': 8.097785064266205, 'counts': [4, 2, 1, 0], 'totals': [19, 18, 17, 16], 'precisions': [21.05263157894737, 11.11111111111111, 5.882352941176471, 3.125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.1111111111111111, 0.058823529411764705, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9, 'translation_length': 19, 'reference_length': 10} Rouge: {'rouge1': 0.25, 'rouge2': 0.13333333333333333, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 46.94444444444445} Flesh Reading Ease: 89.6 ---------------------------------------- Source: ['Auf dem Wege nach dem Walde bröckelte es Hänsel in der Tasche, stand oft still und warf ein Bröcklein, auf die Erde.'] Prediction: ['Im Walde bröckelte es Hänsel in der Tasche.\nEin Bröcklein war oft still.'] Label: [['Die Familie geht in den Wald.\nAber Hänsel hat Brot∙krümel.']] Sacrebleu: {'score': 3.716499092256817, 'counts': [4, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [26.666666666666668, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 15, 'reference_length': 12} Rouge: {'rouge1': 0.20689655172413793, 'rouge2': 0.07407407407407407, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 35.625} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['Als die Alten schliefen, stand Hänsel wieder auf, wollte hinaus und Kieselsteine auflesen, wie das vorige Mal, aber die Frau hatte die Thür verschlossen, und Hänsel konnte nicht heraus.'] Prediction: ['Eine Frau hatte Hänsel verschlossen, wie das vorige Mal verschlossen hatte.\nHänsel konnte nicht heraus.'] Label: [['Deshalb kann Hänsel keine kleinen weißen Steine vom Hof holen.\nDie Stief∙mutter hat nämlich abends die Tür zum Hof abgeschlossen.\nDieses Mal hat Hänsel keine kleinen weißen Steine.']] Sacrebleu: {'score': 1.5597579745575245, 'counts': [5, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [27.77777777777778, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 0.4856717852477123, 'sys_len': 18, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.0, 0.0, 0.0], 'brevity_penalty': 0.4856717852477124, 'length_ratio': 0.5806451612903226, 'translation_length': 18, 'reference_length': 31} Rouge: {'rouge1': 0.1923076923076923, 'rouge2': 0.07999999999999999, 'rougeL': 0.1923076923076923, 'rougeLsum': 0.15384615384615385} Sari: {'sari': 35.820105820105816} Flesh Reading Ease: 61.35 ---------------------------------------- Source: ['Die Kinder müssen fort, wir wollen sie tiefer in den Wald hineinführen, damit sie den Weg nicht wieder herausfinden; »Alles ist wieder aufgezehrt, wir haben noch einen halben Laib Brot, hernach hat das Lied ein Ende. Nicht lange danach war wieder Not in allen Ecken, und die Kinder hörten wie die Mutter nachts im Bette zu dem Vater sprach:'] Prediction: ['Ein Laib Brot ist wieder aufgezehrt, wie die Mutter nachts im Bette zu dem Vater sprach.\nNicht lange danach war wieder Not in allen Ecken.\nDie Kinder hörten wie die Mutter nachts im Bette zu dem Vater sprach.'] Label: [['Die Stief∙mutter will Hänsel und Gretel wieder in den Wald schicken.\nWenige Tage später: Die Familie hat wieder nichts zu essen.']] Sacrebleu: {'score': 1.4204962126567007, 'counts': [7, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [16.666666666666668, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 42, 'reference_length': 24} Rouge: {'rouge1': 0.25396825396825395, 'rouge2': 0.0, 'rougeL': 0.1904761904761905, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 33.08221099887766} Flesh Reading Ease: 85.4 ---------------------------------------- Source: ['Der Vater aber freute sich, denn es war ihm zu Herzen gegangen, daß er sie so allein zurückgelassen hatte.'] Prediction: ['Ein Mann hatte sich mit seinem Partner zu Herzen gegangen.\nDer Vater freute sich, denn es war ihm zu Herzen gegangen, daß er sie so allein zurückgelassen hatte.'] Label: [['Der Vater freut sich sehr.']] Sacrebleu: {'score': 2.7588924449082466, 'counts': [4, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [12.5, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.333333333333333, 'translation_length': 32, 'reference_length': 6} Rouge: {'rouge1': 0.17647058823529413, 'rouge2': 0.0625, 'rougeL': 0.17647058823529413, 'rougeLsum': 0.17647058823529413} Sari: {'sari': 36.94444444444444} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ['Sie gingen die ganze Nacht hindurch und kamen bei anbrechendem Tage wieder zu ihres Vaters Haus. Und als der volle Mond aufgestiegen war, so nahm Hänsel sein Schwesterchen an der Hand und ging den Kieselsteinen nach, die schimmerten wie neugeschlagene Batzen und zeigten ihnen den Weg.'] Prediction: ['Am 19.\nJuni ging die Nacht in der Schweiz ein Mond.\nHänsel seiner Schwesterchen ging an der Hand und ging den Kieselsteinen nach.\nDie Kieselsteinen zeigten ihnen den Weg.'] Label: [['Hänsel und Gretel kommen zu Hause an.\nUnd Hänsel und Gretel finden den Weg nach Hause.\nSo können Hänsel und Gretel die kleinen weißen Steine auf dem Weg sehen.\nZum Glück scheint der Mond hell.']] Sacrebleu: {'score': 2.9902947032694542, 'counts': [13, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [39.39393939393939, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 0.8337529180751805, 'sys_len': 33, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.3939393939393939, 0.03125, 0.0, 0.0], 'brevity_penalty': 0.8337529180751805, 'length_ratio': 0.8461538461538461, 'translation_length': 33, 'reference_length': 39} Rouge: {'rouge1': 0.28169014084507044, 'rouge2': 0.057971014492753624, 'rougeL': 0.22535211267605634, 'rougeLsum': 0.2535211267605634} Sari: {'sari': 38.25910931174089} Flesh Reading Ease: 88.4 ---------------------------------------- Source: ['Als sie endlich erwachten, war es schon finstere Nacht.'] Prediction: ['Eine Frau wurde in der Nacht auf ihrem 26.\nMärz 2020 verstorben.\nSie war nach einem Finale von einem Jahr 2020 verstorben.\nNun wurde sie von der Polizei verletzt.'] Label: [['Hänsel und Gretel wachen auf.\nEs ist dunkle Nacht.']] Sacrebleu: {'score': 1.5883027492953543, 'counts': [4, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [12.121212121212121, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.12121212121212122, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 33, 'reference_length': 11} Rouge: {'rouge1': 0.1, 'rouge2': 0.0, 'rougeL': 0.05, 'rougeLsum': 0.1} Sari: {'sari': 53.379120879120876} Flesh Reading Ease: 84.95 ---------------------------------------- Source: ['Und als sie so lange gesessen hatten, fielen ihnen die Augen vor Müdigkeit zu, und sie schliefen fest ein.'] Prediction: ['Eine Frau wurde in der Nähe von ihrer Mannschaft schliefer fest eingefangen.\nIhre Augen wurden schliefer fest eingefangen.'] Label: [['Und Hänsel und Gretel schlafen ein.\nHänsel und Gretel sind sehr müde.']] Sacrebleu: {'score': 2.276859592073037, 'counts': [2, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [10.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4285714285714286, 'translation_length': 20, 'reference_length': 14} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 50.942460317460316} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Wenn wir fertig sind, kommen wir wieder und holen euch ab.«'] Prediction: ['Immer wieder kommen wir wieder und holen euch ab.\nWenn wir fertig sind, kommen wir wieder und holen euch ab.'] Label: [['Wir holen euch später ab.']] Sacrebleu: {'score': 4.657469807170696, 'counts': [4, 2, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [17.391304347826086, 9.090909090909092, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.09090909090909091, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.8333333333333335, 'translation_length': 23, 'reference_length': 6} Rouge: {'rouge1': 0.30769230769230765, 'rouge2': 0.08333333333333333, 'rougeL': 0.30769230769230765, 'rougeLsum': 0.30769230769230765} Sari: {'sari': 40.25974025974026} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['»Nun legt euch ans Feuer, ihr Kinder, und ruht euch aus, wir gehen in den Wald und hauen Holz.'] Prediction: ['Immer mehr Frauen und Frauen gehen in den Wald und hauen Holz.\nWir sind euch euch aus, wie sie sind.'] Label: [['Wir gehen Holz sammeln.\nIhr wartet hier.']] Sacrebleu: {'score': 2.4623373672221804, 'counts': [5, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [21.73913043478261, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5555555555555554, 'translation_length': 23, 'reference_length': 9} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.0, 'rougeL': 0.14814814814814817, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 35.57220965309201} Flesh Reading Ease: 93.95 ---------------------------------------- Source: ['Hänsel aber hatte nicht nach dem Kätzchen gesehen, sondern immer einen von den blanken Kieselsteinen aus seiner Tasche auf den Weg geworfen.'] Prediction: ['Im Kätzchen wurde ein blankes Kieselsteinen aus seiner Tasche gefunden.\nDas hatte nicht nach dem Kätzchen gesehen, sondern immer einen von den blanken Kieselsteinen aus seiner Tasche auf den Weg geworfen.'] Label: [['Und Hänsel lässt die kleinen weißen Steine auf den Weg fallen.\nHänsel hat kleine weiße Steine vom Hof in seinen Hosen·taschen.']] Sacrebleu: {'score': 4.603799154398035, 'counts': [5, 2, 1, 0], 'totals': [34, 33, 32, 31], 'precisions': [14.705882352941176, 6.0606060606060606, 3.125, 1.6129032258064515], 'bp': 1.0, 'sys_len': 34, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.14705882352941177, 0.06060606060606061, 0.03125, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4782608695652173, 'translation_length': 34, 'reference_length': 23} Rouge: {'rouge1': 0.09999999999999999, 'rouge2': 0.06896551724137931, 'rougeL': 0.09999999999999999, 'rougeLsum': 0.09999999999999999} Sari: {'sari': 33.708443397348944} Flesh Reading Ease: 59.2 ---------------------------------------- Source: ['Danach machten sie sich alle zusammen auf den Weg nach dem Walde.'] Prediction: ['Eine Frau (24) wurde am Freitagmorgen von ihrem Mann auf den Weg geschickt.\nSie war sie sich alle zusammen auf den Weg nach dem Walde.\nSie war sie sich alle zusammen auf den Weg nach dem Walde.'] Label: [['Die Familie geht in den Wald.']] Sacrebleu: {'score': 1.038539619163422, 'counts': [2, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [4.761904761904762, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.047619047619047616, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.0, 'translation_length': 42, 'reference_length': 7} Rouge: {'rouge1': 0.046511627906976744, 'rouge2': 0.0, 'rougeL': 0.046511627906976744, 'rougeLsum': 0.046511627906976744} Sari: {'sari': 35.8974358974359} Flesh Reading Ease: 85.8 ---------------------------------------- Source: ['»Steht auf, ihr Faulenzer, wir wollen in den Wald gehen und Holz holen.« Als der Tag anbrach, noch ehe die Sonne aufgegangen war, kam schon die Frau und weckte die beiden Kinder:'] Prediction: ['Eine Frau hat in den Walden ihren Faulenzer geheilt.\nSie war schon in den Wald gewesen.\nAls sie die Sonne aufgegangen war, kam schon die Frau und weckte die beiden Kinder.'] Label: [['Und Holz sammeln.\nWir wollen in den Wald gehen.\nSteht auf.\nDie Stief∙mutter weckt Hänsel und Gretel: Ihr faulen Kinder!\nEs ist der nächste Morgen.']] Sacrebleu: {'score': 5.023076320278877, 'counts': [8, 2, 1, 0], 'totals': [35, 34, 33, 32], 'precisions': [22.857142857142858, 5.882352941176471, 3.0303030303030303, 1.5625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.22857142857142856, 0.058823529411764705, 0.030303030303030304, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1290322580645162, 'translation_length': 35, 'reference_length': 31} Rouge: {'rouge1': 0.20338983050847456, 'rouge2': 0.07017543859649124, 'rougeL': 0.20338983050847456, 'rougeLsum': 0.20338983050847456} Sari: {'sari': 31.24856472190644} Flesh Reading Ease: 81.95 ---------------------------------------- Source: ['»Still, Gretel,« sprach Hänsel, »gräme dich nicht, ich will uns schon helfen.«'] Prediction: ['Im Interview mit Gretel spricht Hänsel über ihre Ärger.\nIm Interview spricht Gretel über ihre Ärger und ihre Ärgerin.'] Label: [['Mach dir keine Sorgen.\nHänsel tröstet Gretel:']] Sacrebleu: {'score': 2.3901021968803136, 'counts': [3, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [14.285714285714286, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 21, 'reference_length': 9} Rouge: {'rouge1': 0.20689655172413793, 'rouge2': 0.07407407407407407, 'rougeL': 0.20689655172413793, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 71.05 ---------------------------------------- Source: ["Gretel weinte bittere Thränen und sprach zu Hänsel: »Nun ist's um uns geschehen.«"] Prediction: ['Der Thriller-Star Gretel ist ein Schweizer.\nDer Thriller-Star weinte bittere Thränen und sprach zu Hänsel.\nIm Interview mit dem 20-Minuten-Podcast "Unchained" spricht Gretel über die Welt.'] Label: [['Gretel ist sehr traurig.']] Sacrebleu: {'score': 2.4858281414101677, 'counts': [3, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [9.090909090909092, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.6, 'translation_length': 33, 'reference_length': 5} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.0588235294117647, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 37.73199980096532} Flesh Reading Ease: 66.0 ---------------------------------------- Source: ['Die zwei Kinder hatten vor Hunger auch nicht einschlafen können und hatten gehört, was die Stiefmutter zum Vater gesagt hatte.'] Prediction: ['Eine Stiefmutter hatte vor Hunger eine Stiefmutter gesagt.\nSie hatten gehört und hatten gehört.'] Label: [['Deshalb haben Hänsel und Gretel alles gehört.\nAber Hänsel und Gretel sind noch wach.\nDiese Frau ist die Stief∙mutter von Hänsel und Gretel.']] Sacrebleu: {'score': 3.1134205846975775, 'counts': [4, 1, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [25.0, 6.666666666666667, 3.5714285714285716, 1.9230769230769231], 'bp': 0.5352614285189903, 'sys_len': 16, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 0.5352614285189903, 'length_ratio': 0.6153846153846154, 'translation_length': 16, 'reference_length': 26} Rouge: {'rouge1': 0.13636363636363635, 'rouge2': 0.047619047619047616, 'rougeL': 0.13636363636363635, 'rougeLsum': 0.13636363636363635} Sari: {'sari': 45.67166704263479} Flesh Reading Ease: 61.85 ---------------------------------------- Source: ['»O du Narr,« sagte sie, »dann müssen wir alle vier Hungers sterben, du kannst nur die Bretter für die Särge hobeln,« und ließ ihm keine Ruhe, bis er einwilligte. »'] Prediction: ['Eine Bretterin hat vier Hungers aufgefordert, die sie alle vier Hungers sterben.\nSie kannst nur die Bretter für die Särge hobeln, bis ihm einwilligte.'] Label: [['Wir können nicht genug Essen für uns alle kaufen.\nWir sind arm.\nDu Dumm∙kopf.\nSeine Frau antwortet:']] Sacrebleu: {'score': 1.8884748972625875, 'counts': [4, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [14.285714285714286, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 28, 'reference_length': 21} Rouge: {'rouge1': 0.13043478260869565, 'rouge2': 0.04545454545454545, 'rougeL': 0.08695652173913043, 'rougeLsum': 0.13043478260869565} Sari: {'sari': 34.77272727272727} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ["wie sollte ich's übers Herz bringen, meine Kinder im Walde allein zu lassen, die wilden Tiere würden bald kommen und sie zerreißen.« »Nein, Frau,« sagte der Mann, »das thue ich nicht;"] Prediction: ['Ein Mann sollte in der Nacht auf Sonntag meine Kinder allein zerreißen.\nIhm würden wilde Tiere bald kommen und sie zerreißen.'] Label: [['Die wilden Tiere werden die Kinder fressen.\nDer Vater antwortet: Ich will meine Kinder nicht im Wald lassen.']] Sacrebleu: {'score': 4.141141330484801, 'counts': [5, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [21.73913043478261, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0952380952380953, 'translation_length': 23, 'reference_length': 21} Rouge: {'rouge1': 0.1904761904761905, 'rouge2': 0.049999999999999996, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.1904761904761905} Sari: {'sari': 35.38741759329995} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['Sie finden den Weg nicht wieder nach Hause und wir sind sie los.«'] Prediction: ['Eine Frau wurde nicht wieder nach Hause gesucht.\nSie findet sie los.'] Label: [['Dann sind wir Hänsel und Gretel los.\nAlleine werden Hänsel und Gretel nicht den Weg nach Hause finden.']] Sacrebleu: {'score': 5.7907561680381034, 'counts': [6, 2, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [42.857142857142854, 15.384615384615385, 4.166666666666667, 2.272727272727273], 'bp': 0.6514390575310556, 'sys_len': 14, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.42857142857142855, 0.15384615384615385, 0.0, 0.0], 'brevity_penalty': 0.6514390575310556, 'length_ratio': 0.7, 'translation_length': 14, 'reference_length': 20} Rouge: {'rouge1': 0.25, 'rouge2': 0.06666666666666667, 'rougeL': 0.18749999999999997, 'rougeLsum': 0.25} Sari: {'sari': 34.06084656084656} Flesh Reading Ease: 86.25 ---------------------------------------- Source: ['« »Weißt du was, Mann,« antwortete die Frau, »wir wollen morgen in aller Frühe die Kinder hinaus in den Wald führen, wo er am dicksten ist:'] Prediction: ['Eine Frau hat in den Wald eine Kinderfahrt gefunden.\nSie hat ihren Mann in den Wald führen.\nDie Frau war das erste Mal, wo er am dicksten ist.'] Label: [['Seine Frau antwortet: Morgen bringen wir Hänsel und Gretel in den Wald.']] Sacrebleu: {'score': 4.906081629292277, 'counts': [5, 2, 1, 0], 'totals': [32, 31, 30, 29], 'precisions': [15.625, 6.451612903225806, 3.3333333333333335, 1.7241379310344827], 'bp': 1.0, 'sys_len': 32, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.15625, 0.06451612903225806, 0.03333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2857142857142856, 'translation_length': 32, 'reference_length': 14} Rouge: {'rouge1': 0.1904761904761905, 'rouge2': 0.1, 'rougeL': 0.1904761904761905, 'rougeLsum': 0.1904761904761905} Sari: {'sari': 41.707017647897246} Flesh Reading Ease: 88.8 ---------------------------------------- Source: ['Wie können wir unsere armen Kinder ernähren, da wir für uns selbst nichts mehr haben?'] Prediction: ['Wie können wir unsere armen Kinder ernähren, da wir für uns selbst nichts mehr haben haben können?\nWie können wir unsere armen Kinder ernähren?'] Label: [['Wir haben nichts zu essen für meine armen Kinder.']] Sacrebleu: {'score': 3.4901807086831904, 'counts': [5, 1, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [18.51851851851852, 3.8461538461538463, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.18518518518518517, 0.038461538461538464, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7, 'translation_length': 27, 'reference_length': 10} Rouge: {'rouge1': 0.35, 'rouge2': 0.10526315789473684, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 38.63856589147287} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Wie er sich nun abends im Bette Gedanken machte und sich vor Sorgen herumwälzte, seufzte er und sprach zu seiner Frau:'] Prediction: ['Ein Mann hat sich im Bette Gedanken gedankt und sich vor Sorgen herumwälzte.\nNun sprach er zu seiner Frau: Er hat sich nun im Gedanken gedankt und sich vor Sorgen herumwälzte.'] Label: [['Der Vater fragt seine neue Frau: Deshalb macht sich der Vater große Sorgen.']] Sacrebleu: {'score': 2.7374353552268276, 'counts': [5, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [14.705882352941176, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.14705882352941177, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2666666666666666, 'translation_length': 34, 'reference_length': 15} Rouge: {'rouge1': 0.1276595744680851, 'rouge2': 0.0, 'rougeL': 0.1276595744680851, 'rougeLsum': 0.1276595744680851} Sari: {'sari': 39.1921141921142} Flesh Reading Ease: 76.75 ---------------------------------------- Source: ['Er hatte wenig zu beißen und zu brechen, und einmal, als große Teuerung ins Land kam, konnte er auch das tägliche Brot nicht mehr schaffen.'] Prediction: ['Ein täglicher Brot hatte in einem Brot in die Nähe des Landes eingeführt.\nDer Brot konnte nicht mehr schaffen.\nDer Brot war wenig zu beißen und zu brechen, und einmal konnte er auch das tägliche Brot nicht mehr schaffen.'] Label: [['Und die Familie hat nur wenig zu essen.\nDie Familie ist arm.']] Sacrebleu: {'score': 2.1432834272474053, 'counts': [5, 1, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [11.627906976744185, 2.380952380952381, 1.2195121951219512, 0.625], 'bp': 1.0, 'sys_len': 43, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.11627906976744186, 0.023809523809523808, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0714285714285716, 'translation_length': 43, 'reference_length': 14} Rouge: {'rouge1': 0.14285714285714288, 'rouge2': 0.037037037037037035, 'rougeL': 0.10714285714285714, 'rougeLsum': 0.10714285714285714} Sari: {'sari': 37.56613756613756} Flesh Reading Ease: 79.25 ---------------------------------------- Source: ['das Bübchen hieß Hänsel und das Mädchen Gretel.'] Prediction: ['Das Bübchen hieß Hänsel und das Mädchen Gretel.\nDas hat eine neue Art von Gretel.\nIm Interview mit 20 Minuten spricht der Chef über die Welt und das Bübchen.'] Label: [['Und das Mädchen heißt Gretel.\nDer Junge heißt Hänsel.']] Sacrebleu: {'score': 3.630906651274709, 'counts': [6, 2, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [18.75, 6.451612903225806, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.06451612903225806, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.909090909090909, 'translation_length': 32, 'reference_length': 11} Rouge: {'rouge1': 0.34782608695652173, 'rouge2': 0.18181818181818182, 'rougeL': 0.26086956521739135, 'rougeLsum': 0.34782608695652173} Sari: {'sari': 47.629437651367475} Flesh Reading Ease: 88.4 ---------------------------------------- Source: ['Vor einem großen Walde wohnte ein armer Holzhacker mit seiner Frau und seinen zwei Kindern;'] Prediction: ['Ein Holzhacker wohnte in einem Walde mit seiner Frau und seinen zwei Kindern.\nDer Holzhacker wurde mit seiner Frau und seinen zwei Kindern verletzt.'] Label: [['Der Vater hat 2 Kinder: Eine Familie lebt an einem großen Wald.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 26, 'reference_length': 14} Rouge: {'rouge1': 0.10810810810810811, 'rouge2': 0.0, 'rougeL': 0.05405405405405406, 'rougeLsum': 0.10810810810810811} Sari: {'sari': 33.475334578275756} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['der Wolf ist tot!« und tanzten mit ihrer Mutter vor Freude um den Brunnen herum. »Der Wolf ist tot! Als die sieben Geißlein das sahen, da kamen sie herbeigelaufen, riefen laut:'] Prediction: ['Eine Mutter tanzte mit ihrer Mutter vor Freude um den Brunnen herum.\nAls sieben Geißlein das sahen, da kamen sie herbeigelaufen, riefen laut: Der Wolf ist tot!'] Label: [['Der Wolf ist tot!\nUnd rufen: Der Wolf ist tot!\nDie Ziegen∙mutter und die Ziegen∙kinder tanzen um den Brunnen.\nUnd die Ziegen∙mutter läuft mit.\nDie Ziegen∙kinder laufen zum Brunnen.\nDie Ziegen∙kinder sehen das.']] Sacrebleu: {'score': 15.223386884734422, 'counts': [12, 7, 5, 3], 'totals': [32, 31, 30, 29], 'precisions': [37.5, 22.580645161290324, 16.666666666666668, 10.344827586206897], 'bp': 0.7788007830714049, 'sys_len': 32, 'ref_len': 40} Bleu: {'bleu': 0.15223386884734424, 'precisions': [0.375, 0.22580645161290322, 0.16666666666666666, 0.10344827586206896], 'brevity_penalty': 0.7788007830714049, 'length_ratio': 0.8, 'translation_length': 32, 'reference_length': 40} Rouge: {'rouge1': 0.32835820895522383, 'rouge2': 0.15384615384615383, 'rougeL': 0.14925373134328357, 'rougeLsum': 0.32835820895522383} Sari: {'sari': 36.569147408414615} Flesh Reading Ease: 72.9 ---------------------------------------- Source: ['Und als er an den Brunnen kam und sich über das Wasser bückte und trinken wollte, da zogen ihn die schweren Steine hinein und er mußte jämmerlich ersaufen.'] Prediction: ['Ein Brunnen-Einrichtungsgerüchter ist in den Brunnen gefunden.\nEr kam an den Brunnen und trinken wollte und zogen die schweren Steine hinein.'] Label: [['Und ertrinkt.\nDer Wolf fällt in den Brunnen.\nDie Steine ziehen den Wolf in den Brunnen.\nAber die Steine im Bauch vom Wolf sind schwer.\nDeshalb lehnt sich der Wolf über den Rand vom Brunnen.\nDer Wolf will aus dem Brunnen trinken.']] Sacrebleu: {'score': 3.0911041877230523, 'counts': [10, 3, 1, 0], 'totals': [23, 22, 21, 20], 'precisions': [43.47826086956522, 13.636363636363637, 4.761904761904762, 2.5], 'bp': 0.33724132002352386, 'sys_len': 23, 'ref_len': 48} Bleu: {'bleu': 0.0, 'precisions': [0.43478260869565216, 0.13636363636363635, 0.047619047619047616, 0.0], 'brevity_penalty': 0.33724132002352386, 'length_ratio': 0.4791666666666667, 'translation_length': 23, 'reference_length': 48} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.09374999999999999, 'rougeL': 0.21212121212121213, 'rougeLsum': 0.30303030303030304} Sari: {'sari': 40.09708011270728} Flesh Reading Ease: 64.2 ---------------------------------------- Source: ["Ich meinte es wären sechs Geißlein so sind's lauter Wackerstein.«"] Prediction: ['Der Schweizer Wackerstein hat sechs Geißlein immer wieder entlassen.\nDas hat sechs Geißlein in sechs Jahren geschickt.'] Label: [['So wie Steine.\nDie Ziegen∙kinder sind schwer.']] Sacrebleu: {'score': 2.4074859035470344, 'counts': [2, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [10.526315789473685, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.111111111111111, 'translation_length': 19, 'reference_length': 9} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 51.73611111111111} Flesh Reading Ease: 77.9 ---------------------------------------- Source: ['Als er aber anfing zu gehen und sich hin und her zu bewegen, so stießen die Steine in seinem Bauch aneinander und rappelten.'] Prediction: ['Ein Bauch-R rappelte mit einem Steine.\nAls er sich hin und her zu bewegen, so stießen die Steine in seinem Bauch aneinander und rappelten.'] Label: [['Die Steine bewegen sich im Bauch vom Wolf.']] Sacrebleu: {'score': 2.0752738657056446, 'counts': [5, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [18.51851851851852, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.18518518518518517, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 27, 'reference_length': 9} Rouge: {'rouge1': 0.29411764705882354, 'rouge2': 0.0625, 'rougeL': 0.1764705882352941, 'rougeLsum': 0.1764705882352941} Sari: {'sari': 38.21052631578947} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['Als der Wolf endlich ausgeschlafen hatte, machte er sich auf die Beine, und weil ihm die Steine im Magen so großen Durst erregten, so wollte er zu einem Brunnen gehen und trinken.'] Prediction: ['Ein Wolf hatte in einem Magen eine Steine gefunden.\nAls er sich auf die Beine machte, weil ihm die Steine im Magen so großen Durst erregten, so wollte er einem Brunnen gehen.'] Label: [['Der Wolf geht zum Brunnen.\nDie Steine im Bauch haben den Wolf durstig gemacht.\nDer Wolf hat Durst.\nNach einer Weile wacht der Wolf auf.']] Sacrebleu: {'score': 2.9000744656730446, 'counts': [8, 1, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [22.22222222222222, 2.857142857142857, 1.4705882352941178, 0.7575757575757576], 'bp': 1.0, 'sys_len': 36, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.02857142857142857, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2413793103448276, 'translation_length': 36, 'reference_length': 29} Rouge: {'rouge1': 0.2413793103448276, 'rouge2': 0.07142857142857144, 'rougeL': 0.17241379310344826, 'rougeLsum': 0.2413793103448276} Sari: {'sari': 37.97113202874424} Flesh Reading Ease: 70.4 ---------------------------------------- Source: ['Dann nähte ihn die Alte in aller Geschwindigkeit wieder zu, daß er nichts merkte und sich nicht einmal regte.'] Prediction: ['Ein Mann nähte die Alte in aller Geschwindigkeit wieder zu.\nDann nähte ihn die Alte wieder zu, daß er nichts merkte und sich nicht einmal regte.'] Label: [['Der Wolf schläft weiter.\nDer Wolf merkt nichts.\nUnd die Ziegen∙mutter näht den Bauch vom Wolf zu.\nUnd die Ziegen∙mutter nimmt die Nadel.\nDie Ziegen∙mutter nimmt den Faden.']] Sacrebleu: {'score': 2.9504573650827215, 'counts': [6, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [20.689655172413794, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 0.8711587695892689, 'sys_len': 29, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.20689655172413793, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 0.8711587695892689, 'length_ratio': 0.8787878787878788, 'translation_length': 29, 'reference_length': 33} Rouge: {'rouge1': 0.19672131147540986, 'rouge2': 0.0, 'rougeL': 0.13114754098360656, 'rougeLsum': 0.16393442622950818} Sari: {'sari': 37.059294871794876} Flesh Reading Ease: 79.25 ---------------------------------------- Source: ['« Da schleppten die sieben Geißerchen in aller Eile die Steine herbei und steckten sie ihm in den Bauch, soviel sie hineinbringen konnten.'] Prediction: ['Eine Geißerche steckte ihm in den Bauch.\nSie konnten hineinbringen.'] Label: [['Und die Ziegen∙kinder legen die Steine in den Bauch vom Wolf.\nDie Ziegen∙kinder holen große Steine.']] Sacrebleu: {'score': 8.68742663416854, 'counts': [5, 2, 1, 0], 'totals': [12, 11, 10, 9], 'precisions': [41.666666666666664, 18.181818181818183, 10.0, 5.555555555555555], 'bp': 0.6065306597126334, 'sys_len': 12, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.4166666666666667, 0.18181818181818182, 0.1, 0.0], 'brevity_penalty': 0.6065306597126334, 'length_ratio': 0.6666666666666666, 'translation_length': 12, 'reference_length': 18} Rouge: {'rouge1': 0.19999999999999998, 'rouge2': 0.14285714285714285, 'rougeL': 0.19999999999999998, 'rougeLsum': 0.19999999999999998} Sari: {'sari': 46.13095238095238} Flesh Reading Ease: 63.85 ---------------------------------------- Source: ['Die Alte aber sagte: »Jetzt geht und sucht Wackersteine, damit wollen wir dem gottlosen Tier den Bauch füllen, solange es noch im Schlafe liegt.'] Prediction: ['Wackersteine suchten den Bauch.\nSie wollen den Bauch füllen.'] Label: [['Vielleicht wacht der Wolf gleich auf.\nBeeilt euch.\nDie Steine legen wir in den Bauch vom Wolf.\nAber die Ziegen∙mutter sagt: Holt schnell große Steine.']] Sacrebleu: {'score': 1.584587375263607, 'counts': [4, 1, 0, 0], 'totals': [11, 10, 9, 8], 'precisions': [36.36363636363637, 10.0, 5.555555555555555, 3.125], 'bp': 0.17776857282813785, 'sys_len': 11, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.36363636363636365, 0.1, 0.0, 0.0], 'brevity_penalty': 0.1777685728281378, 'length_ratio': 0.36666666666666664, 'translation_length': 11, 'reference_length': 30} Rouge: {'rouge1': 0.10810810810810811, 'rouge2': 0.05714285714285715, 'rougeL': 0.10810810810810811, 'rougeLsum': 0.10810810810810811} Sari: {'sari': 49.48107448107449} Flesh Reading Ease: 76.05 ---------------------------------------- Source: ['Da herzten sie ihre liebe Mutter und hüpften wie ein Schneider, der Hochzeit hält.'] Prediction: ['Eine Frau hat ihre Liebe Mutter und ihre liebe Mutter gefunden.\nSie hält ihren Hochzeit hält.\nDie Frau hat ihre Liebe Mutter und hüpften wie ein Schneider, der Hochzeit hält.'] Label: [['Und die Ziegen∙kinder tanzen.\nDie Ziegen∙kinder freuen sich.\nDie Ziegen∙mutter umarmt ihre Ziegen∙kinder.']] Sacrebleu: {'score': 2.7374353552268276, 'counts': [5, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [14.705882352941176, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.14705882352941177, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.125, 'translation_length': 34, 'reference_length': 16} Rouge: {'rouge1': 0.15686274509803924, 'rouge2': 0.0, 'rougeL': 0.11764705882352942, 'rougeLsum': 0.15686274509803924} Sari: {'sari': 38.22322775263952} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Dann schnitt sie dem Ungetüm den Wanst auf und kaum hatte sie einen Schnitt gethan, so streckte schon ein Geißlein den Kopf heraus, und als sie weiter schnitt, so sprangen nacheinander alle sechs heraus und waren noch alle am Leben, und hatten nicht einmal Schaden gelitten, denn das Ungetüm hatte sie in der Gier ganz hinuntergeschluckt.'] Prediction: ['Eine Frau hatte dem Ungetüm den Wanst aufgeführt und schnitt einen Schnitt.\nDann sprangen alle sechs heraus und hatten nicht einmal Schaden gelitten.'] Label: [['Die Ziegen∙kinder klettern aus dem Bauch vom Wolf.\nUnd alle Ziegen∙kinder leben.\nAlle Ziegen∙kinder bewegen sich.\nDie Ziegen∙mutter sieht das 1.\nZiegen∙kind.\nUnd die Ziegen∙mutter schneidet den Bauch vom Wolf auf.\nDie Ziegen∙mutter nimmt jetzt die Schere.']] Sacrebleu: {'score': 1.0533149772640331, 'counts': [5, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.46766642700990924, 'sys_len': 25, 'ref_len': 44} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 0.46766642700990935, 'length_ratio': 0.5681818181818182, 'translation_length': 25, 'reference_length': 44} Rouge: {'rouge1': 0.14492753623188406, 'rouge2': 0.0, 'rougeL': 0.11594202898550725, 'rougeLsum': 0.11594202898550725} Sari: {'sari': 34.81961382113821} Flesh Reading Ease: 74.9 ---------------------------------------- Source: ['« Da mußte das Geißlein nach Hause laufen und Schere, Nadel und Zwirn holen.'] Prediction: ['Immer wieder sind die Armen und Armen auf den Wasser.\nWir haben sie sich mit einem Geißlein in den Natur gegeben.'] Label: [['Das 7.\nZiegen∙kind holt diese Dinge.\nUnd einen Faden.\nUnd eine Nadel.\nDie Ziegen∙mutter sagt zum 7.\nZiegen∙kind: Hol mir eine Schere.']] Sacrebleu: {'score': 1.5085799832618616, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 0.7703813975921459, 'sys_len': 23, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7703813975921459, 'length_ratio': 0.7931034482758621, 'translation_length': 23, 'reference_length': 29} Rouge: {'rouge1': 0.0851063829787234, 'rouge2': 0.0, 'rougeL': 0.0425531914893617, 'rougeLsum': 0.0851063829787234} Sari: {'sari': 59.993767806267805} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['»Ach Gott,« dachte sie, »sollten meine armen Kinder, die er zum Abendbrot hinuntergewürgt hat, noch am Leben sein?'] Prediction: ['Eine drei Kinder, die zum Abendbrot hinuntergewürgt hat, sind noch am Leben sein.\nSie dachte sie, ihn zum Abendbrot hinuntergewürgt hat, noch am Leben sein.'] Label: [['Meine Ziegen∙kinder leben noch.\nDie Ziegen∙mutter denkt:']] Sacrebleu: {'score': 1.4262733286728257, 'counts': [2, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [6.451612903225806, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.06451612903225806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4444444444444446, 'translation_length': 31, 'reference_length': 9} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.0, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 36.89950980392157} Flesh Reading Ease: 73.9 ---------------------------------------- Source: ['Sie betrachtete ihn von allen Seiten und sah, daß in seinem angefüllten Bauch sich etwas regte und zappelte.'] Prediction: ['Ein Mann hatte sich in seinem angefüllten Bauch mit seinem angefüllten Bauch zappelte.\nDie Frau war betrachtet und zappelte.'] Label: [['Der Bauch vom Wolf bewegt sich.\nDer Wolf hat einen dicken Bauch.\nDie Ziegen∙mutter guckt sich den Wolf genau an:']] Sacrebleu: {'score': 4.345953622855046, 'counts': [6, 1, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [28.571428571428573, 5.0, 2.6315789473684212, 1.3888888888888888], 'bp': 0.909156442876713, 'sys_len': 21, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.05, 0.0, 0.0], 'brevity_penalty': 0.909156442876713, 'length_ratio': 0.9130434782608695, 'translation_length': 21, 'reference_length': 23} Rouge: {'rouge1': 0.19047619047619047, 'rouge2': 0.0, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.19047619047619047} Sari: {'sari': 39.126559714795} Flesh Reading Ease: 65.2 ---------------------------------------- Source: ['Als sie auf die Wiese kam, so lag da der Wolf an dem Baum und schnarchte, daß die Äste zitterten.'] Prediction: ['Eine Äste schnarchte in einem Baum und schnarchte die Äste.\nAls sie auf die Wiese kam, so lag der Wolf an dem Baum und schnarchte, daß die Äste zitterten.'] Label: [['Und der Wolf schnarcht laut.\nDer Wolf schläft.\nDer Wolf liegt unter einem Baum.\nDie Ziegen∙mutter sieht den Wolf:']] Sacrebleu: {'score': 3.5154918713109633, 'counts': [6, 2, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [18.181818181818183, 6.25, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.0625, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.434782608695652, 'translation_length': 33, 'reference_length': 23} Rouge: {'rouge1': 0.24000000000000002, 'rouge2': 0.08333333333333333, 'rougeL': 0.19999999999999998, 'rougeLsum': 0.24000000000000002} Sari: {'sari': 39.621090601482756} Flesh Reading Ease: 77.75 ---------------------------------------- Source: ['Endlich ging sie in ihrem Jammer hinaus und das jüngste Geißlein lief mit.'] Prediction: ['Immer wieder wieder ging sie in ihrem Jammer hinaus.\nDer Jammer lief mit.\nDer frühere Geißlein war ein Jahr.'] Label: [['Und das 7.\nZiegen∙kind geht mit.\nDie Ziegen∙mutter geht nach draußen.']] Sacrebleu: {'score': 4.108053662461269, 'counts': [4, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5714285714285714, 'translation_length': 22, 'reference_length': 14} Rouge: {'rouge1': 0.057142857142857134, 'rouge2': 0.0, 'rougeL': 0.057142857142857134, 'rougeLsum': 0.057142857142857134} Sari: {'sari': 32.01058201058201} Flesh Reading Ease: 85.95 ---------------------------------------- Source: ['Da könnt ihr denken, wie sie über ihre armen Kinder geweint hat.'] Prediction: ['Eine Frau hat über ihre armen Kinder geweint.\nSie könnt ihr denken, wie sie über ihre armen Kinder geweint hat.'] Label: [['Jetzt weint auch die Ziegen∙mutter.']] Sacrebleu: {'score': 1.6466642419110007, 'counts': [1, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [4.3478260869565215, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.043478260869565216, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.8333333333333335, 'translation_length': 23, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.523809523809526} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['« Sie holte es heraus und es erzählte ihr, daß der Wolf gekommen wäre und die anderen alle gefressen hätte. »Liebe Mutter, ich stecke im Uhrkasten.'] Prediction: ['Eine Frau (27) wurde von ihrem Wolf gefressen.\nSie holte ihr, daß der Wolf gekommen wäre und die anderen alle gefressen hätten.\nDie Frau war im Uhrkasten.'] Label: [['Und der Wolf hat die anderen Ziegen∙kinder gefressen.\nUnd das 7.\nZiegen∙kind sagt: Der Wolf war hier.\nUnd findet das 7.\nZiegen∙kind.\nDa guckt die Ziegen∙mutter in den Uhren∙kasten.\nIch bin hier.\nLiebe Ziegen·mutter.']] Sacrebleu: {'score': 3.264876153133431, 'counts': [10, 3, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [30.303030303030305, 9.375, 1.6129032258064515, 0.8333333333333334], 'bp': 0.7385767149187981, 'sys_len': 33, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.30303030303030304, 0.09375, 0.0, 0.0], 'brevity_penalty': 0.7385767149187981, 'length_ratio': 0.7674418604651163, 'translation_length': 33, 'reference_length': 43} Rouge: {'rouge1': 0.2898550724637681, 'rouge2': 0.05970149253731343, 'rougeL': 0.17391304347826086, 'rougeLsum': 0.2898550724637681} Sari: {'sari': 39.32748495227571} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Endlich als sie an das jüngste kam, da rief eine feine Stimme:'] Prediction: ['Eine Frau wurde an einem jüngsten jüngsten.\nDie Stimme: Sie rief eine feine Stimme.'] Label: [['Plötzlich ruft eine Stimme:']] Sacrebleu: {'score': 5.061867434834413, 'counts': [3, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [17.647058823529413, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 1.0, 'sys_len': 17, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0625, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4, 'translation_length': 17, 'reference_length': 5} Rouge: {'rouge1': 0.19047619047619047, 'rouge2': 0.0, 'rougeL': 0.19047619047619047, 'rougeLsum': 0.19047619047619047} Sari: {'sari': 41.66666666666667} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Sie rief sie nacheinander bei Namen, aber niemand antwortete.'] Prediction: ['Die 20-Minuten-App-App-Hosts "Unchained" berichtet von ihren Leuten.\nSie rief sie nacheinander bei Namen, aber niemand antwortete.'] Label: [['Aber die Ziegen∙kinder antworten nicht.\nUnd die Ziegen∙mutter ruft ihre Ziegen∙kinder.']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7692307692307692, 'translation_length': 23, 'reference_length': 13} Rouge: {'rouge1': 0.11764705882352941, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.11764705882352941} Sari: {'sari': 37.03703703703703} Flesh Reading Ease: 37.45 ---------------------------------------- Source: ['Sie suchte ihre Kinder, aber nirgends waren sie zu finden.'] Prediction: ['Eine Frau suchte ihre Kinder, aber nirgends waren sie zu finden.\nSie suchte ihre Kinder, aber nirgends waren sie zu finden.'] Label: [['Die Ziegen∙mutter sucht ihre Ziegen∙kinder.']] Sacrebleu: {'score': 1.7911710595643588, 'counts': [2, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [8.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.08, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.166666666666667, 'translation_length': 25, 'reference_length': 6} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.0, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 35.8974358974359} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['Die Hausthür stand sperrweit auf: Tisch, Stühle und Bänke waren umgeworfen, die Waschschüssel lag in Scherben, Decke und Kissen waren aus dem Bett gezogen. Ach, was mußte sie da erblicken!'] Prediction: ['In der Schweiz waren die Hausthür aufgehoben.\nTisch, Stühle und Bänke waren umgeworfen.\nWaschschüssel lag in Scherben, Decke und Kissen waren aus dem Bett gezogen.'] Label: [['Ein Stuhl ist kaputt.\nScherben liegen auf dem Boden.\nDer Tisch ist umgefallen.\nDie Ziegen∙mutter sieht: Die Ziegen∙mutter geht vorsichtig ins Haus.\nUnd erschrickt: Die Tür vom Haus ist offen.']] Sacrebleu: {'score': 1.5386759935185368, 'counts': [6, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 0.7918895663367816, 'sys_len': 30, 'ref_len': 37} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7918895663367818, 'length_ratio': 0.8108108108108109, 'translation_length': 30, 'reference_length': 37} Rouge: {'rouge1': 0.22580645161290322, 'rouge2': 0.0, 'rougeL': 0.0967741935483871, 'rougeLsum': 0.22580645161290322} Sari: {'sari': 35.44874496201929} Flesh Reading Ease: 66.4 ---------------------------------------- Source: ['Nicht lange danach kam die alte Geiß aus dem Walde wieder heim.'] Prediction: ['Eine alte Geiß wurde aus dem Walde wieder heim.\nDie alte Geiß kam wieder heim.'] Label: [['Jetzt kommt die Ziegen∙mutter nach Hause.']] Sacrebleu: {'score': 2.2869567780619007, 'counts': [1, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [5.882352941176471, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4285714285714284, 'translation_length': 17, 'reference_length': 7} Rouge: {'rouge1': 0.09090909090909091, 'rouge2': 0.0, 'rougeL': 0.09090909090909091, 'rougeLsum': 0.09090909090909091} Sari: {'sari': 36.11111111111111} Flesh Reading Ease: 84.75 ---------------------------------------- Source: ['Als der Wolf seine Lust gebüßt hatte, trollte er sich fort, legte sich draußen auf der grünen Wiese unter einen Baum und fing an zu schlafen.'] Prediction: ['Ein Wolf trollte sich fort, legte sich draußen unter einen Baum und fing an zu schlafen.\nAls der Wolf seine Lust gebüßt hatte, trollte er sich fort, legte sich draußen unter einen Baum und fing an zu schlafen.'] Label: [['Und schläft ein.\nDer Wolf legt sich unter einen Baum.\nDer Wolf geht hinaus auf die Wiese.\nUnd müde.\nJetzt ist der Wolf satt.']] Sacrebleu: {'score': 4.620543291073948, 'counts': [9, 3, 1, 0], 'totals': [43, 42, 41, 40], 'precisions': [20.930232558139537, 7.142857142857143, 2.4390243902439024, 1.25], 'bp': 1.0, 'sys_len': 43, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.20930232558139536, 0.07142857142857142, 0.024390243902439025, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4827586206896552, 'translation_length': 43, 'reference_length': 29} Rouge: {'rouge1': 0.2985074626865672, 'rouge2': 0.0923076923076923, 'rougeL': 0.26865671641791045, 'rougeLsum': 0.26865671641791045} Sari: {'sari': 35.03148274489738} Flesh Reading Ease: 84.95 ---------------------------------------- Source: ['eins nach dem andern schluckte er in seinen Rachen; Aber der Wolf fand sie alle und machte nicht langes Federlesen:'] Prediction: ['Ein Wolf schluckte in seinen Rachen.\nAber der Wolf fand sie alle und machte nicht langes Federlesen.'] Label: [['Also verschluckt der Wolf alle 6 Ziegen∙kinder.\nDer Wolf hat großen Hunger.\nDer Wolf findet 6 Ziegen∙kinder.']] Sacrebleu: {'score': 5.055439984184194, 'counts': [6, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [31.57894736842105, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 0.9487294800164372, 'sys_len': 19, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.3157894736842105, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 0.9487294800164372, 'length_ratio': 0.95, 'translation_length': 19, 'reference_length': 20} Rouge: {'rouge1': 0.2162162162162162, 'rouge2': 0.05714285714285714, 'rougeL': 0.16216216216216214, 'rougeLsum': 0.2162162162162162} Sari: {'sari': 38.90831390831391} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['nur das jüngste in dem Uhrkasten das fand er nicht.'] Prediction: ['Ein Mann hat in der Nacht auf Sonntag einen Tötungsdelikt gefunden.\nEr fand nicht.\nDas war nur das jüngste in dem Uhrkasten.'] Label: [['Der Wolf guckt nämlich nicht in den Uhren∙kasten.\nAber das 7.\nZiegen·kind findet der Wolf nicht.']] Sacrebleu: {'score': 4.1202784939919095, 'counts': [7, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [28.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.28, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3157894736842106, 'translation_length': 25, 'reference_length': 19} Rouge: {'rouge1': 0.186046511627907, 'rouge2': 0.0, 'rougeL': 0.13953488372093023, 'rougeLsum': 0.186046511627907} Sari: {'sari': 40.82892416225749} Flesh Reading Ease: 90.8 ---------------------------------------- Source: ['Das eine sprang unter den Tisch, das zweite ins Bett, das dritte in den Ofen, das vierte in die Küche, das fünfte in den Schrank, das sechste unter die Waschschüssel, das siebente in den Kasten der Wanduhr.'] Prediction: ['Eine Waschschüssel sprang unter den Tisch, das in den Ofen dritte.\nEine sprang unter den Tisch, das vierte in die Küche, das fünfte in den Schrank.'] Label: [['Das 7.\nZiegen∙kind versteckt sich in der Wand∙uhr.\nDas 6.\nZiegen∙kind versteckt sich in der Wasch∙schüssel.\nDas 5.\nZiegen∙kind versteckt sich im Schrank.\nDas 4.\nZiegen∙kind versteckt sich in der Küche.\nDas 3.\nZiegen∙kind versteckt sich im Ofen.\nDas 2.\nZiegen∙kind versteckt sich im Bett.\nDas 1.\nZiegen∙kind versteckt sich unter dem Tisch.']] Sacrebleu: {'score': 1.1229897177495216, 'counts': [10, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [32.25806451612903, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 0.3130819434391286, 'sys_len': 31, 'ref_len': 67} Bleu: {'bleu': 0.0, 'precisions': [0.3225806451612903, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 0.3130819434391286, 'length_ratio': 0.4626865671641791, 'translation_length': 31, 'reference_length': 67} Rouge: {'rouge1': 0.27956989247311825, 'rouge2': 0.04395604395604395, 'rougeL': 0.15053763440860213, 'rougeLsum': 0.2580645161290323} Sari: {'sari': 35.35912219540538} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['Sie erschraken und wollten sich verstecken.'] Prediction: ['Eine Frau wurde erschrakt und wollte sich verstecken.\nSie wurde erschrakt und wollte sich verstecken.'] Label: [['Die Ziegen∙kinder verstecken sich im Haus: Und die Ziegen∙kinder haben große Angst.\nDie Ziegen∙kinder erschrecken ganz fürchterlich.']] Sacrebleu: {'score': 2.711020190038818, 'counts': [4, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [23.529411764705884, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.8382234324229999, 'sys_len': 17, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8382234324229999, 'length_ratio': 0.85, 'translation_length': 17, 'reference_length': 20} Rouge: {'rouge1': 0.16216216216216214, 'rouge2': 0.0, 'rougeL': 0.10810810810810811, 'rougeLsum': 0.05405405405405406} Sari: {'sari': 49.074074074074076} Flesh Reading Ease: 73.05 ---------------------------------------- Source: ['Wer aber hereinkam, das war der Wolf.'] Prediction: ['Immer mehr wieder auf den Wolfen.\nDas war der Wolf.'] Label: [['Doch vor der Tür steht der böse Wolf.']] Sacrebleu: {'score': 7.495553473355845, 'counts': [3, 1, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [25.0, 9.090909090909092, 5.0, 2.7777777777777777], 'bp': 1.0, 'sys_len': 12, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.09090909090909091, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 12, 'reference_length': 9} Rouge: {'rouge1': 0.20000000000000004, 'rouge2': 0.0, 'rougeL': 0.20000000000000004, 'rougeLsum': 0.20000000000000004} Sari: {'sari': 42.91666666666667} Flesh Reading Ease: 104.8 ---------------------------------------- Source: ['»Zeig uns erst deine Pfote, damit wir wissen, daß du unser liebes Mütterchen bist.« Da legte er die Pfote ins Fenster und als sie sahen, daß sie weiß war, so glaubten sie, es wäre alles wahr, was er sagte, und machten die Thür auf.'] Prediction: ['Ein Mann hatte in Mütterchen eine Pfote.\nDiese legte ihn die Pfote ins Fenster.\nDieser machte die Thür auf.'] Label: [['Und die Ziegen∙kinder machen die Tür auf.\nDie Ziegen∙kinder freuen sich.\nDie Ziegen∙kinder denken: Das ist unsere Ziegen∙mutter.\nDie Ziegen∙kinder sehen eine weiße Pfote.\nDer Wolf hält seine Pfote vor das Fenster.\nAber zeig uns erst deine Pfote.']] Sacrebleu: {'score': 2.3898260110714347, 'counts': [10, 3, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [45.45454545454545, 14.285714285714286, 2.5, 1.3157894736842106], 'bp': 0.3515319957864631, 'sys_len': 22, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.45454545454545453, 0.14285714285714285, 0.0, 0.0], 'brevity_penalty': 0.3515319957864631, 'length_ratio': 0.4888888888888889, 'translation_length': 22, 'reference_length': 45} Rouge: {'rouge1': 0.2388059701492537, 'rouge2': 0.030769230769230767, 'rougeL': 0.11940298507462685, 'rougeLsum': 0.2388059701492537} Sari: {'sari': 39.2847039895477} Flesh Reading Ease: 80.1 ---------------------------------------- Source: ['Nun ging der Bösewicht zum drittenmal zu der Hausthür, klopfte an und sprach: »Macht mir auf, Kinder, euer liebes Mütterchen ist heimgekommen und hat jedem von euch etwas aus dem Walde mitgebracht.'] Prediction: ['Einige Tage nach der Hausthür in der Nähe von Mütterchen ist heimgekommen.\nEinige Tage nach dem Bösewicht ging auf, Kinder zu sehen.'] Label: [['Ich habe Geschenke für euch.\nMacht die Tür auf.\nUnd ruft: Liebe Kinder.\nDer Wolf klopft an die Tür.\nSo geht der Wolf wieder zum Haus von den Ziegen∙kindern.']] Sacrebleu: {'score': 1.5801546173437078, 'counts': [6, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [24.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.6703200460356393, 'sys_len': 25, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.24, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6703200460356393, 'length_ratio': 0.7142857142857143, 'translation_length': 25, 'reference_length': 35} Rouge: {'rouge1': 0.2033898305084746, 'rouge2': 0.0, 'rougeL': 0.13559322033898305, 'rougeLsum': 0.2033898305084746} Sari: {'sari': 43.38878896882494} Flesh Reading Ease: 63.7 ---------------------------------------- Source: ['Da fürchtete sich der Müller und machte ihm die Pfote weiß.'] Prediction: ['Ein Mann fürchtete sich mit einem Pfote weiß.\nDer Müller fürchtete sich die Pfote weiß.'] Label: [['Deshalb macht der Müller weißes Mehl auf die Pfote vom Wolf.\nJetzt hat der Müller Angst.']] Sacrebleu: {'score': 5.422832877388758, 'counts': [5, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [29.41176470588235, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 0.9428731438548749, 'sys_len': 17, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.29411764705882354, 0.0625, 0.0, 0.0], 'brevity_penalty': 0.9428731438548749, 'length_ratio': 0.9444444444444444, 'translation_length': 17, 'reference_length': 18} Rouge: {'rouge1': 0.3243243243243243, 'rouge2': 0.17142857142857143, 'rougeL': 0.27027027027027023, 'rougeLsum': 0.3243243243243243} Sari: {'sari': 44.50549450549451} Flesh Reading Ease: 84.75 ---------------------------------------- Source: ['« Der Müller dachte, »der Wolf will einen betrügen« und weigerte sich, aber der Wolf sprach: »Wenn du es nicht thust, so fresse ich dich.«'] Prediction: ['Ein Wolf sprach, wenn du es nicht thust, so fresse ich dich dich.\nDer Müller dachte, wenn du es nicht thust, so fresse ich dich dich.'] Label: [['Oder ich fresse dich!\nUnd sagt: Mach weißes Mehl auf meine Pfote.\nDer Wolf ärgert sich.\nIch helfe dir nicht.\nDer Müller antwortet: Du bist der böse Wolf.']] Sacrebleu: {'score': 5.174135388923546, 'counts': [9, 2, 1, 0], 'totals': [32, 31, 30, 29], 'precisions': [28.125, 6.451612903225806, 3.3333333333333335, 1.7241379310344827], 'bp': 0.9105103613800342, 'sys_len': 32, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.28125, 0.06451612903225806, 0.03333333333333333, 0.0], 'brevity_penalty': 0.9105103613800342, 'length_ratio': 0.9142857142857143, 'translation_length': 32, 'reference_length': 35} Rouge: {'rouge1': 0.3793103448275862, 'rouge2': 0.07142857142857144, 'rougeL': 0.20689655172413793, 'rougeLsum': 0.3103448275862069} Sari: {'sari': 36.75958130366357} Flesh Reading Ease: 96.8 ---------------------------------------- Source: ['»Streu mir weißes Mehl auf meine Pfote.'] Prediction: ['Ein Mehl auf Pfote ist ein Mehl.\nDer Mehl weiß seine Pfote.'] Label: [['Mach weißes Mehl auf meine Pfote.']] Sacrebleu: {'score': 8.032276872815304, 'counts': [4, 2, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [28.571428571428573, 15.384615384615385, 4.166666666666667, 2.272727272727273], 'bp': 1.0, 'sys_len': 14, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.15384615384615385, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 14, 'reference_length': 7} Rouge: {'rouge1': 0.4210526315789474, 'rouge2': 0.11764705882352942, 'rougeL': 0.3157894736842105, 'rougeLsum': 0.4210526315789474} Sari: {'sari': 25.039682539682538} Flesh Reading Ease: 97.95 ---------------------------------------- Source: ['Und als ihm der Bäcker die Pfote bestrichen hatte, so lief er zum Müller und sprach:'] Prediction: ['Ein Bäcker hat die Pfote von Pfote bestrichen.\nDer Bäcker hatte die Pfote bestrichen und sprach zum Müller.'] Label: [['Also sagt der Wolf zum Müller: Dann geht der Wolf zum Müller.\nDeshalb macht der Bäcker Teig auf die Pfote vom Wolf.']] Sacrebleu: {'score': 7.591847025042573, 'counts': [7, 3, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 15.789473684210526, 5.555555555555555, 2.9411764705882355], 'bp': 0.7788007830714049, 'sys_len': 20, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.35, 0.15789473684210525, 0.05555555555555555, 0.0], 'brevity_penalty': 0.7788007830714049, 'length_ratio': 0.8, 'translation_length': 20, 'reference_length': 25} Rouge: {'rouge1': 0.34782608695652173, 'rouge2': 0.22727272727272727, 'rougeL': 0.21739130434782608, 'rougeLsum': 0.34782608695652173} Sari: {'sari': 54.862616099071204} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['« Da lief der Wolf zu einem Bäcker und sprach: »Ich habe mich an den Fuß gestoßen, streich mir Teig darüber.«'] Prediction: ['Ein Bäcker hatte am Sonntag einen Wolf gestossen.\nDer Wolf lief der Wolf zu einem Bäcker und sprach: "Ich habe mich an den Fuß gestoßen, streich mir Teig darüber".'] Label: [['Mach mir Teig auf meine Pfote.\nMeine Pfote tut weh.\nDer Wolf sagt zum Bäcker: Der Wolf geht zum Bäcker.']] Sacrebleu: {'score': 5.877871600454018, 'counts': [10, 3, 1, 0], 'totals': [35, 34, 33, 32], 'precisions': [28.571428571428573, 8.823529411764707, 3.0303030303030303, 1.5625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.08823529411764706, 0.030303030303030304, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4583333333333333, 'translation_length': 35, 'reference_length': 24} Rouge: {'rouge1': 0.36363636363636365, 'rouge2': 0.18867924528301888, 'rougeL': 0.21818181818181817, 'rougeLsum': 0.36363636363636365} Sari: {'sari': 40.0990675990676} Flesh Reading Ease: 83.6 ---------------------------------------- Source: ['Aber der Wolf hatte seine schwarze Pfote in das Fenster gelegt, das sahen die Kinder und riefen: »Wir machen nicht auf, unsere Mutter hat keinen schwarzen Fuß wie du;'] Prediction: ['Eine Mutter hat in einem Fenster eine schwarze Pfote gefunden.\nDie Kinder riefen ihn und riefen ihn.'] Label: [['Deine Pfote ist schwarz.\nUnsere Ziegen∙mutter hat eine weiße Pfote.\nDu bist nicht unsere Ziegen∙mutter.\nDeshalb rufen die Ziegen∙kinder: Und die Ziegen∙kinder sehen eine schwarze Pfote.\nDie Ziegen∙kinder gucken aus dem Fenster.']] Sacrebleu: {'score': 3.9205958609512686, 'counts': [8, 3, 1, 0], 'totals': [19, 18, 17, 16], 'precisions': [42.10526315789474, 16.666666666666668, 5.882352941176471, 3.125], 'bp': 0.36787944117144233, 'sys_len': 19, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.42105263157894735, 0.16666666666666666, 0.058823529411764705, 0.0], 'brevity_penalty': 0.36787944117144233, 'length_ratio': 0.5, 'translation_length': 19, 'reference_length': 38} Rouge: {'rouge1': 0.3636363636363636, 'rouge2': 0.11320754716981132, 'rougeL': 0.2545454545454545, 'rougeLsum': 0.3636363636363636} Sari: {'sari': 59.467904562244186} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['Dann kam er zurück, klopfte an die Hausthür und rief: »Macht auf, ihr lieben Kinder, eure Mutter ist da und hat jedem von euch etwas mitgebracht.«'] Prediction: ['Ein Mann klopfte an die Hausthür und rief: "Macht auf, ihr lieben Kinder, eure Mutter ist da".\nDer Mann hat jedem von euch etwas mitgebracht.'] Label: [['Ich habe Geschenke für euch.\nMacht die Tür auf.\nUnd ruft: Liebe Kinder.\nDer Wolf klopft an die Tür.\nDann geht der Wolf wieder zum Haus von den Ziegen∙kindern.']] Sacrebleu: {'score': 3.8468950183573307, 'counts': [11, 2, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [34.375, 6.451612903225806, 1.6666666666666667, 0.8620689655172413], 'bp': 0.9105103613800342, 'sys_len': 32, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.34375, 0.06451612903225806, 0.0, 0.0], 'brevity_penalty': 0.9105103613800342, 'length_ratio': 0.9142857142857143, 'translation_length': 32, 'reference_length': 35} Rouge: {'rouge1': 0.3389830508474576, 'rouge2': 0.03508771929824561, 'rougeL': 0.2033898305084746, 'rougeLsum': 0.3050847457627119} Sari: {'sari': 38.47468588322247} Flesh Reading Ease: 85.6 ---------------------------------------- Source: ['die aß er und machte damit seine Stimme fein.'] Prediction: ['Die Schweizerin hat sich am Freitagabend für ihre Stimme geschickt.\nSie war damit auf der Suche geworden.\nDie Schweizerin hatte sich mit ihrem Stimmen geschickt.'] Label: [['Der Wolf weiß nämlich: Kreide macht die Stimme hell.\nDer Wolf isst die Kreide.']] Sacrebleu: {'score': 1.7574239156849023, 'counts': [3, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [10.714285714285714, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.10714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6470588235294117, 'translation_length': 28, 'reference_length': 17} Rouge: {'rouge1': 0.1951219512195122, 'rouge2': 0.0, 'rougeL': 0.1951219512195122, 'rougeLsum': 0.1951219512195122} Sari: {'sari': 66.09347442680776} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['« Da ging der Wolf fort zu einem Krämer und kaufte sich ein großes Stück Kreide;'] Prediction: ['Im Alter von 99 Jahren ist es zu einem Krämer gekommen.\nEin Kreider kaufte sich in ein großes Stück Kreide.'] Label: [['Der Wolf kauft ein großes Stück Kreide.\nDer Wolf geht in einen Laden.']] Sacrebleu: {'score': 17.588181044237437, 'counts': [7, 4, 3, 2], 'totals': [22, 21, 20, 19], 'precisions': [31.818181818181817, 19.047619047619047, 15.0, 10.526315789473685], 'bp': 1.0, 'sys_len': 22, 'ref_len': 15} Bleu: {'bleu': 0.1758818104423743, 'precisions': [0.3181818181818182, 0.19047619047619047, 0.15, 0.10526315789473684], 'brevity_penalty': 1.0, 'length_ratio': 1.4666666666666666, 'translation_length': 22, 'reference_length': 15} Rouge: {'rouge1': 0.3684210526315789, 'rouge2': 0.2777777777777778, 'rougeL': 0.31578947368421056, 'rougeLsum': 0.3684210526315789} Sari: {'sari': 58.68629060819731} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['»Wir machen nicht auf,« riefen sie, »du bist unsere Mutter nicht, die hat eine feine und liebliche Stimme, aber deine Stimme ist rauh;'] Prediction: ['Eine Mutter hat eine feine und liebliche Stimme, aber deine Stimme ist rauh.\nDie Mutter hat eine feine und liebliche Stimme, aber deine Stimme ist rauh.'] Label: [['Und böse.\nAber deine Stimme ist dunkel.\nUnd freundlich.\nDie Stimme von unserer Ziegen∙mutter ist hell.\nDu bist nicht unsere Ziegen∙mutter.\nDeshalb rufen die Ziegen∙kinder:']] Sacrebleu: {'score': 6.321331511354372, 'counts': [8, 3, 1, 0], 'totals': [30, 29, 28, 27], 'precisions': [26.666666666666668, 10.344827586206897, 3.5714285714285716, 1.8518518518518519], 'bp': 0.9672161004820058, 'sys_len': 30, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.10344827586206896, 0.03571428571428571, 0.0], 'brevity_penalty': 0.967216100482006, 'length_ratio': 0.967741935483871, 'translation_length': 30, 'reference_length': 31} Rouge: {'rouge1': 0.4, 'rouge2': 0.1132075471698113, 'rougeL': 0.29090909090909095, 'rougeLsum': 0.3636363636363637} Sari: {'sari': 45.960166351308736} Flesh Reading Ease: 67.55 ---------------------------------------- Source: ['Aber die Geißerchen hörten an der rauhen Stimme, daß es der Wolf war.'] Prediction: ['Am Mittwochabend fand in den vergangenen Bundesstaaten statt.\nDie Schweizer Nationalmannschaft hatte sich mit einem Wolf ausgelöst.\nDer Wolf war nicht mehr.'] Label: [['Und böse.\nDie Stimme ist dunkel.']] Sacrebleu: {'score': 3.333744983027298, 'counts': [3, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [12.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.12, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.125, 'translation_length': 25, 'reference_length': 8} Rouge: {'rouge1': 0.06666666666666667, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.06666666666666667} Sari: {'sari': 45.57471264367816} Flesh Reading Ease: 61.55 ---------------------------------------- Source: ['Es dauerte nicht lange, so klopfte jemand an die Hausthür und rief: »Macht auf, ihr lieben Kinder, eure Mutter ist da und hat jedem von euch etwas mitgebracht.«'] Prediction: ['Eine Mutter hat ihr Kinder in der Nähe von ihrer Mutter mitgebracht.\nDie Mutter hat jedem von euch etwas mitgebracht.'] Label: [['Ich habe Geschenke für euch.\nMacht die Tür auf.\nEine Stimme ruft: Liebe Kinder.\nPlötzlich klopft es an der Tür.']] Sacrebleu: {'score': 2.358655162325367, 'counts': [6, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [27.272727272727273, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 0.8725252928694237, 'sys_len': 22, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.2727272727272727, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8725252928694237, 'length_ratio': 0.88, 'translation_length': 22, 'reference_length': 25} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 37.02729044834308} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Da meckerte die Alte und machte sich getrost auf den Weg.'] Prediction: ['Ein Mann meckerte die Alte und machte sich getrost auf den Weg.\nDer Mann meckerte die Alte und machte sich getrost auf den Weg.'] Label: [['Und die Ziegen∙mutter geht in den Wald.\nDie Ziegen∙mutter ist beruhigt.']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 26, 'reference_length': 13} Rouge: {'rouge1': 0.21621621621621623, 'rouge2': 0.0, 'rougeL': 0.16216216216216217, 'rougeLsum': 0.16216216216216217} Sari: {'sari': 37.77777777777778} Flesh Reading Ease: 86.1 ---------------------------------------- Source: ['« Die Geißlein sagten: »Liebe Mutter, wir wollen uns schon in acht nehmen, ihr könnt ohne Sorge fortgehen.«'] Prediction: ['Eine Frau wollte schon in acht nehmen, ihr könnt ohne Sorge fortgehen.\nDie Geißlein sind überrascht.'] Label: [['Wir passen gut auf uns auf.\nHab keine Angst.\nDie Ziegen∙kinder antworten: Liebe Mutter.']] Sacrebleu: {'score': 4.480836160121357, 'counts': [3, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 1.0, 'sys_len': 19, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0555555555555556, 'translation_length': 19, 'reference_length': 18} Rouge: {'rouge1': 0.0606060606060606, 'rouge2': 0.0, 'rougeL': 0.0606060606060606, 'rougeLsum': 0.0606060606060606} Sari: {'sari': 32.07846003898635} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Der Bösewicht verstellt sich oft, aber an seiner rauhen Stimme und an seinen schwarzen Füßen werdet ihr ihn gleich erkennen.'] Prediction: ['Der Bösewicht wird oft auf seinen schwarzen Füßen wieder erkennen.\nDas hat sich dabei zu einer rauhen Stimme und an seinen schwarzen Füßen geschickt.'] Label: [['Die Pfoten vom Wolf sind schwarz.\nUnd ihr erkennt den Wolf an seinen Pfoten: Und böse.\nDie Stimme vom Wolf ist dunkel.\nAber ihr erkennt den Wolf an seiner Stimme: Und der Wolf kann sich verkleiden.\nDer Wolf ist schlau.']] Sacrebleu: {'score': 1.7620271355974044, 'counts': [7, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [26.923076923076923, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 0.4458858472053965, 'sys_len': 26, 'ref_len': 47} Bleu: {'bleu': 0.0, 'precisions': [0.2692307692307692, 0.04, 0.0, 0.0], 'brevity_penalty': 0.4458858472053965, 'length_ratio': 0.5531914893617021, 'translation_length': 26, 'reference_length': 47} Rouge: {'rouge1': 0.2058823529411765, 'rouge2': 0.060606060606060615, 'rougeL': 0.08823529411764705, 'rougeLsum': 0.14705882352941174} Sari: {'sari': 35.51638176638177} Flesh Reading Ease: 62.7 ---------------------------------------- Source: ['wenn er hereinkommt, so frißt er euch alle mit Haut und Haar.'] Prediction: ['Wenn er hereinkommt, so frißt er euch alle mit Haut und Haar.\nWir haben euch die besten Liebes-Fälle geschickt.'] Label: [['Der Wolf will euch fressen.\nDer Wolf ist ein böses Tier.']] Sacrebleu: {'score': 2.2731543567022867, 'counts': [3, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [13.636363636363637, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.13636363636363635, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6923076923076923, 'translation_length': 22, 'reference_length': 13} Rouge: {'rouge1': 0.05882352941176471, 'rouge2': 0.0, 'rougeL': 0.05882352941176471, 'rougeLsum': 0.05882352941176471} Sari: {'sari': 35.55555555555556} Flesh Reading Ease: 82.75 ---------------------------------------- Source: ['Eines Tages wollte sie in den Wald gehen und Futter holen, da rief sie alle sieben herbei und sprach: »Liebe Kinder, ich will hinaus in den Wald, seid auf eurer Hut vor dem Wolf;'] Prediction: ['Ein Tagesende in den Wald wollte Futter holen, da rief sie alle sieben herbei und sprach: "Liebe Kinder, ich will hinaus in den Wald, seid auf eurer Hut vor dem Wolf; Ich will auf eurer Hut vor dem Wolf;'] Label: [['Vielleicht kommt der Wolf.\nPasst gut auf euch auf!\nUnd die Ziegen∙mutter sagt zu ihren Ziegen∙kindern: Ich gehe in den Wald.\nEs ist ein schöner Morgen.']] Sacrebleu: {'score': 3.780503351127618, 'counts': [8, 2, 1, 0], 'totals': [46, 45, 44, 43], 'precisions': [17.391304347826086, 4.444444444444445, 2.272727272727273, 1.1627906976744187], 'bp': 1.0, 'sys_len': 46, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.044444444444444446, 0.022727272727272728, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4838709677419355, 'translation_length': 46, 'reference_length': 31} Rouge: {'rouge1': 0.2647058823529412, 'rouge2': 0.06060606060606061, 'rougeL': 0.14705882352941177, 'rougeLsum': 0.2647058823529412} Sari: {'sari': 36.701020988105384} Flesh Reading Ease: 59.1 ---------------------------------------- Source: ['Es war einmal eine alte Geiß, die hatte sieben junge Geißlein und hatte sie lieb, wie eine Mutter ihre Kinder lieb hat.'] Prediction: ['Eine alte Geiß hatte sieben junge Geißlein und hatte sie lieb, wie eine Mutter ihre Kinder lieb hat.\nEs war einmal eine alte Geiß, die hatte sieben junge Geißlein und hatte sie lieb, wie eine Mutter ihre Kinder lieb hat.'] Label: [['Die Ziegen∙mutter liebt ihre Ziegen∙kinder sehr.\nUnd die Geißlein sind die Kinder von der Ziege.\nEine Geiß hat 7 Geißlein.']] Sacrebleu: {'score': 1.4458035023047362, 'counts': [10, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [22.22222222222222, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9565217391304348, 'translation_length': 45, 'reference_length': 23} Rouge: {'rouge1': 0.3939393939393939, 'rouge2': 0.06250000000000001, 'rougeL': 0.24242424242424246, 'rougeLsum': 0.33333333333333337} Sari: {'sari': 38.13559322033899} Flesh Reading Ease: 66.4 ---------------------------------------- Source: ['Er führte sie in sein Reich, wo er mit Freude empfangen ward, und sie lebten noch lange glücklich und vergnügt.'] Prediction: ['Ein bisschen-fährdiger Kind hat in sein Reich eine lebende Liebesleidung verloren.\nDer bisschen-fährdige Kind war mit Freude empfangen und lebte noch lange glücklich und vergnügt.'] Label: [['Und alle leben noch viele Jahre glücklich zusammen.\nDer Prinz nimmt Rapunzel und die beiden Kinder mit auf sein Schloss.']] Sacrebleu: {'score': 3.9253456897493937, 'counts': [8, 1, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [29.62962962962963, 3.8461538461538463, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.2962962962962963, 0.038461538461538464, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2272727272727273, 'translation_length': 27, 'reference_length': 22} Rouge: {'rouge1': 0.30769230769230765, 'rouge2': 0.04, 'rougeL': 0.1923076923076923, 'rougeLsum': 0.2692307692307692} Sari: {'sari': 39.968511021142604} Flesh Reading Ease: 50.5 ---------------------------------------- Source: ['So wanderte er einige Jahre im Elend umher und geriet endlich in die Wüstenei, wo Rapunzel mit den Zwillingen, die sie geboren hatte, einem Knaben und Mädchen, kümmerlich lebte.'] Prediction: ['Rapunzel lebte einige Jahre in die Wüstenei.\nDer Knaben und Mädchen waren einige Jahre alt.\nIn den letzten Tagen wurde er von den Zwillingen geboren.'] Label: [['Die Kinder sind Zwillinge.\nUnd von dem Prinzen.\nDiese Kinder sind die Kinder von Rapunzel.\nNach vielen Jahren kommt der Prinz zu einem einsamen Ort.']] Sacrebleu: {'score': 2.0166174174426, 'counts': [6, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [21.428571428571427, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 0.9649159443723699, 'sys_len': 28, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9649159443723702, 'length_ratio': 0.9655172413793104, 'translation_length': 28, 'reference_length': 29} Rouge: {'rouge1': 0.1923076923076923, 'rouge2': 0.0, 'rougeL': 0.11538461538461538, 'rougeLsum': 0.15384615384615383} Sari: {'sari': 44.728045203588685} Flesh Reading Ease: 60.55 ---------------------------------------- Source: ['Zwei von ihren Thränen aber benetzten seine Augen, da wurden sie wieder klar, und er konnte damit sehen wie sonst.'] Prediction: ['Zwei von ihren Thränen benetzten seine Augen.\nEin Thränen-Konnte sehen wie sonst.'] Label: [['Plötzlich kann der Prinz wieder sehen: Dabei berühren 2 Tränen die Augen vom Prinzen.']] Sacrebleu: {'score': 3.2399023551226187, 'counts': [3, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [21.428571428571427, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 0.8668778997501817, 'sys_len': 14, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8668778997501817, 'length_ratio': 0.875, 'translation_length': 14, 'reference_length': 16} Rouge: {'rouge1': 0.18750000000000003, 'rouge2': 0.0, 'rougeL': 0.125, 'rougeLsum': 0.18750000000000003} Sari: {'sari': 35.909090909090914} Flesh Reading Ease: 68.7 ---------------------------------------- Source: ['da ging er darauf zu, und wie er herankam, erkannte ihn Rapunzel und fiel ihm um den Hals und weinte.'] Prediction: ['Ein Rapunzel hatte sich in den vergangenen Tagen geschickt.\nDer Rapunzel war ein Jahr lang.\nNun wurde er von der Polizei gefunden.'] Label: [['Und Rapunzel weint vor Freude.\nRapunzel umarmt den Prinzen.\nUnd Rapunzel läuft auf den Prinzen zu.\nRapunzel erkennt den Prinzen.\nEs ist seine liebe Rapunzel.\nUnd der Prinz hat recht: Der Prinz geht auf die Stimme zu.']] Sacrebleu: {'score': 1.1846450803149977, 'counts': [8, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [32.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.46766642700990924, 'sys_len': 25, 'ref_len': 44} Bleu: {'bleu': 0.0, 'precisions': [0.32, 0.0, 0.0, 0.0], 'brevity_penalty': 0.46766642700990935, 'length_ratio': 0.5681818181818182, 'translation_length': 25, 'reference_length': 44} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 62.300084175084166} Flesh Reading Ease: 73.25 ---------------------------------------- Source: ['Er vernahm eine Stimme, und sie däuchte ihm so bekannt:'] Prediction: ['Ein Mann hatte sich in der Nacht auf Sonntag in Zürich eine Stimme gefunden.\nEr vernahm eine Stimme, und sie däuchte ihm so bekannt: Er vernahm eine Stimme.'] Label: [['Und der Prinz kennt diese Stimme.\nDie Stimme ist sehr schön.\nPlötzlich hört der Prinz eine Stimme.']] Sacrebleu: {'score': 5.336626135787335, 'counts': [7, 2, 1, 0], 'totals': [32, 31, 30, 29], 'precisions': [21.875, 6.451612903225806, 3.3333333333333335, 1.7241379310344827], 'bp': 1.0, 'sys_len': 32, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.21875, 0.06451612903225806, 0.03333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 32, 'reference_length': 20} Rouge: {'rouge1': 0.24, 'rouge2': 0.041666666666666664, 'rougeL': 0.2, 'rougeLsum': 0.24} Sari: {'sari': 40.488627214170684} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['Da irrte er blind im Walde umher, aß nichts als Wurzeln und Beeren, und that nichts als jammern und weinen über den Verlust seiner liebsten Frau.'] Prediction: ['Ein Mann hat in seiner Walde seine Frau verloren.\nWeil er sich im Walde umher hat, wurde er von seiner Liebsten Frau verloren.\nDas hatte er immer noch nicht.'] Label: [['Und der Prinz hat seine liebe Rapunzel verloren.\nDer Prinz kann nicht mehr sehen.\nSo irrt der Prinz ohne Ziel durch den Wald:']] Sacrebleu: {'score': 2.9561645124389617, 'counts': [6, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [18.181818181818183, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2692307692307692, 'translation_length': 33, 'reference_length': 26} Rouge: {'rouge1': 0.15384615384615385, 'rouge2': 0.0, 'rougeL': 0.15384615384615385, 'rougeLsum': 0.15384615384615385} Sari: {'sari': 44.721449185734905} Flesh Reading Ease: 82.55 ---------------------------------------- Source: ['das Leben brachte er davon, aber die Dornen, in die er fiel, zerstachen ihm die Augen.'] Prediction: ['Ein Mann hatte in den vergangenen Tagen seine Augen gefunden.\nDiese war das Leben, aber die Dornen zerstachen ihm die Augen.'] Label: [['Aber der Prinz ist jetzt blind.\nDer Prinz überlebt den Sturz: Und bleibt in einem spitzen Dornen∙busch liegen.']] Sacrebleu: {'score': 2.224972978585352, 'counts': [4, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [16.666666666666668, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 24, 'reference_length': 21} Rouge: {'rouge1': 0.2, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.15} Sari: {'sari': 37.57142857142857} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['« Der Königssohn geriet außer sich vor Schmerzen, und in der Verzweiflung sprang er den Turm herab;'] Prediction: ['Immer mehr Schmerzen hat sich der Königssohn in der Nacht auf Sonntag in St. Gallen einen Tötungsdelikt entdeckt.\nDer Königssohn sprang in der Verzweiflung und sprang den Turm herab.'] Label: [['Der Prinz stürzt nach unten.\nDeshalb springt der Prinz aus dem Turm∙fenster.\nDer Prinz hat große Angst vor der Zauberin.']] Sacrebleu: {'score': 3.1731768853938878, 'counts': [7, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [21.875, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.21875, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.391304347826087, 'translation_length': 32, 'reference_length': 23} Rouge: {'rouge1': 0.2545454545454546, 'rouge2': 0.0, 'rougeL': 0.14545454545454545, 'rougeLsum': 0.21818181818181817} Sari: {'sari': 43.47036297036297} Flesh Reading Ease: 82.55 ---------------------------------------- Source: ['Für dich ist Rapunzel verloren, du wirst sie nie wieder erblicken.'] Prediction: ['Der US-Rapper Rapunzel verlässt sich nicht wieder.\nEr wurde nur noch nie wieder erblicken.\nWir haben sie zu Gast gekürt.'] Label: [['Du wirst Rapunzel nie wieder sehen.\nUnd jetzt werde ich dich bestrafen.']] Sacrebleu: {'score': 4.141141330484801, 'counts': [5, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [21.73913043478261, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6428571428571428, 'translation_length': 23, 'reference_length': 14} Rouge: {'rouge1': 0.1714285714285714, 'rouge2': 0.060606060606060615, 'rougeL': 0.1714285714285714, 'rougeLsum': 0.1714285714285714} Sari: {'sari': 37.297517297517295} Flesh Reading Ease: 79.7 ---------------------------------------- Source: ['»Aha,« rief sie höhnisch, »du willst die Frau Liebste holen, aber der schöne Vogel sitzt nicht mehr im Nest und singt nicht mehr, die Katze hat ihn geholt und wird dir auch noch die Augen auskratzen.'] Prediction: ['Im Nest von Zürich (FL) ist eine Frau (32) und ihr schönes Vogel (5) gefunden.\nDie Katze hat ihn geholt und wird noch die Augen auskratzen.\nDie Frau hat ihn auch noch die Augen auskratzen.'] Label: [['Ich habe Rapunzel bestraft.\nUnd sagt: Deine schöne Rapunzel ist nicht mehr hier.']] Sacrebleu: {'score': 1.0952083604308251, 'counts': [3, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [6.818181818181818, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.06818181818181818, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 44, 'reference_length': 16} Rouge: {'rouge1': 0.11764705882352942, 'rouge2': 0.0, 'rougeL': 0.0784313725490196, 'rougeLsum': 0.0784313725490196} Sari: {'sari': 34.312559998214006} Flesh Reading Ease: 86.4 ---------------------------------------- Source: ['Der Königssohn stieg hinauf, aber er fand oben nicht seine liebste Rapunzel, sondern die Zauberin, die ihn mit bösen und giftigen Blicken ansah.'] Prediction: ['Der Rapunzel von Königssohn ist seit Jahren nicht mehr ganz äusserst.\nEr fand oben die Liebste Rapunzel, die ihn mit bösen und giftigen Blicken ansah.'] Label: [['Die Zauberin schaut den Prinzen böse an.\nDer Prinz sieht die Zauberin.\nDer Prinz klettert am Zopf nach oben.']] Sacrebleu: {'score': 1.996819088094332, 'counts': [5, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [17.857142857142858, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.17857142857142858, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2727272727272727, 'translation_length': 28, 'reference_length': 22} Rouge: {'rouge1': 0.2127659574468085, 'rouge2': 0.0, 'rougeL': 0.0851063829787234, 'rougeLsum': 0.2127659574468085} Sari: {'sari': 34.425808110018636} Flesh Reading Ease: 73.9 ---------------------------------------- Source: ['so ließ sie die Haare hinab.'] Prediction: ['Die 20-Minuten-App-App-App-App-App-App-App-App-App-Podcast "Unchained" findest du jeden Donnerstag in der Leiste.\nNeue Leistungen, die auf Spotify sowie Apple Podcasts sowie Tune In.\nNeue Leistungen und Leistungen von Podcast-Host Andrea.'] Label: [['Und die Zauberin lässt den langen Zopf von Rapunzel hinunter.']] Sacrebleu: {'score': 1.3494116947566301, 'counts': [3, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [8.333333333333334, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.272727272727273, 'translation_length': 36, 'reference_length': 11} Rouge: {'rouge1': 0.1176470588235294, 'rouge2': 0.0, 'rougeL': 0.07843137254901962, 'rougeLsum': 0.1176470588235294} Sari: {'sari': 67.6470588235294} Flesh Reading Ease: 18.6 ---------------------------------------- Source: ['»Rapunzel, Rapunzel, laß dein Haar herunter.« Denselben Tag aber, wo sie Rapunzel verstoßen hatte, machte abends die Zauberin die abgeschnittenen Flechten oben am Fensterhaken fest, und als der Königssohn kam und rief:'] Prediction: ['Der Königssohn hat am Fensterhaken in den USA einen Rücktritt entdeckt.\nDer Königssohn hatte den Abstieg von Rapunzel verstossen.\nDer Zauberin machte die Flechten abends am Fensterhaken fest.'] Label: [['Rapunzel: Lass deine Haare herunter!\nUnd ruft: Rapunzel!\nAm nächsten Tag kommt der Prinz zum Turm.']] Sacrebleu: {'score': 1.4262733286728257, 'counts': [2, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [6.451612903225806, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.06451612903225806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4761904761904763, 'translation_length': 31, 'reference_length': 21} Rouge: {'rouge1': 0.125, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.125} Sari: {'sari': 42.99242424242424} Flesh Reading Ease: 65.4 ---------------------------------------- Source: ['Und sie war so unbarmherzig, daß sie die arme Rapunzel in eine Wüstenei brachte, wo sie in großem Jammer und Elend leben mußte.'] Prediction: ['Der Rapunzel ist unbarmherzig.\nDie Rapunzel ist in eine Wüstenei.\nDie Rapunzel ist unbarmherzig.'] Label: [['An diesem Ort muss Rapunzel jetzt arm und alleine leben.\nDeshalb schickt die Zauberin Rapunzel an einen einsamen Ort.\nDie Zauberin kann Rapunzel nicht verzeihen.']] Sacrebleu: {'score': 3.2756001855145493, 'counts': [7, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 0.523583465714997, 'sys_len': 17, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.4117647058823529, 0.0625, 0.0, 0.0], 'brevity_penalty': 0.5235834657149969, 'length_ratio': 0.6071428571428571, 'translation_length': 17, 'reference_length': 28} Rouge: {'rouge1': 0.25, 'rouge2': 0.0, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 45.490196078431374} Flesh Reading Ease: 52.45 ---------------------------------------- Source: ['In ihrem Zorne packte sie die schönen Haare der Rapunzel, schlug sie ein paarmal um ihre linke Hand, griff eine Schere mit der rechten, und ritsch, ratsch waren sie abgeschnitten, und die schönen Flechten lagen auf der Erde.'] Prediction: ['In der Nacht auf Sonntag wurde eine Rapunzel gefunden.\nDie schönen Flechten waren abgeschnitten.\nDie Rapunzel-Gäste waren abgeschnitten.'] Label: [['Und die Zauberin schneidet Rapunzel den langen Zopf ab.\nDa nimmt die Zauberin eine Schere.']] Sacrebleu: {'score': 2.568331954752977, 'counts': [4, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [19.047619047619047, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.19047619047619047, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2352941176470589, 'translation_length': 21, 'reference_length': 17} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.0, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 44.74523092369478} Flesh Reading Ease: 45.3 ---------------------------------------- Source: ['»Ach, du gottloses Kind,« rief die Zauberin, »was muß ich von dir hören, ich dachte, ich hätte dich von aller Welt geschieden, und du hast mich doch betrogen!«'] Prediction: ['Ein Kind, der sich in der Schweiz aufmerksam machte, ist betrogen.\nDer Kind war auch von aller Welt geschieden.\nDie Zauberin rief die Zauberin, dass es ihn gottloses Kind hören könnte.'] Label: [['Du hast mich betrogen.\nDu gehörst mir allein.\nDu darfst keine anderen Menschen sehen.\nUnd schreit: Was sagst du da?\nDie Zauberin ist sehr wütend.']] Sacrebleu: {'score': 3.2415051476278265, 'counts': [7, 2, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [18.91891891891892, 5.555555555555555, 1.4285714285714286, 0.7352941176470589], 'bp': 1.0, 'sys_len': 37, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.1891891891891892, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1935483870967742, 'translation_length': 37, 'reference_length': 31} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.034482758620689655, 'rougeL': 0.09999999999999999, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 35.82616579874704} Flesh Reading Ease: 81.95 ---------------------------------------- Source: ['Die Zauberin merkte auch nichts davon, bis einmal Rapunzel anfing und zu ihr sagte: »Sag sie mir doch, Frau Gothel, wie kommt es nur, sie wird mir viel schwerer heraufzuziehen als der junge Königssohn, der ist in einem Augenblick bei mir.«'] Prediction: ['Eine Zauberin hatte ihren Rapunzel angegriffen.\nDie Zauberin merkte davon, bis einmal Rapunzel anfing.\nDie Zauberin sagte: "Ich wird mir schwerer heraufzuziehen".'] Label: [['Der Prinz klettert viel schneller den Zopf herauf als du.\nDu kletterst sehr langsam.\nUnd sagt zu der Zauberin: An einem Abend passt Rapunzel nicht auf.\nUnd besucht ihre Rapunzel jeden Abend.\nDie Zauberin weiß nichts von dem Prinzen.']] Sacrebleu: {'score': 3.6305848693972758, 'counts': [9, 2, 1, 0], 'totals': [29, 28, 27, 26], 'precisions': [31.03448275862069, 7.142857142857143, 3.7037037037037037, 1.9230769230769231], 'bp': 0.5759559263708725, 'sys_len': 29, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.3103448275862069, 0.07142857142857142, 0.037037037037037035, 0.0], 'brevity_penalty': 0.5759559263708725, 'length_ratio': 0.6444444444444445, 'translation_length': 29, 'reference_length': 45} Rouge: {'rouge1': 0.16393442622950816, 'rouge2': 0.03389830508474576, 'rougeL': 0.16393442622950816, 'rougeLsum': 0.16393442622950816} Sari: {'sari': 36.109327228220906} Flesh Reading Ease: 44.0 ---------------------------------------- Source: ['« Sie verabredeten, daß er bis dahin alle Abend zu ihr kommen sollte, denn bei Tage kam die Alte.'] Prediction: ['Ein Mann kam bei einer Abend in der Nähe des Landes zu ihr.\nDie Alte konnte bis dahin alle Abend zu ihr kommen.'] Label: [['Und die Zauberin kommt am Abend.\nVon jetzt an kommt der Prinz immer am Tage zu Rapunzel.']] Sacrebleu: {'score': 2.252278368576829, 'counts': [5, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3157894736842106, 'translation_length': 25, 'reference_length': 19} Rouge: {'rouge1': 0.19512195121951217, 'rouge2': 0.0, 'rougeL': 0.14634146341463414, 'rougeLsum': 0.19512195121951217} Sari: {'sari': 37.162309368191714} Flesh Reading Ease: 92.45 ---------------------------------------- Source: ['Wenn du kommst, so bring jedesmal einen Strang Seide mit, daraus will ich eine Leiter flechten und wenn die fertig ist, so steige ich herunter und du nimmst mich auf dein Pferd.'] Prediction: ['20 Minuten hat einen 20-Minuten-App lanciert.\nWir servieren mit, wie du dich nicht mehr mit seiner Leiter kommst.\nWir haben uns mit uns auf der Strasse gegeben.'] Label: [['Und wir können zusammen in mein Schloss reiten.\nErst dann kannst du den Turm verlassen.\nDas Seil muss bis zum Boden gehen.\nAus dem Stoff kannst du dir ein langes Seil machen.\nUnd sagt: Ich bringe dir jeden Tag ein Stück Stoff.\nDer Prinz hat eine Idee.']] Sacrebleu: {'score': 0.8887744784267904, 'counts': [5, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [15.151515151515152, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 0.5292133415000503, 'sys_len': 33, 'ref_len': 54} Bleu: {'bleu': 0.0, 'precisions': [0.15151515151515152, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5292133415000504, 'length_ratio': 0.6111111111111112, 'translation_length': 33, 'reference_length': 54} Rouge: {'rouge1': 0.10256410256410256, 'rouge2': 0.0, 'rougeL': 0.07692307692307693, 'rougeLsum': 0.10256410256410256} Sari: {'sari': 51.86319718928415} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Sie sprach: »Ich will gern mit dir gehen, aber ich weiß nicht wie ich herabkommen kann.'] Prediction: ['Die 20-Minuten-Radio-Hosts Andrea (30) und Host Stefan über ihre 20-Minuten-App (ganz unten im Podcast), die ihre Lebenshow mit Host Andrea (31) und ihre Frau (31) über ihre Lebenshow-Hosts (45) und ihre Lebenshow-Host Andrea (31) sowie ihre Frau (31) sowie ihre Partnerin Andrea (31) sowie ihre Partnerin Andrea (31) sowie ihren Partnerin Andrea (31) sowie ihren Partnerin Andrea (45) im Podcast "Unchained".\nDie beiden wollen sich nun nicht nach ihrem Podcast über ihre Wunsch über ihre Lebenshow-Hosts (45) berühren.'] Label: [['Mein lieber Prinz: Wie komme ich aus dem Turm heraus?\nAber Rapunzel sagt:']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [111, 110, 109, 108], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 111, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.9375, 'translation_length': 111, 'reference_length': 16} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 56.25} Flesh Reading Ease: 35.7 ---------------------------------------- Source: ['»Der wird mich lieber haben als die alte Frau Gothel,« und sagte ja, und legte ihre Hand in seine Hand. Da verlor Rapunzel ihre Angst, und als er sie fragte, ob sie ihn zum Manne nehmen wollte, und sie sah, daß er jung und schön war, so dachte sie:'] Prediction: ['Ein Rapunzel hat seine Frau Gothel (23) über seinen Mann geschickt.\nDer Mann wurde dabei von ihm gesucht, dass ihn ihn zum Manne nehmen wollte.\nDer Rapunzel sagte, er wollte ihn ihn zum Manne nehmen, und seine Frau sah, daß er jung und schön war.'] Label: [['Und Rapunzel möchte den Prinzen gerne heiraten.\nRapunzel ist glücklich.\nUnd fragt: Möchtest du meine Frau werden?\nDer Prinz verliebt sich sofort in das schöne Rapunzel.\nJetzt hat Rapunzel keine Angst mehr vor dem Prinzen.']] Sacrebleu: {'score': 1.132835149919304, 'counts': [8, 0, 0, 0], 'totals': [54, 53, 52, 51], 'precisions': [14.814814814814815, 0.9433962264150944, 0.4807692307692308, 0.24509803921568626], 'bp': 1.0, 'sys_len': 54, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.14814814814814814, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3170731707317074, 'translation_length': 54, 'reference_length': 41} Rouge: {'rouge1': 0.18823529411764706, 'rouge2': 0.0, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.18823529411764706} Sari: {'sari': 35.529433820772404} Flesh Reading Ease: 83.1 ---------------------------------------- Source: ['Anfangs erschrak Rapunzel gewaltig, als ein Mann zu ihr hereinkam, wie ihre Augen noch nie einen erblickt hatten, doch der Königssohn fing an ganz freundlich mit ihr zu reden und erzählte ihr, daß von ihrem Gesange sein Herz so sehr sei bewegt worden, daß es ihm keine Ruhe gelassen, und er sie selbst habe sehen müssen.'] Prediction: ['Ein Mann hat einen Königssohn in den Nähe von Rapunzel gewaltigt.\nDer Königssohn fing an ganz freundlich mit ihr zu reden.\nRapunzel erzählte ihr, daß ihm keine Ruhe gelassen, und er sie selbst habe sehen müssen.'] Label: [['Ich musste dich unbedingt sehen.\nDer Prinz sagt: Du hast so schön gesungen.\nAber der Prinz ist sehr freundlich.\nRapunzel hat nämlich noch nie einen Prinzen gesehen.\nUnd Rapunzel erschrickt.\nRapunzel sieht den Prinzen.']] Sacrebleu: {'score': 3.261445761657491, 'counts': [11, 2, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [26.829268292682926, 5.0, 1.2820512820512822, 0.6578947368421053], 'bp': 1.0, 'sys_len': 41, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.2682926829268293, 0.05, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 41, 'reference_length': 41} Rouge: {'rouge1': 0.25974025974025977, 'rouge2': 0.0, 'rougeL': 0.12987012987012989, 'rougeLsum': 0.2077922077922078} Sari: {'sari': 36.01891087131403} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['Alsbald fielen die Haare herab und der Königssohn stieg hinauf.'] Prediction: ['Die Haare von Jahnika (30) und Karl (29) sind seit Sonntag geschlossen.\nDie beiden waren alsbald.\nJetzt hat sich die beiden zu sehen.'] Label: [['Der Prinz klettert am Zopf nach oben: Und Rapunzel lässt ihre langen Haare herunter.']] Sacrebleu: {'score': 1.4763939041893883, 'counts': [2, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [6.666666666666667, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.875, 'translation_length': 30, 'reference_length': 16} Rouge: {'rouge1': 0.10526315789473685, 'rouge2': 0.0, 'rougeL': 0.052631578947368425, 'rougeLsum': 0.052631578947368425} Sari: {'sari': 54.166666666666664} Flesh Reading Ease: 84.55 ---------------------------------------- Source: ['»Rapunzel, Rapunzel, laß dein Haar herunter.« Und den folgenden Tag, als es anfing dunkel zu werden, ging er zu dem Turm und rief'] Prediction: ['Der Schweizer Rapunzel hat seinen letzten Tag bei den Migos veröffentlicht.\nDer letzten Tag war er zu dem Turm und rief zu dem Turm.\nWir haben mit der Welt bekannt gegeben, was sie sich um den Tag geschehen hat.'] Label: [['Rapunzel: Lass deine Haare herunter!\nUnd ruft: Rapunzel!\nDer Prinz verstellt seine Stimme.\nAm nächsten Abend kommt der Prinz wieder zum Turm.']] Sacrebleu: {'score': 2.2432357486338774, 'counts': [6, 1, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [13.953488372093023, 2.380952380952381, 1.2195121951219512, 0.625], 'bp': 1.0, 'sys_len': 43, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.13953488372093023, 0.023809523809523808, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5357142857142858, 'translation_length': 43, 'reference_length': 28} Rouge: {'rouge1': 0.15873015873015875, 'rouge2': 0.0, 'rougeL': 0.09523809523809523, 'rougeLsum': 0.15873015873015875} Sari: {'sari': 37.11711711711712} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['Ist das die Leiter, auf welcher man hinaufkommt, so will ich auch einmal mein Glück versuchen.«'] Prediction: ['Im Interview mit 20 Minuten spricht sich der Schweizer über die Welt und die Welt.\nIn der Interview spricht er über die Welt und wie vor allem über die Welt.'] Label: [['So komme ich also in den Turm.\nUnd denkt: Der Prinz beobachtet das.']] Sacrebleu: {'score': 1.3794462224541233, 'counts': [2, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [6.25, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 32, 'reference_length': 16} Rouge: {'rouge1': 0.13953488372093023, 'rouge2': 0.0, 'rougeL': 0.09302325581395349, 'rougeLsum': 0.09302325581395349} Sari: {'sari': 61.42623716153127} Flesh Reading Ease: 88.95 ---------------------------------------- Source: ['Da ließ Rapunzel die Haarflechten herab und die Zauberin stieg zu ihr hinauf. »'] Prediction: ['Die Zauberin von Rapunzel (23) hat ihren Haarflechten geschickt.\nDie Zauberin stieg zu ihr hinauf.\nWir haben die besten Freunde in der Schweiz.'] Label: [['Die Zauberin klettert am Zopf nach oben.\nUnd Rapunzel lässt ihre langen Haare herunter.']] Sacrebleu: {'score': 3.3582360261774293, 'counts': [5, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [17.857142857142858, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.17857142857142858, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 28, 'reference_length': 16} Rouge: {'rouge1': 0.15789473684210528, 'rouge2': 0.05555555555555555, 'rougeL': 0.15789473684210528, 'rougeLsum': 0.15789473684210528} Sari: {'sari': 38.40898976412995} Flesh Reading Ease: 72.85 ---------------------------------------- Source: ['»Rapunzel, Rapunzel, laß dein Haar herunter.« Als er einmal so hinter einem Baume stand, sah er, daß eine Zauberin herankam und hörte wie sie hinaufrief:'] Prediction: ['Der Rapunzel-Label Rapunzel hat eine Zauberin entdeckt.\nDie Zauberin hörte wie sie hinaufrief.'] Label: [['Rapunzel: Lass deine Haare herunter!\nUnd ruft : Rapunzel!\nDa kommt die böse Zauberin zum Turm.\nEinmal versteckt sich der Prinz hinter einem Baum.']] Sacrebleu: {'score': 1.4614787821465618, 'counts': [4, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [26.666666666666668, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.39324072086859824, 'sys_len': 15, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 0.39324072086859835, 'length_ratio': 0.5172413793103449, 'translation_length': 15, 'reference_length': 29} Rouge: {'rouge1': 0.25641025641025644, 'rouge2': 0.0, 'rougeL': 0.2051282051282051, 'rougeLsum': 0.25641025641025644} Sari: {'sari': 35.05316941591452} Flesh Reading Ease: 56.5 ---------------------------------------- Source: ['Er ritt heim, doch der Gesang hatte ihm so sehr das Herz gerührt, daß er jeden Tag hinaus in den Wald ging und zuhörte.'] Prediction: ['Ein Mann hatte ihm so sehr das Herz gerührt, daß er jeden Tag hinaus in den Wald ging und zuhörte.\nDer Gesang hatte ihm so sehr das Herz gerührt, daß er jeden Tag hinaus in den Wald ging und zuhörte.'] Label: [['Und hört dem schönen Gesang von dem Mädchen zu.\nDeshalb kommt der Prinz jeden Tag zu dem Turm im Wald.\nAber der Prinz kann den Gesang von dem Mädchen im Turm nicht vergessen.\nDie Tage vergehen.\nDeshalb reitet der Prinz auf seinem Pferd weiter.']] Sacrebleu: {'score': 2.031944295169071, 'counts': [7, 1, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [15.909090909090908, 2.3255813953488373, 1.1904761904761905, 0.6097560975609756], 'bp': 0.8925824723203238, 'sys_len': 44, 'ref_len': 49} Bleu: {'bleu': 0.0, 'precisions': [0.1590909090909091, 0.023255813953488372, 0.0, 0.0], 'brevity_penalty': 0.8925824723203238, 'length_ratio': 0.8979591836734694, 'translation_length': 44, 'reference_length': 49} Rouge: {'rouge1': 0.15217391304347827, 'rouge2': 0.02222222222222222, 'rougeL': 0.10869565217391304, 'rougeLsum': 0.13043478260869565} Sari: {'sari': 38.535353535353536} Flesh Reading Ease: 83.95 ---------------------------------------- Source: ['Der Königssohn wollte zu ihr hinaufsteigen und suchte nach einer Thür des Turmes, aber es war keine zu finden.'] Prediction: ['Nach einer Thür des Turmes wurde ein Königssohn gefunden.\nDer Königssohn wollte zu ihr hinaufsteigen und suchte nach einer Thür des Turmes.'] Label: [['Aber der Turm hat keine Tür.\nDer Prinz sucht eine Tür.\nDer Prinz möchte unbedingt in den Turm hinein.']] Sacrebleu: {'score': 3.482270899863668, 'counts': [3, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [12.5, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 1.0, 'sys_len': 24, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0909090909090908, 'translation_length': 24, 'reference_length': 22} Rouge: {'rouge1': 0.12499999999999997, 'rouge2': 0.0, 'rougeL': 0.12499999999999997, 'rougeLsum': 0.12499999999999997} Sari: {'sari': 33.470899470899475} Flesh Reading Ease: 69.55 ---------------------------------------- Source: ['Da hörte er einen Gesang, der war so lieblich, daß er still hielt und horchte.'] Prediction: ['Ein Mann hatte sich in der Nacht auf Sonntag in den Nacht auf Sonntag in Zürich (D) geschützt.\nEr hörte einen Gesang, der er still hielt und horchte.\nDer Mann hatte sich dabei einen Gesang, der er still hielt und horchte.'] Label: [['Der Prinz bleibt stehen.\nDa hört der Prinz ein Mädchen im Turm singen.']] Sacrebleu: {'score': 1.0755798168739934, 'counts': [4, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [8.333333333333334, 1.0638297872340425, 0.5434782608695652, 0.2777777777777778], 'bp': 1.0, 'sys_len': 48, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2, 'translation_length': 48, 'reference_length': 15} Rouge: {'rouge1': 0.13559322033898305, 'rouge2': 0.0, 'rougeL': 0.10169491525423728, 'rougeLsum': 0.10169491525423728} Sari: {'sari': 34.74206349206349} Flesh Reading Ease: 90.25 ---------------------------------------- Source: ['Nach ein paar Jahren trug es sich zu, daß der Sohn des Königs durch den Wald ritt und an dem Turm vorüberkam.'] Prediction: ['Nach einem paar Jahren trug es sich zu, da der Sohn des Königs durch den Wald ritt und an dem Turm vorüberkam.\nNach einem paar Jahren trug es sich zu, da der Sohn durch den Wald ritt und an dem Turm vorüberkam.'] Label: [['Der Prinz reitet an dem Turm von Rapunzel vorbei.\nAn einem Tag reitet ein Prinz durch den Wald.\nUnd die böse Zauberin besucht ihre Rapunzel jeden Tag.\nDie Jahre vergehen.']] Sacrebleu: {'score': 5.506209809653263, 'counts': [9, 4, 2, 0], 'totals': [46, 45, 44, 43], 'precisions': [19.565217391304348, 8.88888888888889, 4.545454545454546, 1.1627906976744187], 'bp': 1.0, 'sys_len': 46, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.1956521739130435, 0.08888888888888889, 0.045454545454545456, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3529411764705883, 'translation_length': 46, 'reference_length': 34} Rouge: {'rouge1': 0.2631578947368421, 'rouge2': 0.10810810810810811, 'rougeL': 0.2368421052631579, 'rougeLsum': 0.2368421052631579} Sari: {'sari': 39.487495513079374} Flesh Reading Ease: 88.8 ---------------------------------------- Source: ['Wenn sie nun die Stimme der Zauberin vernahm, so band sie ihre Zöpfe los, wickelte sie oben um einen Fensterhaken und dann fielen die Haare zwanzig Ellen tief herunter, und die Zauberin stieg daran hinauf.'] Prediction: ['Die Zauberin ist die Zöpfe der Zauberin.\nDie Zauberin hat sich nun einen Fensterhaken geschickt.\nDie Haare fielen die Zauberin tief herunter.'] Label: [['So kann die Zauberin am Zopf nach oben klettern.\nRapunzel hat ihre langen Haare zu einem Zopf geflochten.\nUnd Rapunzel lässt ihre Haare herunter.']] Sacrebleu: {'score': 4.676689089260248, 'counts': [8, 2, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [32.0, 8.333333333333334, 2.1739130434782608, 1.1363636363636365], 'bp': 0.9231163463866358, 'sys_len': 25, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.32, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 0.9231163463866358, 'length_ratio': 0.9259259259259259, 'translation_length': 25, 'reference_length': 27} Rouge: {'rouge1': 0.20833333333333331, 'rouge2': 0.043478260869565216, 'rougeL': 0.20833333333333331, 'rougeLsum': 0.20833333333333331} Sari: {'sari': 55.684562486463065} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ['Rapunzel hatte lange prächtige Haare, fein wie gesponnen Gold.'] Prediction: ['Rapunzel hatte lange prächtige Haare.\nGold hatte zuletzt sechs Monate.'] Label: [['Und Rapunzel bekommt sehr lange Haare:']] Sacrebleu: {'score': 4.456882760699063, 'counts': [3, 0, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [25.0, 4.545454545454546, 2.5, 1.3888888888888888], 'bp': 1.0, 'sys_len': 12, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7142857142857142, 'translation_length': 12, 'reference_length': 7} Rouge: {'rouge1': 0.3529411764705882, 'rouge2': 0.0, 'rougeL': 0.3529411764705882, 'rougeLsum': 0.3529411764705882} Sari: {'sari': 38.33333333333333} Flesh Reading Ease: 52.15 ---------------------------------------- Source: ['»Rapunzel, Rapunzel, laß mir dein Haar herunter.«'] Prediction: ['Der Schweizer Rapunzel hat seine Welt geschützt.\nDie Welt geschützt, wie es ihr erstes Jahr war.\nWir haben dir die besten Songs, die sich über den Sound bestätigen.'] Label: [['Rapunzel: Lass deine Haare herunter!\nRapunzel!']] Sacrebleu: {'score': 1.123099644603982, 'counts': [1, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [3.0303030303030303, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.030303030303030304, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6666666666666665, 'translation_length': 33, 'reference_length': 9} Rouge: {'rouge1': 0.05405405405405405, 'rouge2': 0.0, 'rougeL': 0.05405405405405405, 'rougeLsum': 0.05405405405405405} Sari: {'sari': 60.476190476190474} Flesh Reading Ease: 88.8 ---------------------------------------- Source: ['Wenn die Zauberin hinein wollte, so stellte sie sich unten hin und rief:'] Prediction: ['Eine Zauberin wollte ihren Zauberin hinein wollte, so stellte sie sich unten hin und rief.\nDie Zauberin wollte sich unten hin und rief.'] Label: [['Dann ruft die Zauberin zu Rapunzel: Die böse Zauberin besucht Rapunzel jeden Abend.']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7333333333333334, 'translation_length': 26, 'reference_length': 15} Rouge: {'rouge1': 0.16216216216216214, 'rouge2': 0.05714285714285715, 'rougeL': 0.16216216216216214, 'rougeLsum': 0.16216216216216214} Sari: {'sari': 33.92094017094017} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['Als es zwölf Jahre alt war, schloß es die Zauberin in einen Turm, der in einem Walde lag und weder Treppe noch Thür hatte, nur ganz oben war ein kleines Fensterchen. Rapunzel ward das schönste Kind unter der Sonne.'] Prediction: ['Eine Zauberin (23) schloß in einen Turm, der in einem Walde lag.\nDer Treppe war noch Thür.\nDas schönste Kind war zwölf Jahre alt.'] Label: [['Und Rapunzel wird immer schöner.\nRapunzel wird älter.\nDer Turm hat nur ein kleines Fenster.\nDer Turm hat keine Tür.\nDer Turm ist mitten im Wald.\nDie Zauberin bringt Rapunzel in einen Turm.']] Sacrebleu: {'score': 4.841686940743748, 'counts': [8, 3, 1, 0], 'totals': [30, 29, 28, 27], 'precisions': [26.666666666666668, 10.344827586206897, 3.5714285714285716, 1.8518518518518519], 'bp': 0.7408182206817179, 'sys_len': 30, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.10344827586206896, 0.03571428571428571, 0.0], 'brevity_penalty': 0.740818220681718, 'length_ratio': 0.7692307692307693, 'translation_length': 30, 'reference_length': 39} Rouge: {'rouge1': 0.25806451612903225, 'rouge2': 0.06666666666666667, 'rougeL': 0.12903225806451613, 'rougeLsum': 0.25806451612903225} Sari: {'sari': 36.45813622606666} Flesh Reading Ease: 95.95 ---------------------------------------- Source: ['« Der Mann sagte in der Angst alles zu, und als die Frau in Wochen kam, so erschien sogleich die Zauberin, gab dem Kinde den Namen Rapunzel und nahm es mit sich fort.'] Prediction: ['Ein Mann wurde in Wochen mit einem Frauen-Kollegen in einem Zürcher Wohnort gefunden.\nDer Mann gab dem Kinde den Namen Rapunzel.\nDie Frau nahm es mit sich fort.'] Label: [['Die Zauberin nennt das Mädchen: Rapunzel.\nUnd die Zauberin nimmt das kleine Mädchen mit.\nPlötzlich steht die Zauberin in der Tür.\nUnd die Frau bekommt ein Kind: Einige Wochen vergehen.\nWir werden dir unser Kind geben.\nDeshalb sagt der Mann zur Zauberin: Der Mann hat große Angst.']] Sacrebleu: {'score': 1.9931183327936919, 'counts': [12, 2, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [38.70967741935484, 6.666666666666667, 1.7241379310344827, 0.8928571428571429], 'bp': 0.4464393987758162, 'sys_len': 31, 'ref_len': 56} Bleu: {'bleu': 0.0, 'precisions': [0.3870967741935484, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 0.4464393987758162, 'length_ratio': 0.5535714285714286, 'translation_length': 31, 'reference_length': 56} Rouge: {'rouge1': 0.2439024390243902, 'rouge2': 0.05, 'rougeL': 0.1219512195121951, 'rougeLsum': 0.21951219512195122} Sari: {'sari': 36.998031938994245} Flesh Reading Ease: 77.1 ---------------------------------------- Source: ['du mußt mir das Kind geben, das deine Frau zur Welt bringen wird. « Da ließ die Zauberin in ihrem Zorne nach und sprach zu ihm: »Verhält es sich so, wie du sagst, so will ich dir gestatten, Rapunzeln mitzunehmen, soviel du willst, allein ich mache eine Bedingung:'] Prediction: ['Ein Kind wird in der Schweiz zur Welt bringen.\nDie Zauberin hatte ihn das Kind geben, das deine Frau zur Welt bringen wird.\nDie Zauberin will ihn das Kind gestatten, Rapunzeln mitzunehmen.'] Label: [['Dann musst du mir euer Kind für die Rapunzeln geben.\nDeine Frau hat euer Kind geboren?\nAber dafür musst du mir etwas versprechen: Dann nimm dir noch mehr von meinen Rapunzeln.\nUnd antwortet: Ist das wahr?\nDie Zauberin beruhigt sich.']] Sacrebleu: {'score': 2.329088499707607, 'counts': [11, 1, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [29.72972972972973, 2.7777777777777777, 1.4285714285714286, 0.7352941176470589], 'bp': 0.763173203433005, 'sys_len': 37, 'ref_len': 47} Bleu: {'bleu': 0.0, 'precisions': [0.2972972972972973, 0.027777777777777776, 0.0, 0.0], 'brevity_penalty': 0.763173203433005, 'length_ratio': 0.7872340425531915, 'translation_length': 37, 'reference_length': 47} Rouge: {'rouge1': 0.27027027027027023, 'rouge2': 0.05555555555555555, 'rougeL': 0.18918918918918917, 'rougeLsum': 0.2432432432432432} Sari: {'sari': 37.82563465092774} Flesh Reading Ease: 81.55 ---------------------------------------- Source: ['meine Frau hat Euere Rapunzeln aus dem Fenster erblickt, und empfindet ein so großes Gelüsten, daß sie sterben würde, wenn sie nicht davon zu essen bekäme. »Ach,« antwortete er, »laßt Gnade für Recht ergehen, ich habe mich nur aus Not dazu entschlossen:'] Prediction: ['Eine Frau hat Euere Rapunzeln aus dem Fenster erblickt.\nSie empfindet ein so großes Gelüsten, daß sie sterben würde, wenn sie nicht davon zu essen bekäme.'] Label: [['Sonst stirbt meine Frau.\nMeine Frau wollte unbedingt Rapunzeln essen.\nMeine Frau ist schwanger.\nUnd sagt: Bitte bestraf mich nicht.\nDer Mann hat Angst.']] Sacrebleu: {'score': 2.019385597421733, 'counts': [7, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [23.333333333333332, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.23333333333333334, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 30, 'reference_length': 30} Rouge: {'rouge1': 0.1851851851851852, 'rouge2': 0.0, 'rougeL': 0.11111111111111112, 'rougeLsum': 0.1851851851851852} Sari: {'sari': 34.269841269841265} Flesh Reading Ease: 67.55 ---------------------------------------- Source: ['Das soll dir schlecht bekommen.«'] Prediction: ['Immer wieder soll es schlecht bekommen.\nImmer wieder soll es schlecht bekommen.'] Label: [['Deshalb werde ich dich bestrafen.']] Sacrebleu: {'score': 2.8398387225677895, 'counts': [1, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [7.142857142857143, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 14, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 45.0} Flesh Reading Ease: 74.55 ---------------------------------------- Source: ['»Wie kannst du es wagen,« sprach sie mit zornigem Blick, »in meinen Garten zu steigen und wie ein Dieb mir meine Rapunzeln zu stehlen?'] Prediction: ['Immer mehr Rapunzeln wird das Leben geschickt.\nWie kannst du es wagen, ist derzeit nicht bekannt.\nWie kannst du es wagen, wie ein Dieb mir meine Rapunzeln zu stehlen?'] Label: [['Du bist ein Dieb!\nDu hast meine Rapunzeln genommen.\nUnd das sind meine Rapunzeln.\nDas ist mein Feld.\nUnd sagt wütend:']] Sacrebleu: {'score': 3.770678435743331, 'counts': [9, 2, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [26.470588235294116, 6.0606060606060606, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.2647058823529412, 0.06060606060606061, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3076923076923077, 'translation_length': 34, 'reference_length': 26} Rouge: {'rouge1': 0.35294117647058826, 'rouge2': 0.08163265306122448, 'rougeL': 0.19607843137254902, 'rougeLsum': 0.35294117647058826} Sari: {'sari': 41.32326007326007} Flesh Reading Ease: 88.4 ---------------------------------------- Source: ['Er machte sich also in der Abenddämmerung wieder hinab, als er aber die Mauer hinabgeklettert war, erschrak er gewaltig, denn er sah die Zauberin vor sich stehen.'] Prediction: ['Ein Mann hatte sich in der Mauer hinabgeklettert.\nEr sah die Zauberin vor sich.'] Label: [['Plötzlich steht die böse Zauberin vor dem Mann.\nDer Mann nimmt einige Rapunzeln.\nUnd geht auf das Feld.\nDann klettert der Mann wieder über die Mauer.\nDeshalb wartet der Mann auf die nächste Nacht.']] Sacrebleu: {'score': 1.6429752637175485, 'counts': [8, 1, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [50.0, 6.666666666666667, 3.5714285714285716, 1.9230769230769231], 'bp': 0.23752081909545814, 'sys_len': 16, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.5, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 0.23752081909545814, 'length_ratio': 0.41025641025641024, 'translation_length': 16, 'reference_length': 39} Rouge: {'rouge1': 0.23529411764705885, 'rouge2': 0.04081632653061225, 'rougeL': 0.1568627450980392, 'rougeLsum': 0.23529411764705885} Sari: {'sari': 39.69955080939063} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Sie hatten ihr aber so gut, so gut geschmeckt, daß sie den anderen Tag noch dreimal so viel Lust bekam.'] Prediction: ['Eine Frau hat ihr erstes Tag geschmeckt.\nSie hatten ihr aber so gut, so gut geschmeckt, daß sie den anderen Tag noch dreimal so viel Lust bekam.'] Label: [['Und die Frau möchte noch mehr von den Rapunzeln essen.']] Sacrebleu: {'score': 1.696134390396339, 'counts': [4, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [12.903225806451612, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.12903225806451613, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8181818181818183, 'translation_length': 31, 'reference_length': 11} Rouge: {'rouge1': 0.15789473684210525, 'rouge2': 0.0, 'rougeL': 0.10526315789473684, 'rougeLsum': 0.10526315789473684} Sari: {'sari': 37.10317460317461} Flesh Reading Ease: 90.45 ---------------------------------------- Source: ['Sie machte sich sogleich Salat daraus und aß sie in voller Begierde auf.'] Prediction: ['Eine Frau aus der Nähe von Salat hat sich in einem Begierde aufgefunden.\nSie machte sich sogleich Salat daraus und auss sie in voller Begierde aufgefunden.'] Label: [['Die Frau isst die Rapunzeln.']] Sacrebleu: {'score': 1.5880117714047368, 'counts': [2, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [7.142857142857143, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.666666666666667, 'translation_length': 28, 'reference_length': 6} Rouge: {'rouge1': 0.0625, 'rouge2': 0.0, 'rougeL': 0.0625, 'rougeLsum': 0.0625} Sari: {'sari': 35.91269841269842} Flesh Reading Ease: 67.55 ---------------------------------------- Source: ['« In der Abenddämmerung stieg er also über die Mauer in den Garten der Zauberin, stach in aller Eile eine Hand voll Rapunzeln und brachte sie seiner Frau.'] Prediction: ['Ein Mann hat in der Nacht auf Sonntag in Zürich eine Frau gefunden.\nIn der Abenddämmerung stieg er also über die Mauer in den Garten der Zauberin.\nIn aller Eile brachte er sie seiner Frau.'] Label: [['Und der Mann bringt die Rapunzeln seiner schwangeren Frau.\nDer Mann nimmt einige Rapunzeln.\nUnd geht auf das Feld.\nDer Mann klettert über die Mauer.\nDeshalb wartet der Mann auf die Nacht.']] Sacrebleu: {'score': 5.7599629033790745, 'counts': [13, 3, 1, 0], 'totals': [38, 37, 36, 35], 'precisions': [34.21052631578947, 8.108108108108109, 2.7777777777777777, 1.4285714285714286], 'bp': 1.0, 'sys_len': 38, 'ref_len': 37} Bleu: {'bleu': 0.0, 'precisions': [0.34210526315789475, 0.08108108108108109, 0.027777777777777776, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.027027027027027, 'translation_length': 38, 'reference_length': 37} Rouge: {'rouge1': 0.3188405797101449, 'rouge2': 0.059701492537313425, 'rougeL': 0.2318840579710145, 'rougeLsum': 0.26086956521739135} Sari: {'sari': 40.81392339544514} Flesh Reading Ease: 80.55 ---------------------------------------- Source: ['« Der Mann, der sie lieb hatte, dachte: »Ehe du deine Frau sterben läßt, holst du ihr von den Rapunzeln, es mag kosten was es will.'] Prediction: ['Ein Mann, der sie lieb hatte, dachte: Ehe du deine Frau sterben läßt, holst ihr von den Rapunzeln, es mag kosten was es will.\nDer Mann, der sie lieb hatte, dachte: "Ehe du deine Frau sterben läßt, holst du ihr von den Rapunzeln, es mag kosten was es will".'] Label: [['Der Mann liebt seine Frau nämlich sehr.\nDer Mann will seiner Frau diesen Wunsch erfüllen.']] Sacrebleu: {'score': 2.735074532708668, 'counts': [8, 2, 1, 0], 'totals': [63, 62, 61, 60], 'precisions': [12.698412698412698, 3.225806451612903, 1.639344262295082, 0.8333333333333334], 'bp': 1.0, 'sys_len': 63, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.12698412698412698, 0.03225806451612903, 0.01639344262295082, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.7058823529411766, 'translation_length': 63, 'reference_length': 17} Rouge: {'rouge1': 0.20588235294117646, 'rouge2': 0.030303030303030304, 'rougeL': 0.14705882352941177, 'rougeLsum': 0.17647058823529413} Sari: {'sari': 38.10148497179981} Flesh Reading Ease: 79.45 ---------------------------------------- Source: ['»Ach,« antwortete sie, »wenn ich keine Rapunzeln aus dem Garten hinter unserem Hause zu essen kriege, so sterbe ich.'] Prediction: ['Eine Rapunzel-Männerin wollte sich in den vergangenen Tagen in ihrem Garten essen.\nDie Frau war dabei, dass sie keine Rapunzeln aus dem Garten hinter unserem Hause zu essen kriege.'] Label: [['Sonst sterbe ich.\nIch will unbedingt Rapunzeln essen.\nUnd so sagt die Frau zu ihrem Mann: Hol mir Rapunzeln.']] Sacrebleu: {'score': 3.1731768853938878, 'counts': [7, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [21.875, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.21875, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.391304347826087, 'translation_length': 32, 'reference_length': 23} Rouge: {'rouge1': 0.24000000000000002, 'rouge2': 0.04166666666666667, 'rougeL': 0.15999999999999998, 'rougeLsum': 0.24000000000000002} Sari: {'sari': 34.05164449371767} Flesh Reading Ease: 54.35 ---------------------------------------- Source: ['Eines Tages stand die Frau an diesem Fenster und sah in den Garten hinab, da erblickte sie ein Beet, das mit den schönsten Rapunzeln bepflanzt war: und sie sahen so frisch und grün aus, daß sie lüstern ward und das größte Verlangen empfand, von den Rapunzeln zu essen.'] Prediction: ['Eine Frau hat in den Fenster einen Beet bepflanzt, das mit den Rapunzeln bepflanzt war.\nDiese sahen so frisch und grün aus, daß sie lüstern ward und das größte Verlangen empfand, von den Rapunzeln zu essen.'] Label: [['Die Frau möchte unbedingt von den Rapunzeln essen.\nAuf dem Feld von der Zauberin wachsen Rapunzeln.']] Sacrebleu: {'score': 4.7138124442899105, 'counts': [8, 3, 1, 0], 'totals': [41, 40, 39, 38], 'precisions': [19.51219512195122, 7.5, 2.5641025641025643, 1.3157894736842106], 'bp': 1.0, 'sys_len': 41, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.1951219512195122, 0.075, 0.02564102564102564, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2777777777777777, 'translation_length': 41, 'reference_length': 18} Rouge: {'rouge1': 0.21428571428571433, 'rouge2': 0.07407407407407407, 'rougeL': 0.17857142857142858, 'rougeLsum': 0.21428571428571433} Sari: {'sari': 37.346046938328406} Flesh Reading Ease: 80.1 ---------------------------------------- Source: ['er war aber von einer hohen Mauer umgeben und niemand wagte hineinzugehen, weil er einer Zauberin gehörte, die große Macht hatte und von aller Welt gefürchtet ward. Die Leute hatten in ihrem Hinterhause ein kleines Fenster, daraus konnte man in einen prächtigen Garten sehen, der voll der schönsten Blumen und Kräuter stand;'] Prediction: ['Eine Zauberin hatte in ihrem Hinterhause einen Fenster gefürchtet.\nDer Fenster war in einen prächtigen Garten sehen.\nDie Leute waren in ihrem Hinterhause ein kleines Fenster.'] Label: [['Deshalb haben die Menschen Angst vor der Zauberin: Das wissen die Menschen.\nNiemand soll auf das Feld gehen.\nDie Zauberin hat eine Mauer um das Feld gebaut.\nDas Feld gehört einer Zauberin.\nDas Haus ist an einem Feld.\nDer Mann und die Frau wohnen in einem kleinen Haus.']] Sacrebleu: {'score': 1.7077282402567968, 'counts': [7, 2, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [24.137931034482758, 7.142857142857143, 1.8518518518518519, 0.9615384615384616], 'bp': 0.40797404404520005, 'sys_len': 29, 'ref_len': 55} Bleu: {'bleu': 0.0, 'precisions': [0.2413793103448276, 0.07142857142857142, 0.0, 0.0], 'brevity_penalty': 0.40797404404519994, 'length_ratio': 0.5272727272727272, 'translation_length': 29, 'reference_length': 55} Rouge: {'rouge1': 0.12987012987012986, 'rouge2': 0.0, 'rougeL': 0.12987012987012986, 'rougeLsum': 0.10389610389610389} Sari: {'sari': 36.704948299151205} Flesh Reading Ease: 60.15 ---------------------------------------- Source: ['Es war einmal ein Mann und eine Frau, die wünschten sich schon lange vergeblich ein Kind, endlich machte sich die Frau Hoffnung, der liebe Gott werde ihren Wunsch erfüllen.'] Prediction: ['Ein Kind wurde in der Nähe des Kantons Bern von einem Mann und einer Frau entdeckt.\nDer Mann war einmal ein Kind, der liebe Gott werde ihren Wunsch erfüllen.\nDie Frau wurde von der Mannschaft Hoffnung und der Mannschaft schon lange vergeblich ein Kind erfüllt.'] Label: [['Bald wird die Frau ein Kind bekommen.\nEin Mann und eine Frau wünschen sich ein Kind.\nEs war einmal:']] Sacrebleu: {'score': 3.3624442114805553, 'counts': [13, 4, 0, 0], 'totals': [49, 48, 47, 46], 'precisions': [26.53061224489796, 8.333333333333334, 1.0638297872340425, 0.5434782608695652], 'bp': 1.0, 'sys_len': 49, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.2653061224489796, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.227272727272727, 'translation_length': 49, 'reference_length': 22} Rouge: {'rouge1': 0.35294117647058826, 'rouge2': 0.15151515151515152, 'rougeL': 0.20588235294117646, 'rougeLsum': 0.35294117647058826} Sari: {'sari': 32.24183146145221} Flesh Reading Ease: 83.1 ---------------------------------------- Source: ['»Das hat dir der Teufel gesagt, das hat dir der Teufel gesagt,« schrie das Männlein und stieß mit dem rechten Fuß vor Zorn so tief in die Erde, daß es bis an den Leib hineinfuhr, dann packte es in seiner Wut den linken Fuß mit beiden Händen und riß sich selbst mitten entzwei.'] Prediction: ['Ein Männlein stieß vor Zorn einen rechten Fuß.\nDer Teufel riß sich selbst mitten entzwei.'] Label: [['Und Rumpelstilzchen ist weg.\nDann geht das Loch wieder zu.\nUnd Rumpelstilzchen fällt in das Loch im Boden.\nIm Boden ist jetzt ein Loch.\nPlötzlich öffnet sich der Boden: Dann stampft Rumpelstilzchen mit dem rechten Fuß auf den Boden.\nErst stampft Rumpelstilzchen mit dem linken Fuß auf den Boden.\nUnd stampft mit den Füßen auf den Boden: Und schreit ganz laut.\nDeshalb ist Rumpelstilzchen sehr wütend.\nUnd das Männchen sagt: Du hast meinen Namen erraten.']] Sacrebleu: {'score': 0.0936486580699017, 'counts': [5, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [29.41176470588235, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 0.016282781831675534, 'sys_len': 17, 'ref_len': 87} Bleu: {'bleu': 0.0, 'precisions': [0.29411764705882354, 0.0625, 0.0, 0.0], 'brevity_penalty': 0.016282781831675534, 'length_ratio': 0.19540229885057472, 'translation_length': 17, 'reference_length': 87} Rouge: {'rouge1': 0.12499999999999999, 'rouge2': 0.02127659574468085, 'rougeL': 0.06249999999999999, 'rougeLsum': 0.10416666666666667} Sari: {'sari': 34.36731408637236} Flesh Reading Ease: 96.45 ---------------------------------------- Source: ['»Heißt du etwa Rumpelstilzchen?«'] Prediction: ['Immer mehr Rumpelstilzchen: Im Interview mit der 20-Minuten-App spricht der Comedian über die Welt.\nIm Interview spricht er über die Welt und die Welt.'] Label: [['Heißt du vielleicht Rumpelstilzchen?']] Sacrebleu: {'score': 1.286713095960916, 'counts': [1, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [3.4482758620689653, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.034482758620689655, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.8, 'translation_length': 29, 'reference_length': 5} Rouge: {'rouge1': 0.06451612903225806, 'rouge2': 0.0, 'rougeL': 0.06451612903225806, 'rougeLsum': 0.06451612903225806} Sari: {'sari': 49.16666666666667} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['»Heißest du Heinz?« »Nein.«'] Prediction: ['Heißest du Heinz?'] Label: [['Und das Männchen antwortet: Nein.\nHeißt du Hinz?']] Sacrebleu: {'score': 3.300991086751251, 'counts': [2, 0, 0, 0], 'totals': [4, 3, 2, 1], 'precisions': [50.0, 16.666666666666668, 12.5, 12.5], 'bp': 0.17377394345044514, 'sys_len': 4, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.5, 0.0, 0.0, 0.0], 'brevity_penalty': 0.17377394345044514, 'length_ratio': 0.36363636363636365, 'translation_length': 4, 'reference_length': 11} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.0, 'rougeL': 0.28571428571428575, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 45.138888888888886} Flesh Reading Ease: 100.95 ---------------------------------------- Source: ['« fragte sie erst: »Heißest du Kunz?« »Nein.«'] Prediction: ['«Heißest du Kunz?« »Nein.«'] Label: [['Nein Oder heißt du Kunz?\nUnd die Königin fragt das Männchen:']] Sacrebleu: {'score': 11.003198354717574, 'counts': [3, 2, 1, 0], 'totals': [8, 7, 6, 5], 'precisions': [37.5, 28.571428571428573, 16.666666666666668, 10.0], 'bp': 0.5352614285189903, 'sys_len': 8, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.375, 0.2857142857142857, 0.16666666666666666, 0.0], 'brevity_penalty': 0.5352614285189903, 'length_ratio': 0.6153846153846154, 'translation_length': 8, 'reference_length': 13} Rouge: {'rouge1': 0.4210526315789473, 'rouge2': 0.11764705882352941, 'rougeL': 0.3157894736842105, 'rougeLsum': 0.3157894736842105} Sari: {'sari': 43.88888888888889} Flesh Reading Ease: 99.95 ---------------------------------------- Source: ['Da könnt ihr denken wie die Königin froh war, als sie den Namen hörte, und als bald hernach das Männlein hereintrat und fragte: »Nun, Frau Königin, wie heiß ich?'] Prediction: ['Die Frau Königin hat ihr Männlein aufgefordert.\nDie Männerin hat ihr Namen und fragte ihr, wie sie ihr Männlein aufgefordert hat.\nAber wie könnt ihr denken wie die Königin froh war, als sie den Namen hörte.'] Label: [['Kennst du meinen Namen jetzt?\nDas Männchen fragt die Königin: Am Abend kommt das Männchen wieder ins Schloss.\nDie Königin ist glücklich:']] Sacrebleu: {'score': 2.8028496487689654, 'counts': [6, 2, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [14.634146341463415, 5.0, 1.2820512820512822, 0.6578947368421053], 'bp': 1.0, 'sys_len': 41, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.14634146341463414, 0.05, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5769230769230769, 'translation_length': 41, 'reference_length': 26} Rouge: {'rouge1': 0.2571428571428572, 'rouge2': 0.08823529411764706, 'rougeL': 0.2, 'rougeLsum': 0.2571428571428572} Sari: {'sari': 35.7621164340859} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['ach, wie gut ist, daß niemand weiß daß ich Rumpelstilzchen heiß!«'] Prediction: ['Ein Rumpelstilzchen ist in der Schweiz aufgefunden.\nDer Rumpelstilzchen ist nicht mehr ganz so ganz so gefragt.\nWir haben euch die besten Antworten zu Gast.'] Label: [['Und kein Mensch weiß: Dass ich Rumpelstilzchen heiß.']] Sacrebleu: {'score': 1.5880117714047368, 'counts': [2, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [7.142857142857143, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8, 'translation_length': 28, 'reference_length': 10} Rouge: {'rouge1': 0.06060606060606061, 'rouge2': 0.0, 'rougeL': 0.06060606060606061, 'rougeLsum': 0.06060606060606061} Sari: {'sari': 41.00688200688201} Flesh Reading Ease: 78.1 ---------------------------------------- Source: ['»Heute back ich, morgen brau ich, übermorgen hol ich der Königin ihr Kind;'] Prediction: ['Eine Königin ist zum dritten Mal gestorben.\nIhr Kind ist ein Kind.'] Label: [['Übermorgen hole ich mir das Kind von der Königin.\nMorgen brau ich.\nHeute back ich.']] Sacrebleu: {'score': 3.018036840807235, 'counts': [4, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [28.571428571428573, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 0.7514772930752859, 'sys_len': 14, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.0, 0.0, 0.0], 'brevity_penalty': 0.751477293075286, 'length_ratio': 0.7777777777777778, 'translation_length': 14, 'reference_length': 18} Rouge: {'rouge1': 0.20689655172413793, 'rouge2': 0.07407407407407407, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 37.26190476190476} Flesh Reading Ease: 86.25 ---------------------------------------- Source: ['« Den dritten Tag kam der Bote wieder zurück und erzählte: »Neue Namen habe ich keinen einzigen finden können, aber wie ich an einen hohen Berg um die Waldecke kam, wo Fuchs und Hase sich gute Nacht sagen, so sah ich da ein kleines Haus, und vor dem Haus brannte ein Feuer, und um das Feuer sprang ein gar zu lächerliches Männchen, hüpfte auf einem Bein und schrie:'] Prediction: ['Einige Männchen haben sich in den vergangenen Tagen in den Walden eingefangen.\nSie hatten sich gute Nacht sagen.\nEinige Männchen hatten sich gute Nacht auf dem Haus brannte ein Feuer.'] Label: [['Und hat ein Lied gesungen: Ein kleines Männchen ist um das Feuer getanzt.\nBei dem Haus war ein kleines Feuer.\nHinter dem Berg war ein kleines Haus.\nMitten im Wald war ein Berg.\nGestern war ich im Wald.\nDer Diener hat die letzten 3 Tage und Nächte nach dem Namen von dem Männchen gesucht.\nAm nächsten Morgen kommt ein Diener zur Königin ins Schloss.']] Sacrebleu: {'score': 1.1933059274068698, 'counts': [9, 2, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [27.272727272727273, 6.25, 1.6129032258064515, 0.8333333333333334], 'bp': 0.3067205575765568, 'sys_len': 33, 'ref_len': 72} Bleu: {'bleu': 0.0, 'precisions': [0.2727272727272727, 0.0625, 0.0, 0.0], 'brevity_penalty': 0.30672055757655664, 'length_ratio': 0.4583333333333333, 'translation_length': 33, 'reference_length': 72} Rouge: {'rouge1': 0.15841584158415842, 'rouge2': 0.06060606060606061, 'rougeL': 0.1188118811881188, 'rougeLsum': 0.15841584158415842} Sari: {'sari': 35.395045476184166} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['»So heiß ich nicht. aber es antwortete immer:'] Prediction: ['Im Interview mit der 20-Minuten-App spricht über die Welt und die Welt.\nIm Interview erklärt er, was sie sich über ihre Worte hat.'] Label: [['So heiße ich nicht.\nUnd sagt: Nein.']] Sacrebleu: {'score': 1.5880117714047368, 'counts': [2, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [7.142857142857143, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8, 'translation_length': 28, 'reference_length': 10} Rouge: {'rouge1': 0.058823529411764705, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.058823529411764705} Sari: {'sari': 39.96972934472935} Flesh Reading Ease: 80.75 ---------------------------------------- Source: ['« Den zweiten Tag ließ sie in der Nachbarschaft herumfragen, wie die Leute da genannt würden, und sagte dem Männlein die ungewöhnlichsten und seltsamsten Namen vor: »Heißt du vielleicht Rippenbiest oder Hammelswade oder Schnürbein?«'] Prediction: ['Ein Männlein hat in der Nachbarschaft in der Nacht auf Sonntag seinen seltsamsten Namen geschickt.\nDen zweiten Tag ließ sie in der Nachbarschaft herumfragen, wie die Leute da genannt würden.'] Label: [['Oder heißt du Schnür∙bein?\nOder heißt du Hammels∙wade?\n?\nRippen∙biest Heißt du Und die Königin fragt das Männchen: Und am nächsten Morgen kommt das Männchen wieder ins Schloss.\nDie Königin sucht die ganze Nacht nach dem Namen von dem Männchen.']] Sacrebleu: {'score': 1.1674425679500844, 'counts': [5, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [15.151515151515152, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 0.6951439283988788, 'sys_len': 33, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.15151515151515152, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6951439283988786, 'length_ratio': 0.7333333333333333, 'translation_length': 33, 'reference_length': 45} Rouge: {'rouge1': 0.09523809523809525, 'rouge2': 0.0, 'rougeL': 0.07142857142857142, 'rougeLsum': 0.09523809523809525} Sari: {'sari': 32.16249718278116} Flesh Reading Ease: 71.4 ---------------------------------------- Source: ['Als am anderen Tage das Männchen kam, fing sie an mit Kaspar, Melchior, Balzer, und sagte alle Namen, die sie wußte, nach der Reihe her, aber bei jedem sprach das Männlein: »So heiß ich nicht.'] Prediction: ['Das Männchen ist ein Paar.\nDer Mann hatte sich mit Kaspar, Melchior, Balzer, und Freunde veröffentlicht.\nAls er das Männchen kam, fing sie an Kaspar, Melchior, Balzer und Freunde.'] Label: [['So heiße ich nicht.\nAber das Männchen antwortet: Nein.\nOder heißt du Balthasar?\nOder heißt du Melchior?\nHeißt du Kaspar?\nDie Königin fragt das Männchen: Am nächsten Morgen kommt das Männchen ins Schloss.']] Sacrebleu: {'score': 2.5329383943098023, 'counts': [8, 1, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [21.05263157894737, 2.7027027027027026, 1.3888888888888888, 0.7142857142857143], 'bp': 0.9240885594051769, 'sys_len': 38, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.02702702702702703, 0.0, 0.0], 'brevity_penalty': 0.9240885594051769, 'length_ratio': 0.926829268292683, 'translation_length': 38, 'reference_length': 41} Rouge: {'rouge1': 0.2162162162162162, 'rouge2': 0.1111111111111111, 'rougeL': 0.18918918918918917, 'rougeLsum': 0.2162162162162162} Sari: {'sari': 34.71004752999845} Flesh Reading Ease: 76.7 ---------------------------------------- Source: ['Nun besann sich die Königin die ganze Nacht über auf alle Namen, die sie jemals gehört hatte, und schickte einen Boten über Land, der sollte sich erkundigen weit und breit, was es sonst noch für Namen gäbe!'] Prediction: ['Die Königin hat sich in der Nacht auf Sonntag auf alle Namen geschickt.\nSie schickte einen Boten über Land, der sollte sich erkundigen weit und breit gäbe.'] Label: [['Das macht die Königin die ganze Nacht.\nDie Königin schreibt die Namen auf.\nUnd fragt alle Menschen im Schloss nach ihren Namen.\nDeshalb geht die Königin durch das Schloss.\nAber die Königin kennt den Namen von dem Männchen nicht.']] Sacrebleu: {'score': 2.202008442624884, 'counts': [8, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [26.666666666666668, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 0.6270890852730562, 'sys_len': 30, 'ref_len': 44} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 0.6270890852730561, 'length_ratio': 0.6818181818181818, 'translation_length': 30, 'reference_length': 44} Rouge: {'rouge1': 0.2191780821917808, 'rouge2': 0.05633802816901408, 'rougeL': 0.1917808219178082, 'rougeLsum': 0.1917808219178082} Sari: {'sari': 34.133133753990215} Flesh Reading Ease: 78.75 ---------------------------------------- Source: ['»Drei Tage will ich dir Zeit lassen,« sprach er, »wenn du bis dahin meinen Namen weißt, so sollst du dein Kind behalten.«'] Prediction: ['Ein Kind sollte in den USA seine Namen behalten.\nDiese sollen bis dahin meinen Namen weißen.'] Label: [['Dann darfst du dein Kind behalten.\nDu errätst meinen Namen?\nDafür hast du 3 Tage Zeit.\nDu musst meinen Namen erraten.\nIch gebe dir ein Rätsel auf:']] Sacrebleu: {'score': 3.2099018131506623, 'counts': [7, 2, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [38.888888888888886, 11.764705882352942, 3.125, 1.6666666666666667], 'bp': 0.45942582403592663, 'sys_len': 18, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.3888888888888889, 0.11764705882352941, 0.0, 0.0], 'brevity_penalty': 0.45942582403592663, 'length_ratio': 0.5625, 'translation_length': 18, 'reference_length': 32} Rouge: {'rouge1': 0.25531914893617025, 'rouge2': 0.044444444444444446, 'rougeL': 0.1702127659574468, 'rougeLsum': 0.25531914893617025} Sari: {'sari': 36.38339552703869} Flesh Reading Ease: 72.55 ---------------------------------------- Source: ['« Da fing die Königin so an zu jammern und zu weinen, daß das Männlein Mitleid mit ihr hatte:'] Prediction: ['Ein Männlein Mitleid mit ihr hatte eine Mutter.\nDie Königin ist so cute, dass sie so cute ist.'] Label: [['Also sagt das Männchen: Und weint viele Tränen.\nDeshalb ist die Königin sehr traurig.']] Sacrebleu: {'score': 2.568331954752977, 'counts': [4, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [19.047619047619047, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.19047619047619047, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2352941176470589, 'translation_length': 21, 'reference_length': 17} Rouge: {'rouge1': 0.27027027027027023, 'rouge2': 0.11428571428571428, 'rougeL': 0.2162162162162162, 'rougeLsum': 0.2162162162162162} Sari: {'sari': 37.9737221842485} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['da trat es plötzlich in ihre Kammer und sprach: »Nun gieb mir was du versprochen hast.'] Prediction: ['Eine Frau hat in ihrem Kammer einen kurzen Wohnungsdelikt gesprochen.\nDie Frau war dabei, dass sie ihre Kammer gesprochen wurde.'] Label: [['Das Männchen möchte das Kind von der Königin.\nUnd das Männchen kommt ins Schloss.\nPlötzlich geht die Tür auf.']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0454545454545454, 'translation_length': 23, 'reference_length': 22} Rouge: {'rouge1': 0.044444444444444446, 'rouge2': 0.0, 'rougeL': 0.044444444444444446, 'rougeLsum': 0.044444444444444446} Sari: {'sari': 51.765188834154344} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Über ein Jahr brachte sie ein schönes Kind zur Welt und dachte gar nicht mehr an das Männchen;'] Prediction: ['Eine Frau (24) ist zum ersten Mal schönes Kind zur Welt.\nSie war nicht mehr an das Männchen.'] Label: [['Und die neue Königin und der König bekommen ein Kind.\nEin Jahr vergeht.']] Sacrebleu: {'score': 2.2731543567022867, 'counts': [3, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [13.636363636363637, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.13636363636363635, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4666666666666666, 'translation_length': 22, 'reference_length': 15} Rouge: {'rouge1': 0.05714285714285715, 'rouge2': 0.0, 'rougeL': 0.05714285714285715, 'rougeLsum': 0.05714285714285715} Sari: {'sari': 31.439061669324825} Flesh Reading Ease: 100.8 ---------------------------------------- Source: ['Und als am Morgen der König kam und alles fand, wie er gewünscht hatte, so hielt er Hochzeit mit ihr und die schöne Müllerstochter ward eine Königin.'] Prediction: ['Am Morgen kam es in der Nähe des Königs zu einer Müllerstochter ward.\nEine schöne Müllerstochterin hielt eine Königin.'] Label: [['Und ist jetzt die neue Königin.\nDie Tochter vom Müller heiratet den König.\nUnd die neue Königin sein.\nDu sollst meine Frau werden.\nDer König sagt zu der Tochter vom Müller: Und der König freut sich sehr.\nDer König sieht das Gold.\nDer König kommt in das Zimmer.']] Sacrebleu: {'score': 0.9028639865583004, 'counts': [6, 1, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [28.571428571428573, 5.0, 2.6315789473684212, 1.3888888888888888], 'bp': 0.18887560283756186, 'sys_len': 21, 'ref_len': 56} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.05, 0.0, 0.0], 'brevity_penalty': 0.18887560283756186, 'length_ratio': 0.375, 'translation_length': 21, 'reference_length': 56} Rouge: {'rouge1': 0.19512195121951217, 'rouge2': 0.025, 'rougeL': 0.12195121951219512, 'rougeLsum': 0.17073170731707316} Sari: {'sari': 45.326256818516875} Flesh Reading Ease: 59.35 ---------------------------------------- Source: ['sie versprach also dem Männchen was er verlangte und das Männchen spann dafür noch einmal das Stroh zu Gold. »Wer weiß, wie das noch geht,« dachte die Müllerstochter und wußte sich auch in der Not nicht anders zu helfen;'] Prediction: ['Ein Männchen ist das Stroh zu Gold.\nEs ist das erste Männchen, der das Männchen verlangt.\nDie Müllerstochter wollten sich in der Not nicht anders helfen.'] Label: [['Am nächsten Morgen ist auch das 3. Zimmer voll mit Gold.\nUnd macht das ganze Stroh zu Gold.\nDas Männchen sitzt die ganze Nacht am Spinn∙rad.\nUnd das Spinn∙rad macht das Stroh zu Gold.\nDas Männchen dreht am Spinn∙rad.\nDann setzt sich das Männchen an das Spinn∙rad.\nDu bekommst mein 1.\nKind.\nDeshalb sagt die Tochter vom Müller zu dem Männchen: Aber die Tochter vom Müller hat sonst nichts.']] Sacrebleu: {'score': 3.0024647965296154, 'counts': [14, 5, 3, 2], 'totals': [30, 29, 28, 27], 'precisions': [46.666666666666664, 17.24137931034483, 10.714285714285714, 7.407407407407407], 'bp': 0.18887560283756186, 'sys_len': 30, 'ref_len': 80} Bleu: {'bleu': 0.030024647965296147, 'precisions': [0.4666666666666667, 0.1724137931034483, 0.10714285714285714, 0.07407407407407407], 'brevity_penalty': 0.18887560283756186, 'length_ratio': 0.375, 'translation_length': 30, 'reference_length': 80} Rouge: {'rouge1': 0.2909090909090909, 'rouge2': 0.12962962962962965, 'rougeL': 0.2545454545454546, 'rougeLsum': 0.2909090909090909} Sari: {'sari': 52.655237256125666} Flesh Reading Ease: 83.55 ---------------------------------------- Source: ['»So versprich mir, wenn du Königin wirst, dein erstes Kind.«'] Prediction: ['Im Interview mit 20 Minuten spricht über die 20-Minuten-App, die ihre Leistungen über ihre Leistungen und ihre Leistungen über ihre Kinder.\nIm Interview spricht über ihre Leistungen über ihre ersten Kinder und ihre Leistungen über ihre Kinder.'] Label: [['Dann musst du mir euer Kind geben!\nDu bekommst mit dem König ein Kind?\nUnd sagt: Dann gib mir dein 1.\nKind.']] Sacrebleu: {'score': 1.1493330194206166, 'counts': [3, 0, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [7.142857142857143, 1.2195121951219512, 0.625, 0.32051282051282054], 'bp': 1.0, 'sys_len': 42, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5555555555555556, 'translation_length': 42, 'reference_length': 27} Rouge: {'rouge1': 0.06451612903225808, 'rouge2': 0.0, 'rougeL': 0.06451612903225808, 'rougeLsum': 0.06451612903225808} Sari: {'sari': 50.03741777935326} Flesh Reading Ease: 50.35 ---------------------------------------- Source: ['»Ich habe nichts mehr, das ich geben könnte,« antwortete das Mädchen.'] Prediction: ['Eine Frau hat ihren Mann nichts mehr, das ich geben könnte, antwortete das Mädchen.\nSie habe nichts mehr, das ich geben könnte, antwortete das Mädchen.'] Label: [['Jetzt habe ich nichts mehr.\nUnd du hast meinen Ring.\nDie Tochter vom Müller sagt: Du hast meine Kette.']] Sacrebleu: {'score': 3.1568618107860202, 'counts': [6, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [19.35483870967742, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 1.0, 'sys_len': 31, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.1935483870967742, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3478260869565217, 'translation_length': 31, 'reference_length': 23} Rouge: {'rouge1': 0.20408163265306123, 'rouge2': 0.0425531914893617, 'rougeL': 0.16326530612244897, 'rougeLsum': 0.16326530612244897} Sari: {'sari': 39.93055555555556} Flesh Reading Ease: 73.9 ---------------------------------------- Source: ['« Als das Mädchen allein war, kam das Männlein zum drittenmal wieder und sprach: »Was giebst du mir, wenn ich dir noch diesmal das Stroh spinne?«'] Prediction: ['Im Männlein ist ein Männlein zum drittenmal wieder geworden.\nDer Männlein war zum drittenmal wieder.\nIm Interview spricht der 39-Jährige über das Stroh-Männlein und das Männlein.'] Label: [['Aber dafür möchte ich eine Belohnung.\nUnd sagt: Ich helfe dir.\nUnd das Männchen kommt ins Zimmer.\nDie Tochter vom Müller weint viele Tränen.\nJetzt ist die Tochter vom Müller allein in dem Zimmer.']] Sacrebleu: {'score': 1.3415358053150546, 'counts': [5, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [16.129032258064516, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 0.7480222311615063, 'sys_len': 31, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.16129032258064516, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7480222311615063, 'length_ratio': 0.775, 'translation_length': 31, 'reference_length': 40} Rouge: {'rouge1': 0.18918918918918917, 'rouge2': 0.05555555555555555, 'rougeL': 0.1081081081081081, 'rougeLsum': 0.18918918918918917} Sari: {'sari': 34.73640164044962} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ["gelingt dir's aber, so sollst du meine Gemahlin werden.«"] Prediction: ['Im Alter von 99 Jahren wird die Schweizerin über die Schweizerin über die Schweizerin über die Welt geschlossen.\nIm Interview spricht sie über ihre Gemahlin und ihre Gemahlin-Vorwürfe.'] Label: [['Dann heirate ich dich.\nDu machst das ganze Stroh zu Gold?']] Sacrebleu: {'score': 1.2414943415352928, 'counts': [1, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [3.3333333333333335, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.03333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3076923076923075, 'translation_length': 30, 'reference_length': 13} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 61.66666666666667} Flesh Reading Ease: 66.55 ---------------------------------------- Source: ['Der König freute sich über die Maßen bei dem Anblick, war aber noch immer nicht Goldes satt, sondern ließ die Müllerstochter in eine noch größere Kammer voll Stroh bringen und sprach: »Die mußt du noch in dieser Nacht verspinnen;'] Prediction: ['Die Müllerstochter sind in der Nacht auf Sonntag in die Schweiz gefeiert.\nDie Müllerstochter sind noch immer nicht Goldes satt.\nDie Königin ist über die Maßen gekürt und ist noch immer nicht Goldes satt.'] Label: [['Heute Nacht musst du das ganze Stroh zu Gold machen.\nDer König sagt zur Tochter vom Müller: Und auch das 3. Zimmer ist voll mit Stroh.\nDas 3. Zimmer ist noch größer.\nAlso schickt der König das Mädchen in ein 3. Zimmer.\nDer König will noch mehr Gold.\nJetzt freut sich der König sehr.\nUnd der König sieht das Gold.\nDer König kommt in das Zimmer.']] Sacrebleu: {'score': 1.0076684041161814, 'counts': [11, 1, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [29.72972972972973, 2.7777777777777777, 1.4285714285714286, 0.7352941176470589], 'bp': 0.33018304116143, 'sys_len': 37, 'ref_len': 78} Bleu: {'bleu': 0.0, 'precisions': [0.2972972972972973, 0.027777777777777776, 0.0, 0.0], 'brevity_penalty': 0.3301830411614298, 'length_ratio': 0.47435897435897434, 'translation_length': 37, 'reference_length': 78} Rouge: {'rouge1': 0.2105263157894737, 'rouge2': 0.01785714285714286, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.2105263157894737} Sari: {'sari': 35.64891747818577} Flesh Reading Ease: 75.1 ---------------------------------------- Source: ['Das Männchen nahm den Ring, fing wieder an zu schnurren mit dem Rade und hatte bis zum Morgen alles Stroh zu glänzendem Gold gesponnen.'] Prediction: ['Das Männchen nahm den Ring, fing wieder an zu schnurren mit dem Rade und hatte bis zum Morgen alles Stroh zu glänzendem Gold gesponnen.\nDer Männchen nahm den Ring, fing wieder an zu schnurren mit dem Rade und hatte bis zum Morgen alles Stroh zu glänzendem Gold gesponnen.'] Label: [['Am nächsten Morgen ist auch das 2. Zimmer voll mit Gold.\nUnd macht das ganze Stroh zu Gold.\nDas Männchen sitzt die ganze Nacht am Spinn∙rad.\nUnd das Spinn∙rad macht das Stroh zu Gold.\nDas Männchen dreht am Spinn∙rad.\nDann setzt sich das Männchen an das Spinn∙rad.\nDas Männchen nimmt den Ring.']] Sacrebleu: {'score': 2.856097703641688, 'counts': [16, 4, 0, 0], 'totals': [52, 51, 50, 49], 'precisions': [30.76923076923077, 7.8431372549019605, 1.0, 0.5102040816326531], 'bp': 0.8574039191604413, 'sys_len': 52, 'ref_len': 60} Bleu: {'bleu': 0.0, 'precisions': [0.3076923076923077, 0.0784313725490196, 0.0, 0.0], 'brevity_penalty': 0.8574039191604413, 'length_ratio': 0.8666666666666667, 'translation_length': 52, 'reference_length': 60} Rouge: {'rouge1': 0.3185840707964602, 'rouge2': 0.1081081081081081, 'rougeL': 0.21238938053097348, 'rougeLsum': 0.3185840707964602} Sari: {'sari': 40.524453024453024} Flesh Reading Ease: 68.25 ---------------------------------------- Source: ['»Meinen Ring von dem Finger,« antwortete das Mädchen. Was giebst du mir, wenn ich dir das Stroh zu Gold spinne?«'] Prediction: ['Ein Mädchen hat ihren Ring zu Gold spinne.\nDer Ring antwortete das Mädchen.\nImmer wieder zu Gold spinne, wenn der Mädchen das Stroh zu Gold spinne.'] Label: [['Und gibt den Ring dem Männchen.\nDie Tochter vom Müller nimmt den Ring ab.\nDie Tochter vom Müller hat einen schönen Ring am Finger.\nAber dafür möchte ich eine Belohnung.\nUnd sagt: Ich helfe dir.']] Sacrebleu: {'score': 1.3466081761793225, 'counts': [6, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 0.6930406200864415, 'sys_len': 30, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6930406200864415, 'length_ratio': 0.7317073170731707, 'translation_length': 30, 'reference_length': 41} Rouge: {'rouge1': 0.1714285714285714, 'rouge2': 0.0, 'rougeL': 0.1142857142857143, 'rougeLsum': 0.1714285714285714} Sari: {'sari': 33.32525317819436} Flesh Reading Ease: 83.55 ---------------------------------------- Source: ['Das Mädchen wußte sich nicht zu helfen und weinte, da ging abermals die Thür auf und das kleine Männchen erschien und sprach: »'] Prediction: ['Eine Frau wurde von einem Mädchen erschien und sprach.\nDie Thür ging abermals auf und das kleine Männchen erschien und sprach.'] Label: [['Das Männchen fragt die Tochter vom Müller: Und das Männchen kommt ins Zimmer.\nPlötzlich geht die Tür auf.\nDie Tochter vom Müller weint viele Tränen.']] Sacrebleu: {'score': 3.339036383795432, 'counts': [6, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [26.08695652173913, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 0.7703813975921459, 'sys_len': 23, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.2608695652173913, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 0.7703813975921459, 'length_ratio': 0.7931034482758621, 'translation_length': 23, 'reference_length': 29} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.07407407407407407, 'rougeL': 0.21428571428571427, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 38.82077229863208} Flesh Reading Ease: 87.6 ---------------------------------------- Source: ['Er ließ die Müllerstochter in eine andere Kammer voll Stroh bringen, die noch viel größer war, und befahl ihr das auch in einer Nacht zu spinnen, wenn ihr das Leben lieb wäre.'] Prediction: ['Ein Mann befiel sich in einer anderen Kammer voll Stroh.\nEr befahl ihr das auch in einer Nacht zu spinnen, wenn ihr das Leben lieb wäre.'] Label: [['Und du musst sterben.\nOder ich bestrafe dich.\nHeute Nacht musst du das ganze Stroh zu Gold machen.\nDer König sagt zur Tochter vom Müller: Und auch das 2. Zimmer ist voll mit Stroh.\nDas 2. Zimmer ist größer.\nAlso schickt der König das Mädchen in ein 2. Zimmer.']] Sacrebleu: {'score': 1.3676786397615273, 'counts': [10, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [34.48275862068966, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 0.3554101662347747, 'sys_len': 29, 'ref_len': 59} Bleu: {'bleu': 0.0, 'precisions': [0.3448275862068966, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 0.3554101662347747, 'length_ratio': 0.4915254237288136, 'translation_length': 29, 'reference_length': 59} Rouge: {'rouge1': 0.24691358024691354, 'rouge2': 0.0, 'rougeL': 0.12345679012345677, 'rougeLsum': 0.1728395061728395} Sari: {'sari': 37.18092537804076} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['Bei Sonnenaufgang kam schon der König und als er das Gold erblickte, erstaunte er und freute sich, aber sein Herz ward nur noch goldgieriger.'] Prediction: ['Der Herz ward ist seit Sonnenaufgang nicht mehr goldgieriger.\nDer König freute sich und freute sich.\nDer Herz ward ist noch goldgieriger.'] Label: [['Der König will jetzt nämlich noch mehr Gold.\nJetzt freut sich der König sehr.\nUnd der König sieht das Gold.\nDer König kommt in das Zimmer.']] Sacrebleu: {'score': 6.04124278082587, 'counts': [9, 2, 1, 0], 'totals': [25, 24, 23, 22], 'precisions': [36.0, 8.333333333333334, 4.3478260869565215, 2.272727272727273], 'bp': 0.8187307530779819, 'sys_len': 25, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.36, 0.08333333333333333, 0.043478260869565216, 0.0], 'brevity_penalty': 0.8187307530779819, 'length_ratio': 0.8333333333333334, 'translation_length': 25, 'reference_length': 30} Rouge: {'rouge1': 0.33333333333333337, 'rouge2': 0.11538461538461538, 'rougeL': 0.25925925925925924, 'rougeLsum': 0.25925925925925924} Sari: {'sari': 48.83205353810058} Flesh Reading Ease: 84.95 ---------------------------------------- Source: ["Dann steckte es eine andere auf, und schnurr, schnurr, schnurr, dreimal gezogen, war auch die zweite voll: und so ging's fort bis zum Morgen, da war alles Stroh versponnen und alle Spulen waren voll Gold. Das Männchen nahm das Halsband, setzte sich vor das Rädchen, und schnurr, schnurr, schnurr, dreimal gezogen, war die Spule voll."] Prediction: ['Im Männchen nahm das Halsband, setzte sich vor das Rädchen, und schnurr, schnurr, schnurr, dreimal gezogen.\nDas Männchen nahm das Halsband, setzte sich vor das Rädchen, und schnurr, schnurr, schnurr, dreimal gezogen.'] Label: [['Am nächsten Morgen ist das Zimmer voll mit Gold.\nUnd macht das ganze Stroh zu Gold.\nDas Männchen sitzt die ganze Nacht am Spinn∙rad.\nUnd das Spinn∙rad macht das Stroh zu Gold.\nDas Männchen dreht am Spinn∙rad.\nDann setzt sich das Männchen an das Spinn∙rad.\nDas Männchen nimmt die Kette.']] Sacrebleu: {'score': 3.1149218234919727, 'counts': [10, 2, 1, 0], 'totals': [44, 43, 42, 41], 'precisions': [22.727272727272727, 4.651162790697675, 2.380952380952381, 1.2195121951219512], 'bp': 0.7441932409198291, 'sys_len': 44, 'ref_len': 57} Bleu: {'bleu': 0.0, 'precisions': [0.22727272727272727, 0.046511627906976744, 0.023809523809523808, 0.0], 'brevity_penalty': 0.7441932409198289, 'length_ratio': 0.7719298245614035, 'translation_length': 44, 'reference_length': 57} Rouge: {'rouge1': 0.2526315789473684, 'rouge2': 0.06451612903225808, 'rougeL': 0.18947368421052632, 'rougeLsum': 0.21052631578947367} Sari: {'sari': 36.91662289683539} Flesh Reading Ease: 82.1 ---------------------------------------- Source: ["»Mein Halsband,« sagte das Mädchen. Was giebst du mir, wenn ich dir's spinne?«"] Prediction: ['Im Interview mit 20 Minuten spricht ein Mädchen über ihre Liebeszahlen.\nIm Interview spricht der 39-Jährige über ihre Liebeszahlen und ihre Liebeszahlen.'] Label: [['Und gibt die Kette dem Männchen.\nDie Tochter vom Müller nimmt die Kette ab.\nDie Tochter vom Müller hat eine schöne Kette um den Hals.\nAber dafür möchte ich eine Belohnung.\nIch kann Stroh zu Gold machen.\nUnd sagt: Ich helfe dir.']] Sacrebleu: {'score': 0.7092769014223811, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 0.41287294002965186, 'sys_len': 26, 'ref_len': 49} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 0.41287294002965186, 'length_ratio': 0.5306122448979592, 'translation_length': 26, 'reference_length': 49} Rouge: {'rouge1': 0.0547945205479452, 'rouge2': 0.0, 'rougeL': 0.0547945205479452, 'rougeLsum': 0.0547945205479452} Sari: {'sari': 62.31481481481481} Flesh Reading Ease: 52.0 ---------------------------------------- Source: ['»Ach,« antwortete das Mädchen, »ich soll Stroh zu Gold spinnen und verstehe das nicht.'] Prediction: ['Der Schweizer Gold-Star Stroh ist nicht mehr gefallen.\nDer Grund: Er soll eine Gold-Spielerin spinnen.\nDas ist nicht bekannt.'] Label: [['Aber ich kann Stroh nicht zu Gold machen.\nUnd die Tochter vom Müller antwortet: Ich soll Stroh zu Gold machen.']] Sacrebleu: {'score': 2.5771688135729764, 'counts': [6, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [26.08695652173913, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.2608695652173913, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 23, 'reference_length': 23} Rouge: {'rouge1': 0.23809523809523808, 'rouge2': 0.0, 'rougeL': 0.19047619047619047, 'rougeLsum': 0.23809523809523808} Sari: {'sari': 33.87857648887061} Flesh Reading Ease: 80.1 ---------------------------------------- Source: ['Da ging auf einmal die Thür auf und trat ein kleines Männchen herein und sprach: »Guten Abend, Jungfer Müllerin, warum weint sie so sehr?«'] Prediction: ['Ein kleines Männchen trat herein und sprach: "Guten Abend, Jungfer Müllerin, warum weint sie so sehr?«'] Label: [['Warum weinst du?\nDas Männchen fragt die Tochter vom Müller: Ein Männchen ist ein sehr kleiner Mann.\nUnd ein Männchen kommt ins Zimmer.\nPlötzlich geht die Tür auf.']] Sacrebleu: {'score': 1.566548602820126, 'counts': [5, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [22.727272727272727, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 0.6065306597126334, 'sys_len': 22, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.22727272727272727, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6065306597126334, 'length_ratio': 0.6666666666666666, 'translation_length': 22, 'reference_length': 33} Rouge: {'rouge1': 0.2692307692307692, 'rouge2': 0.04, 'rougeL': 0.1923076923076923, 'rougeLsum': 0.23076923076923078} Sari: {'sari': 34.89583333333333} Flesh Reading Ease: 76.25 ---------------------------------------- Source: ['sie verstand gar nichts davon, wie man Stroh zu Gold spinnen konnte, und ihre Angst ward immer größer, daß sie endlich zu weinen anfing.'] Prediction: ['Der Stroh-Drinks-Konzert ist eine der besten Weltmeisterschaften.\nDie Weltmeisterschaisterschaisterschaisterschaisterschaisterschaisterschaisterschaisterschaisterschaisterschaisterschaisterschaft hat ihre Angst wieder aufgefordert.'] Label: [['Die Tochter vom Müller weint viele Tränen.\nDie Tochter vom Müller kann nämlich Stroh nicht zu Gold machen.']] Sacrebleu: {'score': 4.215640217238498, 'counts': [3, 1, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 6.666666666666667, 3.5714285714285716, 1.9230769230769231], 'bp': 0.7788007830714049, 'sys_len': 16, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 0.7788007830714049, 'length_ratio': 0.8, 'translation_length': 16, 'reference_length': 20} Rouge: {'rouge1': 0.10526315789473685, 'rouge2': 0.0, 'rougeL': 0.052631578947368425, 'rougeLsum': 0.10526315789473685} Sari: {'sari': 52.40066446962997} Flesh Reading Ease: -55.16 ---------------------------------------- Source: ['Da saß nun die arme Müllerstochter und wußte um ihr Leben keinen Rat:'] Prediction: ['Ein Rat hat im Alter von 99 Jahren Müllerstochter geschützt.\nDer Rat hatte die Müllerstochter nicht mehr geschützt.\nAber auch der Rat hatte sich nicht mehr zu tun.'] Label: [['Die Tochter vom Müller hat Angst:']] Sacrebleu: {'score': 1.199348129252962, 'counts': [1, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [3.225806451612903, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.03225806451612903, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.428571428571429, 'translation_length': 31, 'reference_length': 7} Rouge: {'rouge1': 0.15384615384615383, 'rouge2': 0.0, 'rougeL': 0.10256410256410256, 'rougeLsum': 0.10256410256410256} Sari: {'sari': 61.63372859025033} Flesh Reading Ease: 82.95 ---------------------------------------- Source: ['« Darauf schloß er die Kammer selbst zu, und sie blieb allein darin.'] Prediction: ['Ein Mann (23) schoss in der Nacht auf Sonntag selbst zu.\nDort blieb er allein darin.'] Label: [['Jetzt ist die Tochter vom Müller allein in dem Zimmer.\nUnd schließt die Tür hinter sich zu.\nDer König verlässt das Zimmer.']] Sacrebleu: {'score': 3.7499038138315974, 'counts': [5, 1, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 5.2631578947368425, 2.7777777777777777, 1.4705882352941178], 'bp': 0.7788007830714049, 'sys_len': 20, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 0.7788007830714049, 'length_ratio': 0.8, 'translation_length': 20, 'reference_length': 25} Rouge: {'rouge1': 0.18604651162790697, 'rouge2': 0.0, 'rougeL': 0.09302325581395349, 'rougeLsum': 0.18604651162790697} Sari: {'sari': 45.367826617826616} Flesh Reading Ease: 101.8 ---------------------------------------- Source: ['Als nun das Mädchen zu ihm gebracht ward, führte er es in eine Kammer, die ganz voll Stroh lag, gab ihr Rad und Haspel und sprach: »Jetzt mache dich an die Arbeit und wenn du diese Nacht durch bis morgen früh dieses Stroh nicht zu Gold versponnen hast, so mußt du sterben.'] Prediction: ['Ein Mädchen, die ganz voll Stroh lag, führte sich in eine Kammer.\nDie Arbeit wurde von ihm geschickt.\nDie Krankheit ist noch nicht bekannt.'] Label: [['Und du musst sterben.\nOder ich bestrafe dich.\nHeute Nacht musst du das ganze Stroh zu Gold machen.\nDann sagt der König zur Tochter vom Müller: Der König gibt der Tochter vom Müller ein Spinn∙rad.\nDas Zimmer ist voll mit Stroh.\nIm Schloss bringt der König die Tochter vom Müller gleich in ein Zimmer.\nAm nächsten Tag bringt der Müller seine Tochter ins Schloss.']] Sacrebleu: {'score': 0.49124747479986086, 'counts': [8, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [27.586206896551722, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 0.22701058771102275, 'sys_len': 29, 'ref_len': 72} Bleu: {'bleu': 0.0, 'precisions': [0.27586206896551724, 0.0, 0.0, 0.0], 'brevity_penalty': 0.22701058771102275, 'length_ratio': 0.4027777777777778, 'translation_length': 29, 'reference_length': 72} Rouge: {'rouge1': 0.1414141414141414, 'rouge2': 0.0, 'rougeL': 0.0808080808080808, 'rougeLsum': 0.12121212121212122} Sari: {'sari': 34.33969158069968} Flesh Reading Ease: 90.1 ---------------------------------------- Source: ['»Das ist eine Kunst, die mir wohlgefällt, wenn deine Tochter so geschickt ist, wie du sagst, so bringe sie morgen in mein Schloß, da will ich sie auf die Probe stellen.« Der König sprach zum Müller:'] Prediction: ['Eine Tochter soll morgen in mein Schloß stellen.\nDer König sprach zum Müller: Sie ist eine Kunst, die mir wohlgefällt ist, wenn deine Tochter so geschickt ist, wie du sagst, so bringe sie morgen in mein Schloß, da will ich sie auf die Probe stellen.'] Label: [['Deine Tochter soll mein Stroh zu Gold machen.\nUnd sagt: Bring deine Tochter zu mir ins Schloss.\nDer König ist überrascht.']] Sacrebleu: {'score': 4.298807144691974, 'counts': [12, 4, 1, 0], 'totals': [53, 52, 51, 50], 'precisions': [22.641509433962263, 7.6923076923076925, 1.9607843137254901, 1.0], 'bp': 1.0, 'sys_len': 53, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.22641509433962265, 0.07692307692307693, 0.0196078431372549, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.12, 'translation_length': 53, 'reference_length': 25} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.1176470588235294, 'rougeL': 0.2, 'rougeLsum': 0.2571428571428571} Sari: {'sari': 40.48095193595615} Flesh Reading Ease: 75.6 ---------------------------------------- Source: ['Nun traf es sich, daß er mit dem König zu sprechen kam, und um sich ein Ansehen zu geben, sagte er zu ihm: »Ich habe eine Tochter, die kann Stroh zu Gold spinnen.«'] Prediction: ['Ein König traf sich, da er mit dem König zu sprechen kam, um sich ein Ansehen zu geben.\nDer König sagte zu ihm: "Ich habe eine Tochter, die kann Stroh zu Gold spinnen".'] Label: [['Meine Tochter kann Stroh zu Gold machen.\nUnd sagt: Herr König: Und so lügt der Müller den König an.\nDer Müller schämt sich vor dem König.\nAn einem Tag kommt der König zum Müller.']] Sacrebleu: {'score': 8.711822053477782, 'counts': [14, 5, 2, 1], 'totals': [41, 40, 39, 38], 'precisions': [34.146341463414636, 12.5, 5.128205128205129, 2.6315789473684212], 'bp': 1.0, 'sys_len': 41, 'ref_len': 40} Bleu: {'bleu': 0.08711822053477783, 'precisions': [0.34146341463414637, 0.125, 0.05128205128205128, 0.02631578947368421], 'brevity_penalty': 1.0, 'length_ratio': 1.025, 'translation_length': 41, 'reference_length': 40} Rouge: {'rouge1': 0.35443037974683544, 'rouge2': 0.2077922077922078, 'rougeL': 0.22784810126582278, 'rougeLsum': 0.35443037974683544} Sari: {'sari': 42.89515455304929} Flesh Reading Ease: 81.6 ---------------------------------------- Source: ['Es war einmal ein Müller, der war arm, aber er hatte eine schöne Tochter.'] Prediction: ['Ein Müller war in der Nacht auf Sonntag in die Schweiz gefallen.\nDer Mann war eine schöne Tochter.\nDer Mann war einmal ein Müller, der war arm.'] Label: [['Die Tochter vom Müller ist sehr schön.\nDer Müller hat eine Tochter.\nDer Müller ist arm.\nEin Müller hat eine Mühle.\nEs war einmal:']] Sacrebleu: {'score': 8.47727764593787, 'counts': [13, 6, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [41.935483870967744, 20.0, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.41935483870967744, 0.2, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0689655172413792, 'translation_length': 31, 'reference_length': 29} Rouge: {'rouge1': 0.4666666666666667, 'rouge2': 0.1724137931034483, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.4000000000000001} Sari: {'sari': 41.96972250308954} Flesh Reading Ease: 94.95 ---------------------------------------- Source: ['»Aber«, sagte Hauke wieder, »unsere Deiche sind nichts wert!«'] Prediction: ['Die Schweizer Hauke ist ein Paar.\nDie Deiche sind nichts wert.'] Label: [['Hauke sieht ihn an und sagt: „Unsere Deiche sind nichts wert, Vater.']] Sacrebleu: {'score': 18.349818317455792, 'counts': [6, 3, 2, 1], 'totals': [13, 12, 11, 10], 'precisions': [46.15384615384615, 25.0, 18.181818181818183, 10.0], 'bp': 0.8574039191604413, 'sys_len': 13, 'ref_len': 15} Bleu: {'bleu': 0.18349818317455793, 'precisions': [0.46153846153846156, 0.25, 0.18181818181818182, 0.1], 'brevity_penalty': 0.8574039191604413, 'length_ratio': 0.8666666666666667, 'translation_length': 13, 'reference_length': 15} Rouge: {'rouge1': 0.43478260869565216, 'rouge2': 0.28571428571428564, 'rougeL': 0.43478260869565216, 'rougeLsum': 0.43478260869565216} Sari: {'sari': 66.42496392496393} Flesh Reading Ease: 98.45 ---------------------------------------- Source: ['»Nein«, erwiderte nach einer Weile der Alte und sah ihm wie abwesend ins Gesicht – »diesmal noch nicht.«'] Prediction: ['Im Alter von 99 Jahren ist es zu einer Wohnung in der Schweiz.\nDie Schweizerin hatte ihr wie abwesend ins Gesicht.\nNun wurde ihr wie abwesend ins Gesicht noch nicht gekommen.'] Label: [['„Diesmal noch nicht“, entgegnet sein Vater.']] Sacrebleu: {'score': 1.2944532586971997, 'counts': [2, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [5.882352941176471, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.25, 'translation_length': 34, 'reference_length': 8} Rouge: {'rouge1': 0.1081081081081081, 'rouge2': 0.05714285714285715, 'rougeL': 0.1081081081081081, 'rougeLsum': 0.1081081081081081} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 81.95 ---------------------------------------- Source: ['»Ja«, sagte Hauke; »ich bin doch nicht versoffen!« Hauke sah ihn trotzig an.'] Prediction: ['Einige Frauen haben ihre Freunde in der Schweiz verlassen.\nSie haben ihn trotzig angehalten.'] Label: [['„Ich bin aber nicht ersoffen“, sagt Hauke trotzig.']] Sacrebleu: {'score': 2.908317710573757, 'counts': [2, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [12.5, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 16, 'reference_length': 10} Rouge: {'rouge1': 0.09090909090909091, 'rouge2': 0.0, 'rougeL': 0.09090909090909091, 'rougeLsum': 0.09090909090909091} Sari: {'sari': 51.620370370370374} Flesh Reading Ease: 61.85 ---------------------------------------- Source: ['Du hättest ja versaufen können, die Wasser beißen heute in den Deich.«'] Prediction: ['Einige Frauen haben ihre Wasser in den Deich geschickt.\nSie hättest ja versaufen können, die Wasser beißen heute in den Deich.'] Label: [['„Du hättest ersaufen können, bei dieser Flut.“']] Sacrebleu: {'score': 3.7419436034576044, 'counts': [4, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [16.666666666666668, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 1.0, 'sys_len': 24, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4, 'translation_length': 24, 'reference_length': 10} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.12903225806451613, 'rougeL': 0.30303030303030304, 'rougeLsum': 0.30303030303030304} Sari: {'sari': 38.536953242835594} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['»Was treibst du draußen? Als er so eines Abends zu seinem Vater in die Stube trat, der an seinen Meßgeräten putzte, fuhr dieser auf:'] Prediction: ['Ein Vater hat in der Stube einen Meßgeräten in die Stube gefunden.\nAls er so eines Abends zu seinem Vater in die Stube trat, der an seinen Meßgeräten putzte, fuhr dieser auf.'] Label: [['„Was treibst du denn da draußen?“, schimpft sein Vater.']] Sacrebleu: {'score': 1.3494116947566301, 'counts': [3, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [8.333333333333334, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.769230769230769, 'translation_length': 36, 'reference_length': 13} Rouge: {'rouge1': 0.04347826086956522, 'rouge2': 0.0, 'rougeL': 0.04347826086956522, 'rougeLsum': 0.04347826086956522} Sari: {'sari': 27.36928104575163} Flesh Reading Ease: 70.4 ---------------------------------------- Source: ['Wurde es so dunkel, daß alle Erdendinge vor seinen Augen verschwanden und nur die Flut ihm in die Ohren donnerte, dann stand er auf und trabte halb durchnäßt nach Hause.'] Prediction: ['Erdendinge wurde in der Nacht auf Sonntag in Zürich verschwanden.\nDer Erdendinge hatte sich in der Nacht auf Sonntag geschwanden.\nEinige Tage nach Hause wurde dabei von der Flut geschwanden.'] Label: [['Erst als Wind und Flut ihm in den Ohren donnern, geht Hauke nach Hause.']] Sacrebleu: {'score': 2.8244460759801417, 'counts': [5, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [15.151515151515152, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.15151515151515152, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0625, 'translation_length': 33, 'reference_length': 16} Rouge: {'rouge1': 0.17777777777777778, 'rouge2': 0.046511627906976744, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 47.09506741764806} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Nach langem Hinstarren nickte er wohl langsam mit dem Kopfe oder zeichnete, ohne aufzusehen, mit der Hand eine weiche Linie in die Luft, als ob er dem Deiche damit einen sanfteren Abfall geben wollte.'] Prediction: ['Nach langem Hinstarren nickte er wohl langsam mit dem Kopfe oder zeichnete, ohne aufzusehen.\nDer Deiche wollte damit einen sanfteren Abfall geben.'] Label: [['Sondern sanft zum Wasser hin auslaufend.\nNicht so steil abfallend zum Meer hin.\nAls ob er den Deich lieber so hätte.\nEine weiche, sanft abfallende Linie.\nMit der Hand zeichnet Hauke eine Linie in die Luft.']] Sacrebleu: {'score': 1.0791313633261128, 'counts': [4, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [16.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.5066169923655897, 'sys_len': 25, 'ref_len': 42} Bleu: {'bleu': 0.0, 'precisions': [0.16, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5066169923655897, 'length_ratio': 0.5952380952380952, 'translation_length': 25, 'reference_length': 42} Rouge: {'rouge1': 0.10169491525423728, 'rouge2': 0.0, 'rougeL': 0.10169491525423728, 'rougeLsum': 0.10169491525423728} Sari: {'sari': 22.582256924362188} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['was er allein hier sah, war der brandende Saum des Wassers, der, als die Flut stand, mit hartem Schlage immer wieder dieselbe Stelle traf und vor seinen Augen die Grasnarbe des steilen Deiches auswusch. Er hörte weder das Klatschen des Wassers noch das Geschrei der Möwen und Strandvögel, die um oder über ihm flogen und ihn fast mit ihren Flügeln streiften, mit den schwarzen Augen in die seinen blitzend;'] Prediction: ['Der deutsche Wasser hat seinen Flügeln schwarz auswusch.\nDer Flügeln wurde schwarz und schwarze.\nDer Wasser hörte weder das Klatschen des Wassers noch das Geschrei der Möwen und Strandvögel, die um oder über ihm flogen und ihn fast mit ihren Flügeln streiften.'] Label: [['Das Gras dort ist schon ganz ausgewaschen.\nImmer wieder trifft es auf dieselbe Stelle.\nWo schlägt das Wasser bei höchster Flut gegen den Deich?\nIhn interessiert nur eins: Hauke sieht weder die Strandvögel noch hört er die Möwen.']] Sacrebleu: {'score': 1.413292769627856, 'counts': [10, 0, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [21.73913043478261, 1.1111111111111112, 0.5681818181818182, 0.29069767441860467], 'bp': 1.0, 'sys_len': 46, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.069767441860465, 'translation_length': 46, 'reference_length': 43} Rouge: {'rouge1': 0.2637362637362637, 'rouge2': 0.04494382022471909, 'rougeL': 0.13186813186813184, 'rougeLsum': 0.15384615384615388} Sari: {'sari': 34.877914224108885} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ['erst wenn ihm die Füße überspült waren und der Schaum ihm ins Gesicht spritzte, rückte er ein paar Fuß höher und blieb dann wieder sitzen.'] Prediction: ['Ein Mann rückte ein paar Fuß höher und blieb dann wieder sitzen.\nErst wenn ihm die Füße überspült waren und der Schaum ihm ins Gesicht spritzte, rückte er ein paar Fuß höher und blieb dann wieder sitzen.'] Label: [['Erst wenn sie schon an seine Füße schlagen, rutscht er weiter hoch auf den Deich.']] Sacrebleu: {'score': 2.4181756076515732, 'counts': [6, 1, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [15.0, 2.5641025641025643, 1.3157894736842106, 0.6756756756756757], 'bp': 1.0, 'sys_len': 40, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.02564102564102564, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3529411764705883, 'translation_length': 40, 'reference_length': 17} Rouge: {'rouge1': 0.16949152542372883, 'rouge2': 0.07017543859649122, 'rougeL': 0.16949152542372883, 'rougeLsum': 0.16949152542372883} Sari: {'sari': 37.17642373556352} Flesh Reading Ease: 79.6 ---------------------------------------- Source: ['Und wenn im Herbst die Fluten höher stiegen und manch ein Mal die Arbeit eingestellt werden mußte, dann ging er nicht mit den andern nach Haus, sondern blieb, die Hände über die Knie gefaltet, an der abfallenden Seeseite des Deiches sitzen und sah stundenlang zu, wie die trüben Nordseewellen immer höher an die Grasnarbe des Deiches hinaufschlugen;'] Prediction: ['Die Fluten im Herbst sind höher stiegen.\nDann blieb der Hände über die Knie gefaltet.'] Label: [['Stundenlang beobachtet er die Nordsee-Wellen.\nNur Hauke bleibt weiter am Deich sitzen.\nDann gehen sie nach Hause, bis das Wasser bei Ebbe wieder abläuft.\nWenn das Wasser bei Flut immer höher steigt, können die Männer nicht weiterarbeiten.']] Sacrebleu: {'score': 1.246114256401029, 'counts': [5, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [29.41176470588235, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 0.21666307870822266, 'sys_len': 17, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.29411764705882354, 0.0625, 0.0, 0.0], 'brevity_penalty': 0.21666307870822255, 'length_ratio': 0.3953488372093023, 'translation_length': 17, 'reference_length': 43} Rouge: {'rouge1': 0.16949152542372883, 'rouge2': 0.03508771929824562, 'rougeL': 0.13559322033898302, 'rougeLsum': 0.16949152542372883} Sari: {'sari': 34.36055790222456} Flesh Reading Ease: 90.6 ---------------------------------------- Source: ['aber den Euklid hatte er allzeit in der Tasche, und wenn die Arbeiter ihr Frühstück oder Vesper aßen, saß er auf seinem umgestülpten Schubkarren mit dem Buche in der Hand. Und der Junge karrte;'] Prediction: ['Ein junger Schubkarren hat einen Euklid in der Hand.\nDer Junge konnte den Euklid sein.\nDer junge Arbeiter sah das Frühstück oder Vesper aus.'] Label: [['Die ganze Zeit über beugt er sich über das Mathematikbuch.\nIn den Pausen setzt er sich an den Deich.\nBei der Arbeit hat Hauke immer den Euklid dabei.']] Sacrebleu: {'score': 3.3848387650018656, 'counts': [8, 1, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [29.62962962962963, 3.8461538461538463, 2.0, 1.0416666666666667], 'bp': 0.8623033568332588, 'sys_len': 27, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.2962962962962963, 0.038461538461538464, 0.0, 0.0], 'brevity_penalty': 0.8623033568332588, 'length_ratio': 0.8709677419354839, 'translation_length': 27, 'reference_length': 31} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.03846153846153846, 'rougeL': 0.14814814814814817, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 39.32279574885209} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Als der Alte sah, daß der Junge weder für Kühe noch Schafe Sinn hatte und kaum gewahrte, wenn die Bohnen blühten, was doch die Freude von jedem Marschmann ist, und weiterhin bedachte, daß die kleine Stelle wohl mit einem Bauer und einem Jungen, aber nicht mit einem Halbgelehrten und einem Knecht bestehen könne, angleichen, daß er auch selber nicht auf einen grünen Zweig gekommen sei, so schickte er seinen großen Jungen an den Deich, wo er mit andern Arbeitern von Ostern bis Martini Erde karren mußte.'] Prediction: ['Ein Junge kann mit einem Bauer und einem Jungen nicht mit einem Halbgelehrten und einem Knecht bestehen.\nDiese war selber nicht auf einen grünen Zweig gekommen.\nAls der Junge weder für Kühe noch Schafe Sinn hatte, schickte er seinen großen Jungen an den Deich.'] Label: [['Den ganzen Tag lang muss der Junge nun Erde in Karren herbeiholen.\nUnd so schickt er Hauke zu den Deicharbeitern.\nDer muss ans Arbeiten kommen, denkt der Vater.\nWas soll er nur mit dem Jungen anfangen?\nAuch mit den Kühen kann er nicht umgehen.\nZur Feldarbeit taugt Hauke nicht.\nAber einen Büchersohn kann er nicht gebrauchen.\nDer Junge ist einfach nicht von den Büchern loszubringen.\nSein Vater beginnt, sich Sorgen zu machen.']] Sacrebleu: {'score': 1.2338349811301568, 'counts': [16, 1, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [33.333333333333336, 2.127659574468085, 1.0869565217391304, 0.5555555555555556], 'bp': 0.4823107482912781, 'sys_len': 48, 'ref_len': 83} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.02127659574468085, 0.0, 0.0], 'brevity_penalty': 0.4823107482912781, 'length_ratio': 0.5783132530120482, 'translation_length': 48, 'reference_length': 83} Rouge: {'rouge1': 0.22764227642276422, 'rouge2': 0.016528925619834708, 'rougeL': 0.14634146341463414, 'rougeLsum': 0.22764227642276422} Sari: {'sari': 35.09496962196807} Flesh Reading Ease: 71.7 ---------------------------------------- Source: ["Aber das zweite Buch war eine kleine holländische Grammatik, und da der Winter noch lange nicht vorüber war, so hatte es, als endlich die Stachelbeeren in ihrem Garten wieder blühten, dem Jungen schon so weit geholfen, daß er den Euklid, welcher damals stark im Schwange war, fast überall verstand. Auch das?« frug er wieder. Und als der Alte nickte, wies er noch ein zweites, halb zerrissenes Büchlein vor. » Der Junge, der von wenig Worten war, sah den Vater ruhig an und sagte nur: »Darf ich's behalten?"] Prediction: ['Der Junge, der von wenig Worten war, sah den Vater ruhig an.\nDer Vater sagte: "Darf ich\'s behalten?\nDarf ich\'s behalten?'] Label: [['„Darf ich die beiden Bücher behalten?“, fragt Hauke.\nIn der anderen eine alte, holländische Grammatik.\nIn der einen den Euklid.\nAls Hauke vom Dachboden herunterkommt, hält er zwei Bücher in seinen Händen.']] Sacrebleu: {'score': 2.2961830221927273, 'counts': [7, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [25.0, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 0.6285839333986253, 'sys_len': 28, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 0.6285839333986253, 'length_ratio': 0.6829268292682927, 'translation_length': 28, 'reference_length': 41} Rouge: {'rouge1': 0.2, 'rouge2': 0.034482758620689655, 'rougeL': 0.1, 'rougeLsum': 0.2} Sari: {'sari': 35.378058058875666} Flesh Reading Ease: 85.25 ---------------------------------------- Source: ['»Ja, ja«, sagte er, »das Buch ist noch von meinem Vater, der verstand es;'] Prediction: ['Im Buch ist es zu einem verstandenen Vater.\nDer Buch ist noch von meinem Vater, der verstand es.'] Label: [['Die Sprache konnte mein Vater damals noch verstehen.“']] Sacrebleu: {'score': 2.3901021968803136, 'counts': [3, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [14.285714285714286, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1, 'translation_length': 21, 'reference_length': 10} Rouge: {'rouge1': 0.15384615384615383, 'rouge2': 0.0, 'rougeL': 0.15384615384615383, 'rougeLsum': 0.07692307692307691} Sari: {'sari': 37.39316239316239} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['Es war ein holländischer Euklid, und Holländisch, wenngleich es doch halb Deutsch war, verstanden alle beide nicht.'] Prediction: ['Ein holländischer Euklid war in Deutsch nicht mehr.\nDas war ein holländischer Euklid, wenngleich es doch halb Deutsch war.\nDie beiden verstanden nicht.'] Label: [['Das Buch ist aber auf Holländisch geschrieben.']] Sacrebleu: {'score': 1.6504045595709425, 'counts': [2, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [7.407407407407407, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.07407407407407407, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.375, 'translation_length': 27, 'reference_length': 8} Rouge: {'rouge1': 0.12121212121212122, 'rouge2': 0.0, 'rougeL': 0.12121212121212122, 'rougeLsum': 0.12121212121212122} Sari: {'sari': 34.570707070707066} Flesh Reading Ease: 84.55 ---------------------------------------- Source: ["das wird's dir sagen!« Willst du mehr wissen, so suche morgen aus der Kiste, die auf unserm Boden steht, ein Buch, einer, der Euklid hieß, hat's geschrieben;"] Prediction: ["Ein Buch, einer, der Euklid hieß, hat's geschrieben.\nEs wird's dir sagen!"] Label: [['Es heißt Euklid.\nDa ist ein altes Mathematikbuch von meinem Vater.\n„Aber wenn du es besser wissen willst, dann geh nach oben auf den Dachboden.']] Sacrebleu: {'score': 1.5966588916835562, 'counts': [4, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [23.529411764705884, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.49367278838913037, 'sys_len': 17, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.0, 0.0, 0.0], 'brevity_penalty': 0.49367278838913026, 'length_ratio': 0.5862068965517241, 'translation_length': 17, 'reference_length': 29} Rouge: {'rouge1': 0.15, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.15} Sari: {'sari': 35.12848386025304} Flesh Reading Ease: 92.1 ---------------------------------------- Source: ['Und eines Abends frug er den Alten, warum denn das, was er eben hingeschrieben hatte, gerade so sein müsse und nicht anders sein könne, und stellte dann eine eigene Meinung darüber auf Aber der Vater, der darauf nicht zu antworten wußte, schüttelte den Kopf und sprach: »Das kann ich dir nicht sagen; genug, es ist so, und du selber irrst dich.'] Prediction: ['Ein Alten hatte eine eigene Meinung darüber auf Aber der Vater schüttelte den Kopf und sprach: "Das kann ich dir nicht sagen; genug, es ist so, und du selber irrst dich".'] Label: [['„Das wird schon so stimmen“, antwortet sein Vater.\n„Vater, woher weißt du, dass deine Berechnungen richtig sind?“']] Sacrebleu: {'score': 1.5167145487126126, 'counts': [6, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [15.789473684210526, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6521739130434783, 'translation_length': 38, 'reference_length': 23} Rouge: {'rouge1': 0.1568627450980392, 'rouge2': 0.0, 'rougeL': 0.11764705882352942, 'rougeLsum': 0.1568627450980392} Sari: {'sari': 34.816889718850504} Flesh Reading Ease: 67.1 ---------------------------------------- Source: ['Der Junge saß meist dabei und sah über seine Fibel oder Bibel weg dem Vater zu, wie er maß und berechnete, und grub sich mit der Hand in seinen blonden Haaren.'] Prediction: ['Der Junge sah über seine Fibel oder Bibel weg dem Vater zu, wie er maß und berechnete.\nDer Junge sah sich mit der Hand in seinen blonden Haaren.'] Label: [['Sein Sohn Hauke sieht ihm jeden Abend beim Rechnen zu.']] Sacrebleu: {'score': 1.4262733286728257, 'counts': [2, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [6.451612903225806, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.06451612903225806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8181818181818183, 'translation_length': 31, 'reference_length': 11} Rouge: {'rouge1': 0.05263157894736841, 'rouge2': 0.0, 'rougeL': 0.05263157894736841, 'rougeLsum': 0.05263157894736841} Sari: {'sari': 34.523809523809526} Flesh Reading Ease: 84.1 ---------------------------------------- Source: ['aber es reichte doch wohl kaum, denn was die studierten Fachleute darüber niedergeschrieben, davon hatte er wenig gelesen; In der Mitte des vorigen Jahrhunderts, oder vielmehr, um genauer zu bestimmen, vor und nach derselben, gab es hier einen Deichgrafen, der von Deich- und Sielsachen mehr verstand, als Bauern und Hofbesitzer sonst zu verstehen pflegen;'] Prediction: ['Der Hofbesitzer hatte wenig gelesen.\nIn der Mitte des vorigen Jahrhunderts gab es einen Deichgrafen.\nDer Hofbesitzer hatte wenig gelesen.'] Label: [['Aber er kann gut mit Zahlen und Maßen umgehen.\nEr hat nicht studiert.\n1700.\nIn unserem Dorf in Nordfriesland lebt damals ein Bauer, der besonders gut rechnen kann.\nDie Geschichte spielt im vorigen Jahrhundert, also um']] Sacrebleu: {'score': 1.8973626941348791, 'counts': [6, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [26.08695652173913, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 0.4377589088697929, 'sys_len': 23, 'ref_len': 42} Bleu: {'bleu': 0.0, 'precisions': [0.2608695652173913, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 0.4377589088697929, 'length_ratio': 0.5476190476190477, 'translation_length': 23, 'reference_length': 42} Rouge: {'rouge1': 0.10526315789473685, 'rouge2': 0.0, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.10526315789473685} Sari: {'sari': 35.023534559992314} Flesh Reading Ease: 50.45 ---------------------------------------- Source: ['»Erzählt, erzählt nur, Schulmeister«, riefen ein paar der jüngeren aus der Gesellschaft.'] Prediction: ['Schulmeister riefen ein paar der jüngeren aus der Gesellschaft.\nDie Gesellschaft riefen ein paar der jüngeren aus der Gesellschaft.'] Label: [['„Erzähl uns die Geschichte vom Schimmelreiter!“ „Setz dich zu uns!“, rufen die anderen ihm zu.']] Sacrebleu: {'score': 1.8160849415439309, 'counts': [1, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [4.761904761904762, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.047619047619047616, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 21, 'reference_length': 21} Rouge: {'rouge1': 0.05405405405405405, 'rouge2': 0.0, 'rougeL': 0.05405405405405405, 'rougeLsum': 0.05405405405405405} Sari: {'sari': 35.48611111111111} Flesh Reading Ease: 71.05 ---------------------------------------- Source: ['»Unser Schulmeister«, sagte er mit erhobener Stimme, »wird von uns hier Ihnen das am besten erzählen können; Abseits hinter dem Ofen, ein wenig gebückt, saß ein kleiner hagerer Mann in einem abgeschabten schwarzen Röcklein;'] Prediction: ['Ein kleiner hagerer Mann sah in einem schwarzen Röcklein.\nDer Schulmeister sagt, er wird von uns hier Ihnen das am besten erzählen können.'] Label: [['Das ist der alte Schulmeister.“ „Der da kann euch die Geschichte am besten erzählen.\nDer Deichgraf zeigt auf einen kleinen, alten Mann am Ofen.']] Sacrebleu: {'score': 6.978457401316541, 'counts': [9, 3, 1, 0], 'totals': [26, 25, 24, 23], 'precisions': [34.61538461538461, 12.0, 4.166666666666667, 2.1739130434782608], 'bp': 0.8910233766955563, 'sys_len': 26, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.34615384615384615, 0.12, 0.041666666666666664, 0.0], 'brevity_penalty': 0.8910233766955563, 'length_ratio': 0.896551724137931, 'translation_length': 26, 'reference_length': 29} Rouge: {'rouge1': 0.3137254901960784, 'rouge2': 0.12244897959183673, 'rougeL': 0.23529411764705882, 'rougeLsum': 0.27450980392156865} Sari: {'sari': 42.97302194232018} Flesh Reading Ease: 74.9 ---------------------------------------- Source: ['»Verzeiht!« sprach ich, »was ist das mit dem Schimmelreiter?«'] Prediction: ['Im Interview mit 20 Minuten spricht Schimmelreiter über die Welt.\nIm Interview spricht er über die Welt und das Schimmelreiter.'] Label: [['„Was bedeutet diese Sache mit dem Schimmelreiter?“ Vorsichtig frage ich:']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6923076923076923, 'translation_length': 22, 'reference_length': 13} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 30.930458430458437} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Mich wollte nachträglich ein Grauen überlaufen.'] Prediction: ['Ein Grauen überlaufen in der Nacht auf Sonntag wurde von einem Mann überlaufen.\nDer Mann wollte nachträglich ein Grauen überlaufen.'] Label: [['Mir wird etwas unheimlich.']] Sacrebleu: {'score': 1.727223799216787, 'counts': [1, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [4.545454545454546, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.045454545454545456, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.4, 'translation_length': 22, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 35.714285714285715} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['mögen sie auf alles vorgefaßt sein!« Anno 17 hat es auch denen drüben gegolten; »das ist nicht bloß für uns; »Ihr braucht nicht zu erschrecken«, sprach er über den Tisch hin; Der Deichgraf war aufgestanden. »Der Schimmelreiter!« rief einer aus der Gesellschaft, und eine Bewegung des Erschreckens ging durch die übrigen.'] Prediction: ['Ein Deichgraf rief einer aus der Gesellschaft, und eine Bewegung des Erschreckens ging durch die übrigen.\nDer Schimmelreiter rief einer aus der Gesellschaft, und eine Bewegung des Erschreckens ging durch die übrigen.'] Label: [['Das war ja schon um das Jahr 1700 so.“ Die im Westen, die müssen sich Sorgen machen.\n„Das ist bestimmt nicht wegen unserem Deich.\nDer Deichgraf will die Leute beruhigen.\n„Der Schimmelreiter!“, sagt einer ängstlich.']] Sacrebleu: {'score': 2.3881578682068634, 'counts': [10, 1, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [27.77777777777778, 2.857142857142857, 1.4705882352941178, 0.7575757575757576], 'bp': 0.7788007830714049, 'sys_len': 36, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.02857142857142857, 0.0, 0.0], 'brevity_penalty': 0.7788007830714049, 'length_ratio': 0.8, 'translation_length': 36, 'reference_length': 45} Rouge: {'rouge1': 0.2058823529411765, 'rouge2': 0.030303030303030307, 'rougeL': 0.14705882352941177, 'rougeLsum': 0.17647058823529413} Sari: {'sari': 36.57850370114623} Flesh Reading Ease: 58.7 ---------------------------------------- Source: ['Er wurde aufmerksam, und ich bemerkte plötzlich, daß alles Gespräch umher verstummt war. wir waren ins Gespräch gekommen, und ich hatte begonnen, ihm meine seltsame Begegnung auf dem Deiche zu erzählen.'] Prediction: ['Ein Mann hatte sich in einem Gespräch aufmerksam und bemerkte plötzlich, da er alles Gespräch umher verstummt war.\nEr hatte begonnen, ihm meine seltsame Begegnung auf dem Deiche zu erzählen.'] Label: [['Alle sehen sich erschrocken an.\nIch erzähle von dem seltsamen Reiter.']] Sacrebleu: {'score': 1.5393730252811677, 'counts': [4, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [11.764705882352942, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6153846153846154, 'translation_length': 34, 'reference_length': 13} Rouge: {'rouge1': 0.13043478260869565, 'rouge2': 0.0, 'rougeL': 0.08695652173913045, 'rougeLsum': 0.08695652173913045} Sari: {'sari': 35.280182780182784} Flesh Reading Ease: 59.7 ---------------------------------------- Source: ['wir haben sichere Leute draußen, die uns Bericht erstatten.«'] Prediction: ['Im Interview mit 20 Minuten spricht über die Schweizer Welt und Welt immer wieder über die Schweizer Welt.\nIm Interview spricht sich der Chef über die Welt und Welt.'] Label: [['Die geben uns sofort Bescheid, wenn es mit unserem Deich Probleme geben sollte.“ Vorsichtshalber haben wir aber auch unsere Leute draußen.']] Sacrebleu: {'score': 1.5784309053930103, 'counts': [3, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [9.67741935483871, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.0967741935483871, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.24, 'translation_length': 31, 'reference_length': 25} Rouge: {'rouge1': 0.0784313725490196, 'rouge2': 0.0, 'rougeL': 0.0392156862745098, 'rougeLsum': 0.0392156862745098} Sari: {'sari': 48.13131313131313} Flesh Reading Ease: 89.45 ---------------------------------------- Source: ["unser Hauptdeich ist schon im vorigen Jahrhundert umgelegt. nur drüben an der andern Seite ist's nicht sicher, die Deiche sind dort meist noch mehr nach altem Muster; »wir, hier an der Ostseite, aber glauben, jetzt außer Gefahr zu sein; »Gewiß«, erwiderte er;"] Prediction: ['Der Hauptdeich ist schon im vorigen Jahrhundert umgelegt.\nEr wollte an der anderen Seite seine Deiche sein.\nWir glauben, jetzt außer Gefahr zu sein.'] Label: [['Die Deiche dort sind noch nach altem Muster gebaut.\nDie anderen da hinten im Westen, die haben mehr Probleme.\n„Bei uns hier im Osten wurde der Deich vor langer Zeit neu gebaut.\n„Hier haben wir noch Glück“, sagt der Deichgraf.']] Sacrebleu: {'score': 1.1808083224017374, 'counts': [8, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [28.571428571428573, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 0.5257880244257798, 'sys_len': 28, 'ref_len': 46} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5257880244257798, 'length_ratio': 0.6086956521739131, 'translation_length': 28, 'reference_length': 46} Rouge: {'rouge1': 0.1818181818181818, 'rouge2': 0.0, 'rougeL': 0.0909090909090909, 'rougeLsum': 0.1818181818181818} Sari: {'sari': 32.85477582846004} Flesh Reading Ease: 72.55 ---------------------------------------- Source: ['die Deiche werden ihre Not haben!« »Sie halten hier die Wacht!« sagte ich, mich zu jenem Mann wendend, »es ist bös Wetter draußen;'] Prediction: ['Ein Mann hat in der Nacht auf Sonntag die Wacht gefeiert.\nDie Deiche werden ihre Not haben!'] Label: [['„Bestimmt halten Sie hier Wacht wegen der Deiche?\n„Böses Wetter, da draußen“, sage ich.']] Sacrebleu: {'score': 2.8629993657668873, 'counts': [4, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [21.05263157894737, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0555555555555556, 'translation_length': 19, 'reference_length': 18} Rouge: {'rouge1': 0.1818181818181818, 'rouge2': 0.0, 'rougeL': 0.12121212121212122, 'rougeLsum': 0.12121212121212122} Sari: {'sari': 34.73368879715629} Flesh Reading Ease: 89.6 ---------------------------------------- Source: ['Ich grüßte und bat, mich zu ihnen setzen zu dürfen, was bereitwillig gestattet wurde. Als ich eintrat, sah ich etwa ein Dutzend Männer an einem Tische sitzen, der unter den Fenstern entlanglief, eine Punschbowle stand darauf, und ein besonders stattlicher Mann schien die Herrschaft über sie zu führen.'] Prediction: ['Ein Dutzend Männer hat einen Tische sitzen, der unter den Fenstern entlanglief, eine Punschbowle stand darauf.\nEin besonders stattlicher Mann schien die Herrschaft über sie zu führen.'] Label: [['Als ich eintrete, laden die Männer mich zu sich an den Tisch.']] Sacrebleu: {'score': 1.877081263233555, 'counts': [6, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [19.35483870967742, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.1935483870967742, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2142857142857144, 'translation_length': 31, 'reference_length': 14} Rouge: {'rouge1': 0.23809523809523808, 'rouge2': 0.05, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.23809523809523808} Sari: {'sari': 33.503573354908305} Flesh Reading Ease: 67.05 ---------------------------------------- Source: ["t hoge Water!« Dat is um ' »Is wull so wat«, entgegnete der Knecht auf plattdeutsch – und ich erfuhr nachher, daß dieses neben dem Friesischen hier schon seit über hundert Jahren im Schwange gewesen sei –, »Diekgraf und Gevollmächtigten un wecke von de annern Interessenten!"] Prediction: ['Der Knecht ist seit über hundert Jahren im Schwange gewesen.\nDie Kokraf und Gevollmächtigten un wecke von de annern Interessenten.'] Label: [['Wegen dem Hochwasser.\nUnd auch andere, die Entscheidungen treffen müssen.\n„Der Deichgraf ist da.\nDer Pferdeknecht nickt.']] Sacrebleu: {'score': 2.4426633221059637, 'counts': [4, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 22, 'reference_length': 22} Rouge: {'rouge1': 0.20512820512820512, 'rouge2': 0.0, 'rougeL': 0.10256410256410256, 'rougeLsum': 0.15384615384615383} Sari: {'sari': 36.92497372463417} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['»Ist hier Versammlung?« frug ich ihn, da mir jetzt deutlich ein Geräusch von Menschenstimmen und Gläserklirren aus der Stubentür entgegendrang.'] Prediction: ['Immer mehr Menschenstimmen und Gläserklirren aus der Stubentür entgegendrang.\nIm Interview mit 20 Minuten spricht der Schweizer über die Geschichte.'] Label: [['„Ist hier eine Versammlung?“, frage ich.']] Sacrebleu: {'score': 1.727223799216787, 'counts': [1, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [4.545454545454546, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.045454545454545456, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2, 'translation_length': 22, 'reference_length': 10} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 31.398809523809522} Flesh Reading Ease: 53.0 ---------------------------------------- Source: ['Ich band das meine an einen derselben und überwies es dann dem Knechte, der mir beim Eintritt in den Flur entgegenkam:'] Prediction: ['Im Alter von 99 Jahren ist der Zürcher Musiker über die Welt.\nIm Alter von 99 Jahren ist er über die Zürcher Musikerin Andrea.\nIhr band hat sich mit dem Knechte in den Flur entgegenkam.'] Label: [['Am Eingang begrüßt mich der Pferdeknecht.']] Sacrebleu: {'score': 1.1524538390587937, 'counts': [2, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [5.2631578947368425, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.05263157894736842, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.428571428571429, 'translation_length': 38, 'reference_length': 7} Rouge: {'rouge1': 0.045454545454545456, 'rouge2': 0.0, 'rougeL': 0.045454545454545456, 'rougeLsum': 0.045454545454545456} Sari: {'sari': 35.851851851851855} Flesh Reading Ease: 80.55 ---------------------------------------- Source: ['Ich sah wohl, daß es ein Wirtshaus war;'] Prediction: ['Ein Wirtshaus war im Alter von 99 Jahren gestorben.\nDie Frau war mit ihrem Mann aufgefunden.\nSie war dabei, dass sie ein Wirtshaus war.'] Label: [['Es ist sicher ein Wirtshaus.']] Sacrebleu: {'score': 2.955622941561161, 'counts': [3, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [10.714285714285714, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.10714285714285714, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.666666666666667, 'translation_length': 28, 'reference_length': 6} Rouge: {'rouge1': 0.13793103448275862, 'rouge2': 0.07407407407407408, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.13793103448275862} Sari: {'sari': 51.47243107769424} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['lag ein großes Haus derselben Art; an der Südseite, rechts von der Haustür, sah ich alle Fenster erleuchtet; Aber ein anderes sah ich, das ich mit Freuden jetzt begrüßte: vor mir, von unten aus dem Kooge, schimmerten eine Menge zerstreuter Lichtscheine zu mir herauf, sie schienen aus jenen langgestreckten friesischen Häusern zu kommen, die vereinzelt auf mehr oder minder hohen Werften lagen, dicht vor mir aber auf halber Höhe des Binnendeiches'] Prediction: ['Ein Binnendeichein ist auf der Höhe des Binnendeiches.\nEs ist ein großes Haus derselben Art.\nAber auch ein anderes sah, das ich mit Freuden begrüßte.'] Label: [['Ich denke noch immer an die seltsame Gestalt, als ich in der Ferne ein paar Lichter entdecke.']] Sacrebleu: {'score': 1.9240848598265397, 'counts': [5, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [17.24137931034483, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5263157894736843, 'translation_length': 29, 'reference_length': 19} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.08888888888888889, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 35.91620416823445} Flesh Reading Ease: 78.1 ---------------------------------------- Source: ['Dann sah ich sie fern und ferner vor mir;'] Prediction: ['Eine Frau ist auf der Suche nach ihrem Mann.\nSie ist auf der Suche nach ihrem Mann.\nSie ist auf der Suche nach ihrer Frau.'] Label: [['Sie verschwinden im Dunkeln.']] Sacrebleu: {'score': 1.5880117714047368, 'counts': [2, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [7.142857142857143, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.6, 'translation_length': 28, 'reference_length': 5} Rouge: {'rouge1': 0.06896551724137932, 'rouge2': 0.0, 'rougeL': 0.06896551724137932, 'rougeLsum': 0.06896551724137932} Sari: {'sari': 67.77777777777777} Flesh Reading Ease: 95.65 ---------------------------------------- Source: ['mir war, als streifte mich der fliegende Mantel, und die Erscheinung war, wie das erste Mal, lautlos an mir vorübergestoben.'] Prediction: ['Immer mehr Menschen sind in den letzten Tagen auf die Kinos gefallen.\nImmer mehr Menschen, die sich auf der Kinos vorübergestoben haben, sind nun nicht mehr gefallen.'] Label: [['Aber wieder ist nichts zu hören.\nFast streift mich sein Mantel.']] Sacrebleu: {'score': 1.4262733286728257, 'counts': [2, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [6.451612903225806, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.06451612903225806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3846153846153846, 'translation_length': 31, 'reference_length': 13} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 59.375} Flesh Reading Ease: 72.9 ---------------------------------------- Source: ['In Gedanken darüber ritt ich weiter, aber ich hatte nicht lange Zeit zum Denken, schon fuhr es von rückwärts wieder an mir vorbei;'] Prediction: ['In Gedanken fuhr es von rückwärts wieder an mir vorbei.\nIn Gedanken fuhr es von rückwärts wieder an mir vorbei.'] Label: [['Diesmal in die andere Richtung.\nWährend ich überlege, stürmt der Reiter wieder an mir vorbei.']] Sacrebleu: {'score': 16.923267918690055, 'counts': [6, 4, 3, 2], 'totals': [22, 21, 20, 19], 'precisions': [27.272727272727273, 19.047619047619047, 15.0, 10.526315789473685], 'bp': 1.0, 'sys_len': 22, 'ref_len': 18} Bleu: {'bleu': 0.16923267918690046, 'precisions': [0.2727272727272727, 0.19047619047619047, 0.15, 0.10526315789473684], 'brevity_penalty': 1.0, 'length_ratio': 1.2222222222222223, 'translation_length': 22, 'reference_length': 18} Rouge: {'rouge1': 0.24390243902439027, 'rouge2': 0.15384615384615383, 'rougeL': 0.24390243902439027, 'rougeLsum': 0.24390243902439027} Sari: {'sari': 53.33602500011169} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Was wollte der?'] Prediction: ['Im Interview mit 20 Minuten mit dem Radio-Host "Unchained" spricht der Comedian über die Welt und die Welt.\nIm Interview mit 20 Minuten spricht er über die Welt und Welt im Interview mit 20 Minuten über die Welt und Welt.'] Label: [['„Und was wollte er von mir?“']] Sacrebleu: {'score': 0.8321783954793125, 'counts': [1, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [2.272727272727273, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.022727272727272728, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.5, 'translation_length': 44, 'reference_length': 8} Rouge: {'rouge1': 0.0851063829787234, 'rouge2': 0.0, 'rougeL': 0.0851063829787234, 'rougeLsum': 0.0425531914893617} Sari: {'sari': 39.64646464646464} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['Wer war das?'] Prediction: ['Im Interview mit 20 Minuten spricht der Schweizer über die Welt.\nIm Interview spricht er über die Welt und warum das Land immer wieder ausgesprochen hat.'] Label: [['„Wer war das?“, frage ich mich leise.']] Sacrebleu: {'score': 1.5880117714047368, 'counts': [2, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [7.142857142857143, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5454545454545454, 'translation_length': 28, 'reference_length': 11} Rouge: {'rouge1': 0.060606060606060615, 'rouge2': 0.0, 'rougeL': 0.060606060606060615, 'rougeLsum': 0.060606060606060615} Sari: {'sari': 31.150793650793652} Flesh Reading Ease: 79.25 ---------------------------------------- Source: ['– Und jetzt fiel mir bei, ich hatte keinen Hufschlag, kein Keuchen des Pferdes vernommen; und Roß und Reiter waren doch hart an mir vorbeigefahren!'] Prediction: ['Am Montag fand in der Nacht auf Sonntag eine Woche eine Woche das erste Malsteil der Schweizer Pferdes.\nIn der Folge fielen sie keinen Hufschlag, kein Keuchen des Pferdes vernommen.\nWir haben mit dem Reiter eine Woche geschickt.'] Label: [['Kein Hufschlag, kein Keuchen des Pferdes.\nNichts ist davon zu hören.\nEr reitet an mir vorbei.']] Sacrebleu: {'score': 12.462475429961065, 'counts': [9, 6, 4, 3], 'totals': [42, 41, 40, 39], 'precisions': [21.428571428571427, 14.634146341463415, 10.0, 7.6923076923076925], 'bp': 1.0, 'sys_len': 42, 'ref_len': 20} Bleu: {'bleu': 0.12462475429961065, 'precisions': [0.21428571428571427, 0.14634146341463414, 0.1, 0.07692307692307693], 'brevity_penalty': 1.0, 'length_ratio': 2.1, 'translation_length': 42, 'reference_length': 20} Rouge: {'rouge1': 0.1818181818181818, 'rouge2': 0.1509433962264151, 'rougeL': 0.1818181818181818, 'rougeLsum': 0.1818181818181818} Sari: {'sari': 57.81991497065027} Flesh Reading Ease: 73.7 ---------------------------------------- Source: ['aber immer deutlicher, wenn der halbe Mond ein karges Licht herabließ, glaubte ich eine dunkle Gestalt zu erkennen, und bald, da sie näher kam, sah ich es, sie saß auf einem Pferde, einem hochbeinigen hageren Schimmel;'] Prediction: ['Eine dunkle Gestalt ist auf einem Pferde.\nDer halbe Mond glaubte eine dunkle Gestalt zu erkennen.'] Label: [['Ein dunkler Reiter auf einem großen, mageren Schimmel.\nEine Gestalt reitet mir entgegen.\nAuf einmal geben die Wolken für einen Augenblick den Mond frei.']] Sacrebleu: {'score': 3.370886533041371, 'counts': [7, 1, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [38.888888888888886, 5.882352941176471, 3.125, 1.6666666666666667], 'bp': 0.5737534207374327, 'sys_len': 18, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.3888888888888889, 0.058823529411764705, 0.0, 0.0], 'brevity_penalty': 0.573753420737433, 'length_ratio': 0.6428571428571429, 'translation_length': 18, 'reference_length': 28} Rouge: {'rouge1': 0.2380952380952381, 'rouge2': 0.05, 'rougeL': 0.1904761904761905, 'rougeLsum': 0.2380952380952381} Sari: {'sari': 39.13777499303815} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['meine verklommenen Hände konnten kaum den Zügel halten, und ich verdachte es nicht den Krähen und Möwen, die sich fortwährend krächzend und gackernd vom Sturm ins Land hineintreiben ließen. Es war eiskalt;'] Prediction: ['Immer mehr Möwen, die sich in den vergangenen Tagen ins Land hineintreiben ließen, verdachten es nicht den Krähen und Möwen.\nEs war eiskalt.'] Label: [['Sie können kaum noch die Zügel halten.\nMeine Hände erstarren vor Kälte.']] Sacrebleu: {'score': 1.826472886268134, 'counts': [3, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [11.11111111111111, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9285714285714286, 'translation_length': 27, 'reference_length': 14} Rouge: {'rouge1': 0.046511627906976744, 'rouge2': 0.0, 'rougeL': 0.046511627906976744, 'rougeLsum': 0.046511627906976744} Sari: {'sari': 31.78161663216011} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['denn auch der halbe Mond, der jetzt in der Höhe stand, war meist von treibendem Wolkendunkel überzogen.'] Prediction: ['Der Mond ist meist von treibendem Wolkendunkel überzogen.\nDer halbe Mond war jetzt in der Höhe stand.'] Label: [['Vor dem Mond ziehen düstere Wolken her.']] Sacrebleu: {'score': 2.4074859035470344, 'counts': [2, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [10.526315789473685, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.375, 'translation_length': 19, 'reference_length': 8} Rouge: {'rouge1': 0.07692307692307691, 'rouge2': 0.0, 'rougeL': 0.07692307692307691, 'rougeLsum': 0.07692307692307691} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['aber ich sah nichts als die gelbgrauen Wellen, die unaufhörlich wie mit Wutgebrüll an den Deich hinaufschlugen und mitunter mich und das Pferd mit schmutzigem Schaum bespritzten;'] Prediction: ['Eine gelbgraue Wellen ist unaufhörlich wie mit Wutgebrüll an den Deich hinaufschlugen und mitunter mich und das Pferd mit schmutzigem Schaum bespritzten.\nDas Pferd wurde mit schmutzigem Schaum bespritzt.'] Label: [['Die Wellen schlagen Schaum auf den Deich hinauf.']] Sacrebleu: {'score': 3.016200863100729, 'counts': [5, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [16.129032258064516, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 1.0, 'sys_len': 31, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.16129032258064516, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4444444444444446, 'translation_length': 31, 'reference_length': 9} Rouge: {'rouge1': 0.20512820512820512, 'rouge2': 0.05405405405405406, 'rougeL': 0.15384615384615383, 'rougeLsum': 0.20512820512820512} Sari: {'sari': 38.49326599326599} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['Zur Linken hatte ich jetzt schon seit über einer Stunde die öde, bereits von allem Vieh geleerte Marsch, zur Rechten, und zwar in unbehaglichster Nähe, das Wattenmeer der Nordsee;'] Prediction: ['Der Wattenmeer der Nordsee ist in der Schweiz nicht mehr gefragt.\nJetzt hatte man seit über einer Stunde die öde.\nJetzt hatte man seit über einer Stunde die öde, bereits von allem Vieh geleerte Marsch zur Rechten.'] Label: [['Rechts davon tobt die wilde Nordsee.\nLinks vom Deich liegt das dunkle Land.']] Sacrebleu: {'score': 1.2663302792223932, 'counts': [4, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [9.75609756097561, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.0975609756097561, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7333333333333334, 'translation_length': 41, 'reference_length': 15} Rouge: {'rouge1': 0.08, 'rouge2': 0.0, 'rougeL': 0.04, 'rougeLsum': 0.08} Sari: {'sari': 34.89057239057239} Flesh Reading Ease: 85.8 ---------------------------------------- Source: ['Es war im dritten Jahrzehnt unseres Jahrhunderts, an einem Oktobernachmittag – so begann der damalige Erzähler –, als ich bei starkem Unwetter auf einem nordfriesischen Deich entlangritt.'] Prediction: ['Der damalige Erzähler hat einen Unwetter auf einem nordfriesischen Deich entlangritt.\nEs war im dritten Jahrzehnt unseres Jahrhunderts, an einem Oktobernachmittag.'] Label: [['Mitten in diesem Unwetter reite ich am Deich entlang.\nEs stürmt und regnet ohne Unterbrechung.\nEs ist ein kalter Nachmittag im Oktober.']] Sacrebleu: {'score': 3.97213910459993, 'counts': [6, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [25.0, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 0.9591894571091382, 'sys_len': 24, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 0.9591894571091382, 'length_ratio': 0.96, 'translation_length': 24, 'reference_length': 25} Rouge: {'rouge1': 0.17777777777777776, 'rouge2': 0.0, 'rougeL': 0.17777777777777776, 'rougeLsum': 0.17777777777777776} Sari: {'sari': 36.092032967032964} Flesh Reading Ease: 40.8 ---------------------------------------- Source: ['Das ganze Gefolge, was er mit sich hatte, sah und sah, aber es bekam nicht mehr heraus als alle die andern, aber sie sagten gleich wie der Kaiser: "Oh, das ist hübsch!'] Prediction: ['Ein ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz'] Label: [['Alle nicken eifrig und rufen „Oh!“ und „Ah!“ Sie machen es dem Kaiser aber nach und rufen: „Oh, wie schön die Stoffe sind!“ Alle anderen sehen nichts.']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [225, 224, 223, 222], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 225, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.25, 'translation_length': 225, 'reference_length': 36} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 55.88383838383838} Flesh Reading Ease: -103.51 ---------------------------------------- Source: ['"es hat meinen allerhöchsten Beifall!" und er nickte zufrieden und betrachtete den leeren Webstuhl; "Oh, es ist sehr hübsch", sagte er;'] Prediction: ['Ein Mann hat einen allerhöchsten Beifall und nickte zufrieden und betrachtete den leeren Webstuhl.\n"Oh, es ist sehr hübsch", sagte er.'] Label: [['Dabei zeigt er zufrieden auf die leeren Webstühle.\nGute Arbeit!“ Er überlegt und sagt dann: „Die Stoffe sind tatsächlich sehr schön.']] Sacrebleu: {'score': 2.257394309242011, 'counts': [7, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [25.925925925925927, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.25925925925925924, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0384615384615385, 'translation_length': 27, 'reference_length': 26} Rouge: {'rouge1': 0.2127659574468085, 'rouge2': 0.0, 'rougeL': 0.1276595744680851, 'rougeLsum': 0.1702127659574468} Sari: {'sari': 34.27755819060167} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['Tauge ich nicht dazu, Kaiser zu sein?'] Prediction: ['Im Interview mit 20 Minuten spricht der Comedian über die Welt und die Welt.\nIm Interview spricht er über die Welt und die Welt.'] Label: [['Kann ein Dummkopf Kaiser sein?']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 26, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.333333333333333, 'translation_length': 26, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 46.18055555555555} Flesh Reading Ease: 86.1 ---------------------------------------- Source: ['Bin ich dumm?'] Prediction: ['Im Interview mit 20 Minuten spricht über die Welt und die Welt.\nWas das nicht nur?\nWas hat der Chef die Welt bekannt?'] Label: [['Bin ich denn ein Dummkopf?']] Sacrebleu: {'score': 1.4445809981770859, 'counts': [1, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [3.8461538461538463, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.038461538461538464, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.333333333333333, 'translation_length': 26, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 45.83333333333333} Flesh Reading Ease: 102.1 ---------------------------------------- Source: ['Das ist ja erschrecklich!'] Prediction: ['Im Interview mit 20 Minuten spricht der Comedian über die Welt und die Welt.\nIm Interview spricht er über die Welt und die Welt.'] Label: [['Das darf nicht sein!']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 26, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.2, 'translation_length': 26, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 54.99999999999999} Flesh Reading Ease: 86.1 ---------------------------------------- Source: ['ich sehe gar nichts!'] Prediction: ['Die Welt ist ein Paar, der nicht mehr nach der Vergangenheit ist.\nAber auch die Welt ist nicht mehr.\nAber auch die Welt ist eigentlich nicht mehr.'] Label: [['Ich sehe keine Stoffe!\nWas ist denn hier los?']] Sacrebleu: {'score': 1.199348129252962, 'counts': [1, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [3.225806451612903, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.03225806451612903, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8181818181818183, 'translation_length': 31, 'reference_length': 11} Rouge: {'rouge1': 0.05555555555555555, 'rouge2': 0.0, 'rougeL': 0.05555555555555555, 'rougeLsum': 0.05555555555555555} Sari: {'sari': 43.64130434782609} Flesh Reading Ease: 100.8 ---------------------------------------- Source: [",Was!' dachte der Kaiser;"] Prediction: ['Im Interview mit der "Morning Show" mit Host Stefanie über ihre Welt und ihre Frauen, die ihre Liebeszeit im TV schreiben.\nIm Interview spricht der Comedian über ihre Welt und ihre Frauen, die sich über ihre Leidenschaft bekommen.'] Label: [['Nanu?, denkt der Kaiser.']] Sacrebleu: {'score': 1.0952083604308251, 'counts': [3, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [6.818181818181818, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.06818181818181818, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.285714285714286, 'translation_length': 44, 'reference_length': 7} Rouge: {'rouge1': 0.04761904761904762, 'rouge2': 0.0, 'rougeL': 0.04761904761904762, 'rougeLsum': 0.04761904761904762} Sari: {'sari': 54.704585537918874} Flesh Reading Ease: 61.55 ---------------------------------------- Source: ['"Ja, ist das nicht prächtig?" sagten die beiden ehrlichen Staatsmänner.'] Prediction: ['Die beiden ehrlichen Staatsmänner haben sich in einem Interview mit einem "prächtigen" Gestalt geführt.\nSie sind über ihre Erkrankungen zu haben.'] Label: [['Wie schön die Formen und Farben sind!“ Wir haben die Wahrheit gesagt.\nDie beiden sagen: „Seht ihr?']] Sacrebleu: {'score': 3.787865612579481, 'counts': [5, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1363636363636365, 'translation_length': 25, 'reference_length': 22} Rouge: {'rouge1': 0.1904761904761905, 'rouge2': 0.049999999999999996, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.1904761904761905} Sari: {'sari': 42.53360215053763} Flesh Reading Ease: 58.35 ---------------------------------------- Source: ['Mit einer ganzen Schar auserwählter Männer, unter denen auch die beiden ehrlichen Staatsmänner waren, die schon früher dagewesen, ging er zu den beiden listigen Betrügern hin, die nun aus allen Kräften webten, aber ohne Faser oder Faden.'] Prediction: ['Ein aus allen Kräften ging aus einer ganzen Schar auserwählter Männer hin.\nDiese ging aus allen Kräften aus, ohne Faser oder Faden.'] Label: [['Auch die beiden Minister sind dabei, die schon einmal hier waren.\nAlle Minister und Diener begleiten ihn.']] Sacrebleu: {'score': 1.9822566267103439, 'counts': [3, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [12.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.12, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 25, 'reference_length': 20} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 31.538520426091583} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['Nun wollte der Kaiser es selbst sehen, während es noch auf dem Webstuhl sei.'] Prediction: ['Ein Webstuhl wurde von einem Kaiser aufgefunden.\nDer Kaiser wollte es selbst sehen.'] Label: [['Davon will sich der Kaiser nun selbst überzeugen.']] Sacrebleu: {'score': 3.4585921141027356, 'counts': [3, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [20.0, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 15, 'reference_length': 9} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.10526315789473685, 'rougeL': 0.2857142857142857, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 49.91987179487179} Flesh Reading Ease: 68.2 ---------------------------------------- Source: ['"Ja, es ist ganz allerliebst!" sagte er zum Kaiser.'] Prediction: ['Ein Kaiser hat sich mit seiner Frau ganz allerliebst bekommen.\n"Ja, es ist ganz allerliebst!"\nsagte er zum Kaiser.'] Label: [['„Sie sind wirklich prächtig!“ Er sagt zum Kaiser sogar:']] Sacrebleu: {'score': 3.333744983027298, 'counts': [3, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [12.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.12, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0833333333333335, 'translation_length': 25, 'reference_length': 12} Rouge: {'rouge1': 0.20689655172413793, 'rouge2': 0.07407407407407407, 'rougeL': 0.20689655172413793, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 38.4453781512605} Flesh Reading Ease: 85.95 ---------------------------------------- Source: ['Daher lobte er das Zeug, das er nicht sah, und versicherte ihnen seine Freude über die schönen Farben und das herrliche Muster.'] Prediction: ['Ein Mann hatte in einem schönen Muster schwer verletzt.\nEr lobte ihn das Zeug, das er nicht sah, und versicherte ihnen seine Freude über die schönen Farben.'] Label: [['Dem Kaiser berichtet er, dass auch die neuen Stoffe sehr schön sind.']] Sacrebleu: {'score': 1.696134390396339, 'counts': [4, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [12.903225806451612, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.12903225806451613, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2142857142857144, 'translation_length': 31, 'reference_length': 14} Rouge: {'rouge1': 0.14285714285714288, 'rouge2': 0.0, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.14285714285714288} Sari: {'sari': 35.714285714285715} Flesh Reading Ease: 72.9 ---------------------------------------- Source: ["Das wäre seltsam genug, aber das muß man sich nicht merken lassen!' es ist also mein gutes Amt, zu dem ich nicht tauge! ,Dumm bin ich nicht', dachte der Mann;"] Prediction: ['Ein Mann hat sich in der Nacht auf Sonntag nicht merken lassen.\nDiese war seltsam genug, aber das muß man sich nicht merken lassen!\nDiese war seltsam genug, aber das muß man sich nicht merken lassen!'] Label: [['Ich darf mir nichts anmerken lassen, denkt er.\nWird er bald kein Minister mehr sein?\nIst er dumm?']] Sacrebleu: {'score': 1.1784531110724779, 'counts': [3, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [7.317073170731708, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.07317073170731707, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8636363636363635, 'translation_length': 41, 'reference_length': 22} Rouge: {'rouge1': 0.037037037037037035, 'rouge2': 0.0, 'rougeL': 0.037037037037037035, 'rougeLsum': 0.037037037037037035} Sari: {'sari': 34.077532829829224} Flesh Reading Ease: 86.1 ---------------------------------------- Source: ['weil aber außer dem Webstuhl nichts da war, so konnte er nichts sehen. es ging ihm aber gerade wie dem ersten, er guckte und guckte;'] Prediction: ['Ein Mann hatte einen Webstuhl aufgefunden.\nEr guckte und guckte.\nDas ging ihm aber gerade wie dem ersten.'] Label: [['Aber auch der zweite Minister sieht nichts.']] Sacrebleu: {'score': 1.8160849415439309, 'counts': [1, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [4.761904761904762, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.047619047619047616, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.625, 'translation_length': 21, 'reference_length': 8} Rouge: {'rouge1': 0.08, 'rouge2': 0.0, 'rougeL': 0.08, 'rougeLsum': 0.08} Sari: {'sari': 34.66269841269842} Flesh Reading Ease: 80.4 ---------------------------------------- Source: ['Der Kaiser sandte bald wieder einen anderen tüchtigen Staatsmann hin, um zu sehen, wie es mit dem Weben stehe und ob das Zeug bald fertig sei;'] Prediction: ['Ein anderer tüchtigen Staatsmann hat einen anderen tüchtigen Staatsmann hin, um zu sehen, wie es mit dem Weben stehe.\nOb das Zeug bald fertig sei, ist unklar.'] Label: [['Er will wissen, ob die Kleider endlich fertig sind.\nDann schickt der Kaiser einen anderen Minister in die Weberei zu den beiden Männern.']] Sacrebleu: {'score': 3.1731768853938878, 'counts': [7, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [21.875, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.21875, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2307692307692308, 'translation_length': 32, 'reference_length': 26} Rouge: {'rouge1': 0.18867924528301888, 'rouge2': 0.0392156862745098, 'rougeL': 0.11320754716981132, 'rougeLsum': 0.18867924528301888} Sari: {'sari': 34.661159918512865} Flesh Reading Ease: 72.9 ---------------------------------------- Source: ['Sie steckten alles in ihre eigenen Taschen, auf den Webstuhl kam kein Faden, aber sie fuhren fort, wie bisher an den leeren Stühlen zu arbeiten.'] Prediction: ['Eine Frau hat sich mit ihren Webstuhl für einen leeren Stühlen arbeiten.\nSie fuhren fort, wie bisher an den leeren Stühlen zu arbeiten.'] Label: [['Die Webstühle bleiben leer.\nDenn sie weben überhaupt keinen Stoff.\nDas Geld verschwindet aber wieder einfach in ihren Taschen.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1818181818181819, 'translation_length': 26, 'reference_length': 22} Rouge: {'rouge1': 0.08695652173913043, 'rouge2': 0.0, 'rougeL': 0.043478260869565216, 'rougeLsum': 0.08695652173913043} Sari: {'sari': 33.43140459845266} Flesh Reading Ease: 74.9 ---------------------------------------- Source: ['Nun verlangten die Betrüger mehr Geld, mehr Seide und mehr Gold zum Weben.'] Prediction: ['Nun verlangten die Betrüger mehr Geld, mehr Seide und mehr Gold zum Weben.\nDie Betrüger verlangten mehr Geld, mehr Seide und mehr Gold zum Weben.'] Label: [['Sie brauchen nämlich noch mehr teure Stoffe für die Kleider.\nJetzt möchten die Betrüger noch mehr Geld vom Kaiser.']] Sacrebleu: {'score': 4.1858747270392405, 'counts': [7, 2, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [24.137931034482758, 7.142857142857143, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.2413793103448276, 0.07142857142857142, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.380952380952381, 'translation_length': 29, 'reference_length': 21} Rouge: {'rouge1': 0.27999999999999997, 'rouge2': 0.12499999999999997, 'rougeL': 0.24, 'rougeLsum': 0.24} Sari: {'sari': 39.819182389937104} Flesh Reading Ease: 79.75 ---------------------------------------- Source: ['Der alte Minister merkte gut auf, damit er dasselbe sagen könne, wenn er zum Kaiser zurückkomme, und das tat er auch.'] Prediction: ['Der alte Minister der Kaiser hat sich geschlossen.\nDer Kaiser tat er auch auch auch auch auch auf.'] Label: [['Damit er dem Kaiser alles genau erzählen kann.\nDer alte Minister hört aufmerksam zu.']] Sacrebleu: {'score': 9.74812453975988, 'counts': [7, 3, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 15.789473684210526, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.35, 0.15789473684210525, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 20, 'reference_length': 16} Rouge: {'rouge1': 0.29411764705882354, 'rouge2': 0.125, 'rougeL': 0.17647058823529413, 'rougeLsum': 0.29411764705882354} Sari: {'sari': 57.58055953708128} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['"Nun, das freut uns!" sagten beide Weber, und darauf benannten sie die Farben mit Namen und erklärten das seltsame Muster.'] Prediction: ['Weber und Weber haben sich mit einem seltsame Muster geschickt.\nDie beiden haben sich mit Namen und erklärten das seltsame Muster.'] Label: [['Sie beschreiben die Stoffe in allen Einzelheiten.\nDie Betrüger nicken zufrieden.']] Sacrebleu: {'score': 3.644667088679882, 'counts': [3, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [13.043478260869565, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.13043478260869565, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7692307692307692, 'translation_length': 23, 'reference_length': 13} Rouge: {'rouge1': 0.05882352941176471, 'rouge2': 0.0, 'rougeL': 0.05882352941176471, 'rougeLsum': 0.05882352941176471} Sari: {'sari': 35.9508547008547} Flesh Reading Ease: 64.2 ---------------------------------------- Source: ['– Ja, ich werde dem Kaiser sagen, daß es mir sehr gefällt!" "Dieses Muster und diese Farben!'] Prediction: ['Im Podcast "Unchained" diskutieren die besten Fragen der Radio-Section der 20-Minuten-App, bei Spotify und TuneIn.\nNeue Episoden und Podcast-Hosts, die ihre Leistungen bewegen.\nNeue Episoden und Episoden, die auf Spotify und Apple Podcasts sowie auf iTunes sowie TuneIn.'] Label: [['Ich werde das dem Kaiser mitteilen.“ „Diese Formen, diese Farben, wunderbar!']] Sacrebleu: {'score': 1.0009398039350847, 'counts': [3, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [6.25, 1.0638297872340425, 0.5434782608695652, 0.2777777777777778], 'bp': 1.0, 'sys_len': 48, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 48, 'reference_length': 16} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 48.38978015448603} Flesh Reading Ease: 44.45 ---------------------------------------- Source: ['"Oh, es ist niedlich, ganz allerliebst!" antwortete der alte Minister und sah durch seine Brille.'] Prediction: ['Der alte Minister der deutschen Staaten hat sich am Mittwochabend geschlossen.\nEr sah durch seine Brille.'] Label: [['„Oh, alles sehr schön!“, sagt der Minister schnell.']] Sacrebleu: {'score': 2.8265205879007453, 'counts': [3, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [16.666666666666668, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3846153846153846, 'translation_length': 18, 'reference_length': 13} Rouge: {'rouge1': 0.16, 'rouge2': 0.0, 'rougeL': 0.16, 'rougeLsum': 0.16} Sari: {'sari': 35.3896103896104} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['" fragte der eine von den Webern. "Nun, Sie sagen nichts dazu?'] Prediction: ['Die Schweizer Schweizerin und der Schweizerin sind seit Jahren nicht mehr gefährlich.\nSie sind nicht mehr gefährlich, sondern sie sind nicht mehr gefährlich.'] Label: [['„Sie sagen ja gar nichts“, meint der andere Betrüger.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3636363636363638, 'translation_length': 26, 'reference_length': 11} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.0, 'rougeL': 0.05555555555555555, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 63.82575757575758} Flesh Reading Ease: 74.9 ---------------------------------------- Source: ['Das habe ich nie geglaubt, und das darf kein Mensch wissen!'] Prediction: ['Ein Mann hat sich in der Nacht auf Sonntag in Zürich nicht gefasst.\nDas hatte er nie geglaubt, und das darf kein Mensch wissen.'] Label: [['O weh, das darf niemand wissen!']] Sacrebleu: {'score': 3.300809119141885, 'counts': [4, 1, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [14.814814814814815, 3.8461538461538463, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.14814814814814814, 0.038461538461538464, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.375, 'translation_length': 27, 'reference_length': 8} Rouge: {'rouge1': 0.1935483870967742, 'rouge2': 0.06896551724137931, 'rougeL': 0.1935483870967742, 'rougeLsum': 0.1935483870967742} Sari: {'sari': 34.50025960539979} Flesh Reading Ease: 91.95 ---------------------------------------- Source: ["Dann zeigten sie auf den leeren Stuhl, und der arme, alte Minister fuhr fort, die Augen aufzureißen, aber er konnte nichts sehen, denn es war nichts da. ,Herr Gott', dachte er, sollte ich dumm sein?"] Prediction: ['Der Minister fuhr fort, die Augen aufzureißen, aber er konnte nichts sehen, denn es war nichts da.\nDer Minister fuhr fort, die Augen aufzureißen, aber er konnte nichts sehen, denn es war nichts da.'] Label: [['Ich bin also dumm, denkt der Minister.\nDer alte Minister schaut hin, sieht aber nichts.']] Sacrebleu: {'score': 2.54389214461475, 'counts': [9, 1, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [21.428571428571427, 2.4390243902439024, 1.25, 0.6410256410256411], 'bp': 1.0, 'sys_len': 42, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.024390243902439025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.210526315789474, 'translation_length': 42, 'reference_length': 19} Rouge: {'rouge1': 0.23529411764705882, 'rouge2': 0.04081632653061224, 'rougeL': 0.23529411764705882, 'rougeLsum': 0.23529411764705882} Sari: {'sari': 36.23454429572976} Flesh Reading Ease: 75.25 ---------------------------------------- Source: ['Beide Betrüger baten ihn näher zu treten und fragten, ob es nicht ein hübsches Muster und schöne Farben seien.'] Prediction: ['Ein Mann wurde in der Nähe des Betrügers in der Nähe des Kantons Bern aufgefunden.\nDer Mann batte nicht ein hübsches Muster und schöne Farben.\nDer Betrüger batte ihn näher zu treten und fragte, ob es nicht ein hübsches Muster und schöne Farben seien.'] Label: [['Und was halten Sie von dem Muster, von den Formen?“ „Sind die Farben nicht schön?\n„Kommen Sie nur näher“, sagt einer von den Betrügern.']] Sacrebleu: {'score': 1.137287189899225, 'counts': [5, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [10.416666666666666, 1.0638297872340425, 0.5434782608695652, 0.2777777777777778], 'bp': 1.0, 'sys_len': 48, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.10416666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 48, 'reference_length': 30} Rouge: {'rouge1': 0.22499999999999998, 'rouge2': 0.025641025641025644, 'rougeL': 0.1, 'rougeLsum': 0.17499999999999996} Sari: {'sari': 37.407407407407405} Flesh Reading Ease: 71.7 ---------------------------------------- Source: ['Aber das sagte er nicht.'] Prediction: ['Ein Mann hatte in der Nacht auf Sonntag seine Frau aufgefunden.\nEr sagte, dass er nicht mehr gefasst wurde.'] Label: [['Doch das sagt er natürlich nicht laut.']] Sacrebleu: {'score': 2.2731543567022867, 'counts': [3, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [13.636363636363637, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.13636363636363635, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 22, 'reference_length': 8} Rouge: {'rouge1': 0.14814814814814814, 'rouge2': 0.0, 'rougeL': 0.14814814814814814, 'rougeLsum': 0.14814814814814814} Sari: {'sari': 52.083333333333336} Flesh Reading Ease: 82.75 ---------------------------------------- Source: [",Ich kann ja nichts erblicken!' ,Gott behüte uns!' dachte der alte Minister und riß die Augen auf. Nun ging der alte, gute Minister in den Saal hinein, wo die zwei Betrüger saßen und an den leeren Webstühlen arbeiteten."] Prediction: ['Der alte, gute Minister in den Saal hatte sich am Sonntagabend geschlossen.\nEr wurde von einem alten, gute Minister gewesen.\nNun ging er alte, gute Minister in den Saal hinein.'] Label: [['Du lieber Himmel, denkt er, ich sehe nichts!\nAls der alte Minister die Weberei betritt, ist der Schreck groß.']] Sacrebleu: {'score': 1.6677796333413761, 'counts': [7, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [19.444444444444443, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.19444444444444445, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 36, 'reference_length': 24} Rouge: {'rouge1': 0.163265306122449, 'rouge2': 0.0425531914893617, 'rougeL': 0.12244897959183673, 'rougeLsum': 0.163265306122449} Sari: {'sari': 36.064456244662196} Flesh Reading Ease: 70.55 ---------------------------------------- Source: [",Ich will meinen alten, ehrlichen Minister zu den Webern senden', dachte der Kaiser, er kann am besten beurteilen, wie der Stoff sich ausnimmt, denn er hat Verstand, und keiner versieht sein Amt besser als er!'"] Prediction: ['Der Kaiser will seinen alten, ehrlichen Minister zu den Webern senden.\nDer Kaiser hat Verstand, keiner versieht sein Amt besser als er.'] Label: [['Zur Sicherheit schickt er erst einen alten, weisen Minister in die Weberei.']] Sacrebleu: {'score': 3.632928877985223, 'counts': [5, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [19.23076923076923, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.19230769230769232, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 26, 'reference_length': 14} Rouge: {'rouge1': 0.1764705882352941, 'rouge2': 0.0, 'rougeL': 0.11764705882352942, 'rougeLsum': 0.1764705882352941} Sari: {'sari': 37.925569800569804} Flesh Reading Ease: 75.4 ---------------------------------------- Source: [",Nun möchte ich doch wissen, wie weit sie mit dem Zeuge sind!' dachte der Kaiser, aber es war ihm beklommen zumute, wenn er daran dachte, daß keiner, der dumm sei oder schlecht zu seinem Amte tauge, es sehen könne."] Prediction: ['Ein bisschenfachlicher Kaiser hatte sich mit dem Zeuge geschickt.\nDer Kaiser hatte sich dabei beklommen, wenn er daran dachte, wenn er daran dachte, daß keiner, der dumm sei oder schlecht zu seinem Amte tauge, es sehen könne.'] Label: [['Denn wer dumm ist, kann die Stoffe nicht sehen.\nDoch dann zweifelt der Kaiser.\nSollte er nicht mal nachschauen?\nWie weit sind wohl die Weber mit seinen Kleidern?\nNach einiger Zeit wird der Kaiser neugierig.']] Sacrebleu: {'score': 1.4798457061600891, 'counts': [10, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [22.727272727272727, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.22727272727272727, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0731707317073171, 'translation_length': 44, 'reference_length': 41} Rouge: {'rouge1': 0.21917808219178084, 'rouge2': 0.028169014084507043, 'rougeL': 0.10958904109589042, 'rougeLsum': 0.21917808219178084} Sari: {'sari': 34.7722465989043} Flesh Reading Ease: 67.9 ---------------------------------------- Source: ['Trotzdem verlangten sie die feinste Seide und das prächtigste Gold, das steckten sie aber in ihre eigene Tasche und arbeiteten an den leeren Stühlen bis spät in die Nacht hinein.'] Prediction: ['Seide und Gold verlangten sich in ihre eigene Tasche.\nSie arbeiten an den leeren Stühlen hinein.'] Label: [['So sitzen sie Tag und Nacht an den leeren Webstühlen.\nAber die Betrüger tun so, als würden sie fleißig arbeiten.']] Sacrebleu: {'score': 7.484348244150438, 'counts': [7, 2, 1, 0], 'totals': [18, 17, 16, 15], 'precisions': [38.888888888888886, 11.764705882352942, 6.25, 3.3333333333333335], 'bp': 0.7574651283969664, 'sys_len': 18, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.3888888888888889, 0.11764705882352941, 0.0625, 0.0], 'brevity_penalty': 0.7574651283969664, 'length_ratio': 0.782608695652174, 'translation_length': 18, 'reference_length': 23} Rouge: {'rouge1': 0.34146341463414637, 'rouge2': 0.10256410256410256, 'rougeL': 0.24390243902439027, 'rougeLsum': 0.34146341463414637} Sari: {'sari': 42.17948717948718} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Sie stellten auch zwei Webstühle auf, taten, als ob sie arbeiteten, aber sie hatten nicht das geringste auf dem Stuhle.'] Prediction: ['Eine Frau hat auf einem Stuhle eine Webstühle gesprochen.\nSie stellten auch zwei Webstühle auf, als ob sie arbeiteten, aber sie hatten nicht das geringste auf dem Stuhle.'] Label: [['Die beiden Webstühle sind leer!\nAber eines ist seltsam: Damit können sie feine Stoffe wie Seide weben.\nSie setzen sich an ihre Webstühle.']] Sacrebleu: {'score': 3.0532163871777716, 'counts': [6, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [18.75, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1851851851851851, 'translation_length': 32, 'reference_length': 27} Rouge: {'rouge1': 0.25, 'rouge2': 0.07407407407407408, 'rougeL': 0.17857142857142855, 'rougeLsum': 0.25} Sari: {'sari': 36.616809116809115} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ["' Er gab den beiden Betrügern viel Handgeld, damit sie ihre Arbeit beginnen sollten."] Prediction: ['Ein Schweizer hatte sich mit einem Handgeld in der Schweiz geäussert.\nEr gab den beiden Betrügern viel Handgeld.'] Label: [['Sie sollen Stoffe weben und Kleider für den Kaiser machen.\nEr gibt den beiden Webern viel Geld.\nDer Kaiser lässt die beiden Weber zu sich kommen.']] Sacrebleu: {'score': 3.971465000169439, 'counts': [7, 2, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 10.526315789473685, 2.7777777777777777, 1.4705882352941178], 'bp': 0.6376281516217733, 'sys_len': 20, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.35, 0.10526315789473684, 0.0, 0.0], 'brevity_penalty': 0.6376281516217733, 'length_ratio': 0.6896551724137931, 'translation_length': 20, 'reference_length': 29} Rouge: {'rouge1': 0.25, 'rouge2': 0.043478260869565216, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.20833333333333331} Sari: {'sari': 42.232142857142854} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ["Ja, das Zeug muß sogleich für mich gewebt werden! wenn ich solche hätte, könnte ich ja dahinterkommen, welche Männer in meinem Reiche zu dem Amte, das sie haben, nicht taugen, ich könnte die Klugen von den Dummen unterscheiden! ,Das wären ja prächtige Kleider', dachte der Kaiser;"] Prediction: ['Ein Zeug muß könnte sogleich für mich gewebt werden!\nwenn ich solche hätte, könnte ich ja dahinterkommen, welche Männer in meinem Reiche zu dem Amte, das sie haben, nicht taugen, ich könnte die Klugen von den Dummen unterscheiden!'] Label: [['Dann kann ich zum Beispiel dumme Minister entlassen.\nWenn ich die Kleider trage, sehe ich sofort, wer dumm ist.\nDiese Kleider muss ich haben, denkt er.\nAuch der Kaiser hört davon.']] Sacrebleu: {'score': 2.299610409863684, 'counts': [8, 1, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [17.77777777777778, 2.272727272727273, 1.1627906976744187, 0.5952380952380952], 'bp': 1.0, 'sys_len': 45, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.17777777777777778, 0.022727272727272728, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1842105263157894, 'translation_length': 45, 'reference_length': 38} Rouge: {'rouge1': 0.18421052631578946, 'rouge2': 0.027027027027027025, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.18421052631578946} Sari: {'sari': 32.88297952958785} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ['Die Farben und das Muster seien nicht allein ungewöhnlich schön, sondern die Kleider, die von dem Zeuge genäht würden, sollten die wunderbare Eigenschaft besitzen, daß sie für jeden Menschen unsichtbar seien, der nicht für sein Amt tauge oder der unverzeihlich dumm sei.'] Prediction: ['Der Farben und das Muster seien nicht allein ungewöhnlich schön.\nDie Kleider, die von dem Zeuge genäht würden, sollten die wunderbare Eigenschaft besitzen.'] Label: [['Weil sie für dumme Menschen unsichtbar sind.\nDie Kleider sind etwas ganz Besonderes, sagen sie.\n„Und daraus machen wir die schönsten Kleider.“']] Sacrebleu: {'score': 6.143498010483918, 'counts': [6, 2, 1, 0], 'totals': [27, 26, 25, 24], 'precisions': [22.22222222222222, 7.6923076923076925, 4.0, 2.0833333333333335], 'bp': 1.0, 'sys_len': 27, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.07692307692307693, 0.04, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 27, 'reference_length': 27} Rouge: {'rouge1': 0.19607843137254902, 'rouge2': 0.04081632653061224, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.19607843137254902} Sari: {'sari': 34.22523675946867} Flesh Reading Ease: 57.35 ---------------------------------------- Source: ['An jedem Tag kamen viele Fremde an, und eines Tages kamen auch zwei Betrüger, die gaben sich für Weber aus und sagten, daß sie das schönste Zeug, was man sich denken könne, zu weben verstanden.'] Prediction: ['Weber hat einen schönsten Zeug, der sich denken könne, auf dem sich denken könne.\nDie Fremde waren viele aus dem Netz ausgebrochen.\nDie Betrüger gaben sich für Weber aus und sagten, daß sie das schönste Zeug, was man sich denken könne, zu weben verstanden.'] Label: [['„Wir können die schönsten Stoffe weben“, erzählen sie in der Stadt herum.\nSie sagen, dass sie Weber sind.\nEines Tages kommen auch zwei Betrüger in die Stadt.']] Sacrebleu: {'score': 1.2452888669937787, 'counts': [10, 0, 0, 0], 'totals': [52, 51, 50, 49], 'precisions': [19.23076923076923, 0.9803921568627451, 0.5, 0.25510204081632654], 'bp': 1.0, 'sys_len': 52, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.19230769230769232, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.625, 'translation_length': 52, 'reference_length': 32} Rouge: {'rouge1': 0.2682926829268293, 'rouge2': 0.05, 'rougeL': 0.1219512195121951, 'rougeLsum': 0.2439024390243902} Sari: {'sari': 31.805833988803183} Flesh Reading Ease: 77.55 ---------------------------------------- Source: ['In der großen Stadt, in der er wohnte, ging es sehr munter her.'] Prediction: ['In der Stadt in Bern ging es sehr munter her.\nIn der großen Stadt ging es sehr munter her.'] Label: [['Viele Menschen besuchen die Stadt.\nDer Kaiser wohnt in einer großen Stadt.']] Sacrebleu: {'score': 4.780204393760627, 'counts': [6, 1, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [28.571428571428573, 5.0, 2.6315789473684212, 1.3888888888888888], 'bp': 1.0, 'sys_len': 21, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.05, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 21, 'reference_length': 14} Rouge: {'rouge1': 0.3636363636363637, 'rouge2': 0.12903225806451615, 'rougeL': 0.30303030303030304, 'rougeLsum': 0.3636363636363637} Sari: {'sari': 39.94708994708995} Flesh Reading Ease: 100.3 ---------------------------------------- Source: ['"Der Kaiser ist in der Garderobe!" Er hatte einen Rock für jede Stunde des Tages, und ebenso wie man von einem König sagte, er ist im Rat, so sagte man hier immer:'] Prediction: ['"Der Kaiser ist in der Garderobe!"\nhatte der Kaiser für jede Stunde des Tages.\nEr ist im Rat, so sagte man hier immer.'] Label: [['„Er zieht sich gerade um!“ Die Antwort lautet dann immer: „Wo ist der Kaiser?“ Manchmal fragt jemand: Jeden Tag zieht er sich zehnmal um.']] Sacrebleu: {'score': 3.161117848554904, 'counts': [6, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [20.689655172413794, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 0.9333588643117228, 'sys_len': 29, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.20689655172413793, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 0.9333588643117227, 'length_ratio': 0.9354838709677419, 'translation_length': 29, 'reference_length': 31} Rouge: {'rouge1': 0.20833333333333334, 'rouge2': 0.043478260869565216, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.20833333333333334} Sari: {'sari': 36.113068963391335} Flesh Reading Ease: 84.55 ---------------------------------------- Source: ['Vor vielen Jahren lebte ein Kaiser, der so ungeheuer viel auf neue Kleider hielt, daß er all sein Geld dafür ausgab, um recht geputzt zu sein.'] Prediction: ['Ein Kaiser hat vor vielen Jahren sein Geld ausgegeben, um recht geputzt zu sein.\nDas hat er bereits vor vielen Jahren zu sehen, als er sich auf neue Kleider hielt.'] Label: [['Er gibt dafür viel Geld aus.\nDer Kaiser liebt schöne, neue Kleider.\nIn einem schönen Land lebt ein eitler Kaiser.']] Sacrebleu: {'score': 2.977665307178987, 'counts': [7, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [20.58823529411765, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.20588235294117646, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4166666666666667, 'translation_length': 34, 'reference_length': 24} Rouge: {'rouge1': 0.22641509433962265, 'rouge2': 0.0392156862745098, 'rougeL': 0.11320754716981132, 'rougeLsum': 0.22641509433962265} Sari: {'sari': 35.60548722800378} Flesh Reading Ease: 83.1 ---------------------------------------- Source: ['Des Kaisers neue Kleider.'] Prediction: ['Die Schweizer Schweizer Schweizerinnen und Schweizer haben ihre neue Kleider geschickt.\nSie sind ein Paar und sind ein Paar.'] Label: [['Neue Kleider für den Kaiser.']] Sacrebleu: {'score': 2.159701133933343, 'counts': [2, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [9.523809523809524, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.09523809523809523, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 21, 'reference_length': 6} Rouge: {'rouge1': 0.16, 'rouge2': 0.08695652173913045, 'rougeL': 0.16, 'rougeLsum': 0.16} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 82.75 ---------------------------------------- Source: ['Und wirklich, am anderen Morgen kam ein Wagen herangefahren, mit acht weißen Pferden bespannt, die hatten weiße Straußfedern auf dem Kopf und gingen in goldenen Ketten. Er erzählte ihr, er wäre von einer bösen Hexe verwünscht worden, und niemand hätte ihn aus dem Brunnen erlösen können als sie allein, und morgen wollten sie mitsammen in sein Reich gehen.'] Prediction: ['Am Wagen wurde ein Pfer von einer bösen Hexe verwünscht.\nEr wäre von einer bösen Hexe verwünscht worden, und niemand hätte ihn aus dem Brunnen erlösen können als sie allein.'] Label: [['Sie fahren zusammen in das Land, in dem der Königs-Sohn lebt.\nDie Königs-Tochter und der Königs-Sohn steigen ein.\nAm nächsten Tag kommt eine Kutsche mit acht weißen Pferden.\nUnd nur sie, die schönste Königs-Tochter, konnte ihn retten.\nDer Königs-Sohn erzählt, dass er von einer bösen Hexe verzaubert wurde.']] Sacrebleu: {'score': 4.647105932918124, 'counts': [14, 3, 2, 1], 'totals': [33, 32, 31, 30], 'precisions': [42.42424242424242, 9.375, 6.451612903225806, 3.3333333333333335], 'bp': 0.48322508118982543, 'sys_len': 33, 'ref_len': 57} Bleu: {'bleu': 0.04647105932918124, 'precisions': [0.42424242424242425, 0.09375, 0.06451612903225806, 0.03333333333333333], 'brevity_penalty': 0.48322508118982543, 'length_ratio': 0.5789473684210527, 'translation_length': 33, 'reference_length': 57} Rouge: {'rouge1': 0.27722772277227725, 'rouge2': 0.08080808080808081, 'rougeL': 0.13861386138613863, 'rougeLsum': 0.2376237623762376} Sari: {'sari': 38.46618973025065} Flesh Reading Ease: 71.4 ---------------------------------------- Source: ['Als er aber herabfiel, war er kein Frosch mehr, sondern ein Königssohn mit schönen freundlichen Augen.'] Prediction: ['Ein Königssohn hat schönen freundliche Augen.\nAls er aber herabfiel, war er kein Frosch mehr, sondern ein Königssohn mit schönen freundlichen Augen.'] Label: [['Er hat ein freundliches Gesicht.\nAber dann ... steht plötzlich ein Königs-Sohn im Zimmer.']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4444444444444444, 'translation_length': 26, 'reference_length': 18} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.05, 'rougeL': 0.1904761904761905, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 37.6940133037694} Flesh Reading Ease: 69.55 ---------------------------------------- Source: ['Da wurde sie bitterböse, holte ihn herauf und warf ihn gegen die Wand.'] Prediction: ['Eine Frau wurde bitterböse, warf ihn gegen die Wand.\nSie warf ihn gegen die Wand.'] Label: [['Sie nimmt den Frosch und wirft ihn an die Wand.\nDie Königs-Tochter wird wütend.']] Sacrebleu: {'score': 9.507244120026236, 'counts': [6, 2, 1, 0], 'totals': [18, 17, 16, 15], 'precisions': [33.333333333333336, 11.764705882352942, 6.25, 3.3333333333333335], 'bp': 1.0, 'sys_len': 18, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.11764705882352941, 0.0625, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.125, 'translation_length': 18, 'reference_length': 16} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.06451612903225808, 'rougeL': 0.24242424242424243, 'rougeLsum': 0.30303030303030304} Sari: {'sari': 43.62012987012987} Flesh Reading Ease: 78.9 ---------------------------------------- Source: ['Als sie aber im Bette lag, kam er gekrochen und sprach: »Ich will schlafen so gut wie du.'] Prediction: ['Ein Schweizer hatte am Sonntagabend eine schwierige Frau gekrochen.\nDer Mann will schlafen so gut wie du.'] Label: [['„Ich will in deinem Bett schlafen“, sagt er.\nAber der Frosch kriecht zu ihr hin.\nDann legt sie sich ins Bett.']] Sacrebleu: {'score': 1.9428574714033409, 'counts': [3, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 0.729212952525235, 'sys_len': 19, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.0, 0.0, 0.0], 'brevity_penalty': 0.729212952525235, 'length_ratio': 0.76, 'translation_length': 19, 'reference_length': 25} Rouge: {'rouge1': 0.15789473684210528, 'rouge2': 0.0, 'rougeL': 0.10526315789473684, 'rougeLsum': 0.15789473684210528} Sari: {'sari': 33.79120879120879} Flesh Reading Ease: 77.9 ---------------------------------------- Source: ['Da packte sie den Frosch mit zwei Fingern, trug ihn hinauf in ihr Kämmerlein und setzte ihn dort in eine Ecke.'] Prediction: ['Ein Mann hatte sich in eine Ecke mit zwei Fingern gefunden.\nDabei trug ihn hinauf in ihr Kämmerlein.\nDie Finger trug ihn hinauf in ihr Kämmerlein.'] Label: [['Das Mädchen nimmt den Frosch mit zwei Fingern und setzt ihn in eine Ecke von ihrem Zimmer.']] Sacrebleu: {'score': 8.65593943882835, 'counts': [8, 4, 2, 0], 'totals': [29, 28, 27, 26], 'precisions': [27.586206896551722, 14.285714285714286, 7.407407407407407, 1.9230769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.27586206896551724, 0.14285714285714285, 0.07407407407407407, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6111111111111112, 'translation_length': 29, 'reference_length': 18} Rouge: {'rouge1': 0.30434782608695654, 'rouge2': 0.1818181818181818, 'rougeL': 0.21739130434782608, 'rougeLsum': 0.21739130434782608} Sari: {'sari': 40.35476914939682} Flesh Reading Ease: 83.55 ---------------------------------------- Source: ['Der König aber wurde zornig und sprach: »Wer dir geholfen hat, als du in Not warst, den sollst du hernach nicht verachten!«'] Prediction: ['Ein König hat in Not warst, als du in Not warst, den sollst du hernach nicht verachten.\nDer König sprach: Wer dir geholfen hat, als du in Not warst, den sollst du hernach nicht verachten!'] Label: [['Aber der König sagt: „Der Frosch hat dir geholfen, als dein Ball weg war.']] Sacrebleu: {'score': 2.9374336289654015, 'counts': [8, 2, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [19.047619047619047, 4.878048780487805, 1.25, 0.6410256410256411], 'bp': 1.0, 'sys_len': 42, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.19047619047619047, 0.04878048780487805, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4705882352941178, 'translation_length': 42, 'reference_length': 17} Rouge: {'rouge1': 0.2692307692307693, 'rouge2': 0.12, 'rougeL': 0.23076923076923078, 'rougeLsum': 0.2692307692307693} Sari: {'sari': 40.396356996584785} Flesh Reading Ease: 86.45 ---------------------------------------- Source: ['« Die Königstochter fing an zu weinen und fürchtete sich vor dem kalten Frosch, den sie sich nicht anzurühren getraute und der nun in ihrem schönen, reinen Bettlein schlafen sollte.'] Prediction: ['Eine Königstochter fing an zu weinen und fürchtete sich vor dem kalten Frosch, den sie sich nicht anzurühren.\nDie Königstochter wurde nun in ihrem schönen, reinen Bettlein schlafen.'] Label: [['Die Königs-Tochter beginnt zu weinen.']] Sacrebleu: {'score': 2.7588924449082466, 'counts': [4, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [12.5, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.333333333333333, 'translation_length': 32, 'reference_length': 6} Rouge: {'rouge1': 0.2, 'rouge2': 0.10526315789473684, 'rougeL': 0.15000000000000002, 'rougeLsum': 0.2} Sari: {'sari': 36.19658119658119} Flesh Reading Ease: 66.55 ---------------------------------------- Source: ['Nun trag mich in dein Kämmerlein und mach dein seidenes Bettlein zurecht! »Ich habe mich satt gegessen und bin müde.'] Prediction: ['Ein Bettlein ist in ein Kämmerlein in der Schweiz.\nDie Frau hatte sich sich gegessen und bin müde.'] Label: [['Danach will der Frosch mit in ihr Zimmer, um in ihrem Bett zu schlafen.']] Sacrebleu: {'score': 2.7076576267554477, 'counts': [4, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [20.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 20, 'reference_length': 16} Rouge: {'rouge1': 0.1764705882352941, 'rouge2': 0.0, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.11764705882352941} Sari: {'sari': 37.46031746031746} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ["Der Frosch ließ sich's gut schmecken, ihr aber blieb fast jeder Bissen im Halse stecken. »Nun schieb mir dein goldenes Tellerlein näher, damit wir mitsammen essen können.«"] Prediction: ['Der Frosch ist ein goldenes Tellerlein.\nDer Frosch ist seit einigen Tagen im Halse.\nIm Interview spricht er über seine richtigsten Tellerleistungen.'] Label: [['So eklig findet sie den Frosch.\nAber sie selbst will jetzt nichts mehr essen.\nSie lässt ihn von ihrem Teller essen.\nDarum nimmt sie den Frosch und setzt ihn auf den Tisch.']] Sacrebleu: {'score': 1.4505492997811975, 'counts': [5, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.6440364210831414, 'sys_len': 25, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6440364210831414, 'length_ratio': 0.6944444444444444, 'translation_length': 25, 'reference_length': 36} Rouge: {'rouge1': 0.07272727272727272, 'rouge2': 0.0, 'rougeL': 0.07272727272727272, 'rougeLsum': 0.07272727272727272} Sari: {'sari': 52.501168770453475} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ['Dort blieb er sitzen und rief: »Heb mich hinauf zu dir!« Sie zauderte, bis es endlich der König befahl.'] Prediction: ['Ein König hat eine Frau aufgefordert, die ihn hinauf zu dir.\nDer König blieb daraufhin sitzen und rief: Die Frau zauderte, bis es endlich der König befahl.'] Label: [['Die Königs-Tochter will das nicht, aber der König blickt sie streng an.\n„Heb mich hoch“, sagt der Frosch.']] Sacrebleu: {'score': 3.1731768853938878, 'counts': [7, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [21.875, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.21875, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4545454545454546, 'translation_length': 32, 'reference_length': 22} Rouge: {'rouge1': 0.23529411764705882, 'rouge2': 0.08163265306122448, 'rougeL': 0.19607843137254902, 'rougeLsum': 0.19607843137254902} Sari: {'sari': 35.83505866114562} Flesh Reading Ease: 72.9 ---------------------------------------- Source: ['Sie ging und öffnete die Tür.'] Prediction: ['Eine Frau öffnete die Tür.\nSie öffnete die Tür.'] Label: [['Das Mädchen öffnet die Tür und lässt den Frosch herein.']] Sacrebleu: {'score': 8.29519350710986, 'counts': [3, 1, 0, 0], 'totals': [11, 10, 9, 8], 'precisions': [27.272727272727273, 10.0, 5.555555555555555, 3.125], 'bp': 1.0, 'sys_len': 11, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.2727272727272727, 0.1, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 11, 'reference_length': 11} Rouge: {'rouge1': 0.24999999999999994, 'rouge2': 0.1818181818181818, 'rougeL': 0.24999999999999994, 'rougeLsum': 0.24999999999999994} Sari: {'sari': 38.888888888888886} Flesh Reading Ease: 81.9 ---------------------------------------- Source: ['Da sagte der König: »Was du versprochen hast, das mußt du auch halten!'] Prediction: ['Ein kleiner König hat eine Frau aufgefunden, die sie auch halten.\nDie Frau war dabei, dass sie sich auch halten habe.'] Label: [['„Du musst immer das tun, was du versprochen hast, mein Kind.“ „Tja“, sagt der König.']] Sacrebleu: {'score': 2.252278368576829, 'counts': [5, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1904761904761905, 'translation_length': 25, 'reference_length': 21} Rouge: {'rouge1': 0.10526315789473685, 'rouge2': 0.05555555555555555, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.10526315789473685} Sari: {'sari': 29.40875790875791} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['Königstochter, jüngste, mach mir auf!«'] Prediction: ['Immer mehr Frauen, die ihre Frauen auf ihren Mann aufgehen, werfen sie ihren Mann auf.\nDas war ein Paar, der sie sich aufgehen hat.\nDie Frauen haben ihre Freunde aufgefordert, ihre Frauen zu schützen.'] Label: [['Lass mich herein!“']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 41, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 8.2, 'translation_length': 41, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 56.94444444444445} Flesh Reading Ease: 75.1 ---------------------------------------- Source: ['Weißt du nicht, was gestern Du zu mir gesagt bei dem kühlen Brunnenwasser?'] Prediction: ['Du ist ein Brunnenwasser?\nDer Brunnenwasser ist nicht mehr gefunden.\nDer Brunnenwasser ist nicht mehr gefunden.'] Label: [['Du hast mir gestern etwas versprochen.']] Sacrebleu: {'score': 2.4074859035470344, 'counts': [2, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [10.526315789473685, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7142857142857144, 'translation_length': 19, 'reference_length': 7} Rouge: {'rouge1': 0.09090909090909091, 'rouge2': 0.0, 'rougeL': 0.09090909090909091, 'rougeLsum': 0.09090909090909091} Sari: {'sari': 51.77489177489177} Flesh Reading Ease: 69.4 ---------------------------------------- Source: ['»Königstochter, jüngste, mach mir auf!'] Prediction: ['Im Interview mit 20 Minuten spricht der Schweizer über ihre Frage.\nIm Interview spricht er über ihre Frage, die sich über ihre Frage zu verhindern.'] Label: [['„Jüngste Königs-Tochter, mach mir auf.']] Sacrebleu: {'score': 1.5880117714047368, 'counts': [2, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [7.142857142857143, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 28, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 24.72222222222222} Flesh Reading Ease: 73.9 ---------------------------------------- Source: ['Da klopfte es zum zweiten Mal, und eine Stimme rief:'] Prediction: ['Im Sommer 2020 wurde ein Schweizer mit dem Virus ausgebrochen.\nDas klopfte es zum zweiten Mal.'] Label: [['Da klopft der Frosch wieder an die Tür:']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 18, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 18, 'reference_length': 9} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 30.952380952380953} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['»Ach, nein«, antwortete sie, »es ist kein Riese, sondern ein garstiger Frosch.«'] Prediction: ['Im Interview mit 20 Minuten spricht sich über einen Riesen.\nIm Interview spricht sie über ihre Riese und ihre Fakten.'] Label: [['„Nein, mein Vater, es ist ein ekliger und gruseliger Frosch“, antwortet das Mädchen.']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2941176470588236, 'translation_length': 22, 'reference_length': 17} Rouge: {'rouge1': 0.058823529411764705, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.058823529411764705} Sari: {'sari': 58.969907407407405} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Steht etwa ein Riese vor der Tür und will dich holen?«'] Prediction: ['Im Interview mit 20 Minuten spricht über die Frage, die sich im Interview mit der 20-Minuten-App über die Frage und die Frage zu verhindern.\nIm Interview spricht über die Frage und die Frage, die sich über die Tage zu verhindern.'] Label: [['„Steht ein Riese vor der Tür?“']] Sacrebleu: {'score': 0.7947529289544674, 'counts': [1, 0, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [2.1739130434782608, 1.1111111111111112, 0.5681818181818182, 0.29069767441860467], 'bp': 1.0, 'sys_len': 46, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.021739130434782608, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.75, 'translation_length': 46, 'reference_length': 8} Rouge: {'rouge1': 0.04081632653061224, 'rouge2': 0.0, 'rougeL': 0.04081632653061224, 'rougeLsum': 0.04081632653061224} Sari: {'sari': 24.91161616161616} Flesh Reading Ease: 66.4 ---------------------------------------- Source: ['Der König sah wohl, daß ihr das Herz gewaltig klopfte, und sprach: »Mein Kind, was fürchtest du dich?'] Prediction: ['Der König ist ein Kind, der ihr Herz gewaltig klopfte.\nDer König ist ein Paar, der ihr das Herz gewaltig klopfte.\nDer König ist ein Paar, der ihr Kind fürchtest du dich.'] Label: [['„Was hast du, meine Tochter?“, fragt der König.']] Sacrebleu: {'score': 1.5167145487126126, 'counts': [6, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [15.789473684210526, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.923076923076923, 'translation_length': 38, 'reference_length': 13} Rouge: {'rouge1': 0.17777777777777776, 'rouge2': 0.09302325581395347, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 39.5006980372834} Flesh Reading Ease: 93.25 ---------------------------------------- Source: ['Da warf sie die Tür hastig zu, setzte sich wieder an den Tisch, und es war ihr ganz ängstlich zumute.'] Prediction: ['Eine Frau warf sie die Tür hastig zu, setzte sich wieder an den Tisch.\nSie war ihr ganz ängstlich zumute.'] Label: [['Sie zittert vor Angst.\nSchnell schlägt sie die Tür wieder zu und geht zurück an den Tisch.']] Sacrebleu: {'score': 16.692486522015717, 'counts': [11, 5, 3, 1], 'totals': [23, 22, 21, 20], 'precisions': [47.82608695652174, 22.727272727272727, 14.285714285714286, 5.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 19} Bleu: {'bleu': 0.16692486522015718, 'precisions': [0.4782608695652174, 0.22727272727272727, 0.14285714285714285, 0.05], 'brevity_penalty': 1.0, 'length_ratio': 1.2105263157894737, 'translation_length': 23, 'reference_length': 19} Rouge: {'rouge1': 0.4878048780487805, 'rouge2': 0.25641025641025644, 'rougeL': 0.3902439024390244, 'rougeLsum': 0.4390243902439024} Sari: {'sari': 43.95328273869847} Flesh Reading Ease: 88.1 ---------------------------------------- Source: ['Als sie aber aufmachte, saß der Frosch vor der Tür.'] Prediction: ['Eine Frau aufmachte sich auf dem Frosch und wurde dabei aufgefunden.\nSie war dabei, dass sie aber aufmachte.'] Label: [['Da sieht sie den ekligen Frosch.']] Sacrebleu: {'score': 2.3901021968803136, 'counts': [3, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [14.285714285714286, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 21, 'reference_length': 7} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 47.222222222222214} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Sie lief und wollte sehen, wer draußen wäre.'] Prediction: ['Eine Frau wollte sich in der Nacht auf Sonntag draußen.\nSie lief und wollte sehen, wer draußen wäre.'] Label: [['Das Mädchen öffnet die Tür.']] Sacrebleu: {'score': 1.8160849415439309, 'counts': [1, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [4.761904761904762, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.047619047619047616, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 21, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.848484848484844} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['»Königstochter, jüngste, mach mir auf«'] Prediction: ['Im Interview mit 20 Minuten spricht der Schweizer über ihre Frage.\nIm Interview spricht er über ihre Frage.'] Label: [['Eine Stimme sagt: „Jüngste Königs-Tochter, mach mir auf.“']] Sacrebleu: {'score': 1.9146030690102511, 'counts': [1, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [5.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.05, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 20, 'reference_length': 12} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.50757575757575} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Als es oben angelangt war, klopfte es an die Tür und rief. Am andern Tag, als sie sich mit dem König und allen Hofleuten zur Tafel gesetzt hatte und eben von ihrem goldenen Tellerlein aß, da kam, plitsch platsch, plitsch platsch, etwas die Marmortreppe heraufgekrochen.'] Prediction: ['Am andern Tag hatte sich eine Frau von ihrem goldenen Tellerlein aus dem Hofleuten zur Tafel gesetzt.\nAls sie sich mit dem König und allen Hofleuten zur Tafel gesetzt hatte, plitsch platsch, plitsch platsch, etwas die Marmortreppe heraufgekrochen.'] Label: [['Da klopft es an die Tür.\nSie essen von goldenen Tellern.\nAm nächsten Tag sind der König, die Königin und die sechs Töchter im großen Speise-Saal.']] Sacrebleu: {'score': 1.5155302454113846, 'counts': [10, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [23.25581395348837, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.23255813953488372, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4333333333333333, 'translation_length': 43, 'reference_length': 30} Rouge: {'rouge1': 0.24999999999999994, 'rouge2': 0.02857142857142857, 'rougeL': 0.16666666666666669, 'rougeLsum': 0.24999999999999994} Sari: {'sari': 32.013101536911066} Flesh Reading Ease: 61.55 ---------------------------------------- Source: ['Sie hörte nicht darauf, eilte nach Hause und hatte den Frosch bald vergessen.'] Prediction: ['Eine Frau hatte den Frosch bald vergessen.\nSie hatte den Frosch bald vergessen.'] Label: [['Aber die Königs-Tochter hört ihn nicht.']] Sacrebleu: {'score': 2.627961710408444, 'counts': [1, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [6.666666666666667, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.142857142857143, 'translation_length': 15, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.14351851851852} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['»Warte, warte!« rief der Frosch.'] Prediction: ['Immer mehr als eine Woche später wäre es in der Schweiz.\nDie Schweizerin hatte sich mit einem ähnlichen Vorfall geschickt.\nDie Schweizerin hatte sich mit einem ähnlichen Vorfall geschickt.'] Label: [['„Warte, warte“, ruft der Frosch.']] Sacrebleu: {'score': 1.3794462224541233, 'counts': [2, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [6.25, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 32, 'reference_length': 8} Rouge: {'rouge1': 0.05555555555555555, 'rouge2': 0.0, 'rougeL': 0.05555555555555555, 'rougeLsum': 0.05555555555555555} Sari: {'sari': 41.567460317460316} Flesh Reading Ease: 70.85 ---------------------------------------- Source: ['Die Königstochter war voll Freude, als sie ihr schönes Spielzeug wiedererblickte, hob es auf und sprang damit fort.'] Prediction: ['Die Königstochter von Bayern München wurde am Sonntag von einem schönes Spielzeug gefunden.\nDie Spieler sprang damit fort.'] Label: [['Sie nimmt den Ball und rennt weg.\nDas Mädchen ist sehr froh.']] Sacrebleu: {'score': 2.276859592073037, 'counts': [2, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [10.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4285714285714286, 'translation_length': 20, 'reference_length': 14} Rouge: {'rouge1': 0.058823529411764705, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.058823529411764705} Sari: {'sari': 33.45959595959596} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Als der Frosch das Versprechen der Königstochter erhalten hatte, tauchte er seinen Kopf unter, sank hinab, und über ein Weilchen kam er wieder heraufgerudert, hatte die Kugel im Maul und warf sie ins Gras.'] Prediction: ['Ein Königstochter hat immer wieder einen Versprechen der Kugel gefunden.\nEr tauchte seinen Kopf unter, sank hinab, und über ein Weilchen kam er wieder heraufgerudert.'] Label: [['Er hat den Ball in seinem Maul.\nKurze Zeit später ist er zurück.\nDer Frosch springt ins Wasser.']] Sacrebleu: {'score': 1.9240848598265397, 'counts': [5, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [17.24137931034483, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.380952380952381, 'translation_length': 29, 'reference_length': 21} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.0, 'rougeL': 0.08695652173913043, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 33.77065695700005} Flesh Reading Ease: 62.2 ---------------------------------------- Source: ['»Ach, ja«, sagte sie, »ich verspreche dir alles, was du willst, wenn du mir nur die Kugel wiederbringst.'] Prediction: ['Eine Frau willst nur die Kugel wiederbringen.\nSie willst, wenn du mir nur die Kugel wiederbringst.'] Label: [['„Ich verspreche dir alles, wenn du mir nur den Ball bringst.“ „Oh, das ist gut“, sagt die Königs-Tochter sofort.']] Sacrebleu: {'score': 15.54285977122673, 'counts': [8, 4, 3, 2], 'totals': [19, 18, 17, 16], 'precisions': [42.10526315789474, 22.22222222222222, 17.647058823529413, 12.5], 'bp': 0.729212952525235, 'sys_len': 19, 'ref_len': 25} Bleu: {'bleu': 0.15542859771226727, 'precisions': [0.42105263157894735, 0.2222222222222222, 0.17647058823529413, 0.125], 'brevity_penalty': 0.729212952525235, 'length_ratio': 0.76, 'translation_length': 19, 'reference_length': 25} Rouge: {'rouge1': 0.27027027027027023, 'rouge2': 0.17142857142857143, 'rougeL': 0.27027027027027023, 'rougeLsum': 0.27027027027027023} Sari: {'sari': 42.222189042841215} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Aber wenn du mich liebhaben willst und ich dein Geselle und Spielkamerad sein darf, wenn ich an deinem Tischlein neben dir sitzen, von deinem goldenen Tellerlein essen, aus deinem Becherlein trinken, in deinem Bettlein schlafen darf, dann will ich hinuntersteigen und dir die goldene Kugel heraufholen.«'] Prediction: ['Ein Spielkamerad will die Spieler hinuntersteigen und dir die goldene Kugel heraufholen.\nAuf dem Spielkamerad will man sich liebhaben, wenn sich an deinem Tischlein neben dir sitzen, von deinem goldenen Tellerlein essen, aus deinem Becherlein trinken.'] Label: [['Ich will in deinem Bett schlafen.“ Ich will von deinem Teller essen und aus deinem Becher trinken.\nIch will mit dir spielen.\nIch will dein Freund sein.']] Sacrebleu: {'score': 3.7633156116070006, 'counts': [13, 3, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [31.70731707317073, 7.5, 1.2820512820512822, 0.6578947368421053], 'bp': 1.0, 'sys_len': 41, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.3170731707317073, 0.075, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.28125, 'translation_length': 41, 'reference_length': 32} Rouge: {'rouge1': 0.3492063492063492, 'rouge2': 0.06557377049180328, 'rougeL': 0.25396825396825395, 'rougeLsum': 0.3492063492063492} Sari: {'sari': 35.31831615943765} Flesh Reading Ease: 50.85 ---------------------------------------- Source: ['»Deine Kleider, deine Perlen und Edelsteine und deine goldene Krone, die mag ich nicht. Der Frosch antwortete:'] Prediction: ['Eine goldene Krone hat einen Frosch gefunden.\nDie Krone wurde von einem Foto gefunden.\nDie Kleider und der goldene Krone waren gefragt.'] Label: [['„Deine schönen Dinge will ich nicht.\n„Nein“, antwortet der Frosch.']] Sacrebleu: {'score': 2.1300733682208985, 'counts': [4, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [16.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.16, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9230769230769231, 'translation_length': 25, 'reference_length': 13} Rouge: {'rouge1': 0.12121212121212123, 'rouge2': 0.0, 'rougeL': 0.060606060606060615, 'rougeLsum': 0.12121212121212123} Sari: {'sari': 41.58976987924356} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ['Was du haben willst, lieber Frosch«, sagte sie, »meine Kleider, meine Perlen und Edelsteine, auch noch die goldene Krone, die ich trage.«'] Prediction: ['Eine Krone trägt von Kleider und Perlen.\nSie trägt von ihren Krone.\nDie Krone trägt von ihren Kleider und Perlen.'] Label: [['Auch meine goldene Krone gebe ich dir.“ Oder meine goldene Kette.\n„Du kannst meinen goldenen Armreif haben.\n„Ich gebe dir alles, was du willst, lieber Frosch“, sagt die Königs-Tochter froh.']] Sacrebleu: {'score': 1.213066252571753, 'counts': [4, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [17.391304347826086, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 0.5209121273117441, 'sys_len': 23, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5209121273117441, 'length_ratio': 0.6052631578947368, 'translation_length': 23, 'reference_length': 38} Rouge: {'rouge1': 0.07272727272727272, 'rouge2': 0.0, 'rougeL': 0.07272727272727272, 'rougeLsum': 0.07272727272727272} Sari: {'sari': 37.63123849330746} Flesh Reading Ease: 85.55 ---------------------------------------- Source: ['Aber was gibst du mir, wenn ich dein Spielzeug wieder heraufhole?« »Sei still und weine nicht«, antwortete der Frosch, »ich kann wohl Rat schaffen.'] Prediction: ['Der Frosch ist mit Rat schaffen.\nDer Frosch kann wohl Rat schaffen.'] Label: [['„Was bekomme ich, wenn ich das für dich mache?“ „Ich kann den Ball für dich holen“, antwortet der Frosch.']] Sacrebleu: {'score': 1.8296315734733615, 'counts': [3, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [21.428571428571427, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 0.48954165955695317, 'sys_len': 14, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.0, 0.0, 0.0], 'brevity_penalty': 0.48954165955695317, 'length_ratio': 0.5833333333333334, 'translation_length': 14, 'reference_length': 24} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.06451612903225806, 'rougeL': 0.12121212121212123, 'rougeLsum': 0.12121212121212123} Sari: {'sari': 37.1005291005291} Flesh Reading Ease: 103.8 ---------------------------------------- Source: ['»Ich weine über meine goldene Kugel, die mir in den Brunnen hinabgefallen ist.«'] Prediction: ['Immer mehr Menschen sind in den Brunnen gefallen.\nDie Welt ist über die goldene Kugel gekommen.'] Label: [['„Mein goldener Ball ist in den Teich gefallen.']] Sacrebleu: {'score': 6.423094863383858, 'counts': [5, 2, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [27.77777777777778, 11.764705882352942, 3.125, 1.6666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.11764705882352941, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 18, 'reference_length': 9} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.09090909090909091, 'rougeL': 0.25, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 53.144078144078144} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Sie sah sich um, woher die Stimme käme, da erblickte sie einen Frosch, der seinen dicken, häßlichen Kopf aus dem Wasser streckte.'] Prediction: ['Eine Frau hat sich in der Nacht auf Sonntag in Zürich einen Frosch gefunden.\nSie war dabei, dass sie einen dicken, häßlichen Kopf aus dem Wasser streckte.\nDie Frau war dabei, dass sie sich umwelt.'] Label: [['Er kriecht gerade aus dem Teich heraus.\nEs ist ein Frosch.']] Sacrebleu: {'score': 2.251889061850022, 'counts': [5, 1, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [12.195121951219512, 2.5, 1.2820512820512822, 0.6578947368421053], 'bp': 1.0, 'sys_len': 41, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.12195121951219512, 0.025, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1538461538461537, 'translation_length': 41, 'reference_length': 13} Rouge: {'rouge1': 0.125, 'rouge2': 0.04347826086956522, 'rougeL': 0.08333333333333334, 'rougeLsum': 0.125} Sari: {'sari': 38.35725677830941} Flesh Reading Ease: 86.4 ---------------------------------------- Source: ['»Was hast du nur, Königstochter?'] Prediction: ['Der Schweizer Königstochter hat einen neuen Frühling.\nDer Frühling ist nicht mehr immer wieder aufgefordert.\nIm Interview mit 20 Minuten spricht er über seine Frühlinge und seine Frau.'] Label: [['Warum bist du so traurig?“ „Königs-Tochter, was ist los?']] Sacrebleu: {'score': 1.199348129252962, 'counts': [1, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [3.225806451612903, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.03225806451612903, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3846153846153846, 'translation_length': 31, 'reference_length': 13} Rouge: {'rouge1': 0.09302325581395349, 'rouge2': 0.0, 'rougeL': 0.09302325581395349, 'rougeLsum': 0.09302325581395349} Sari: {'sari': 54.65686274509803} Flesh Reading Ease: 71.25 ---------------------------------------- Source: ['Als sie so klagte, rief ihr plötzlich jemand zu:'] Prediction: ['Eine Frau war mit ihrem Partner aufmerksam, als sie ihr plötzlich jemand zu klagt.\nAls sie so klagte, rief ihr plötzlich jemand zu.'] Label: [['Diese Stimme sagt: Da hört sie plötzlich eine Stimme.']] Sacrebleu: {'score': 1.826472886268134, 'counts': [3, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [11.11111111111111, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4545454545454546, 'translation_length': 27, 'reference_length': 11} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.058823529411764705, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 29.647435897435898} Flesh Reading Ease: 86.6 ---------------------------------------- Source: ['Da fing die Prinzessin an zu weinen und weinte immer lauter und konnte sich gar nicht trösten.'] Prediction: ['Prinzessin Elizabeth (95) hat sich in der Nacht auf Sonntag zu Gast gefeiert.\nDie beiden waren nicht mehr gefragt.\nSie fing sich an und weinte sich gar nicht trösten.'] Label: [['„Mein schöner Ball ist weg!“ Das Mädchen jammert und weint:']] Sacrebleu: {'score': 1.0885011049519644, 'counts': [1, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [2.9411764705882355, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.029411764705882353, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6153846153846154, 'translation_length': 34, 'reference_length': 13} Rouge: {'rouge1': 0.04761904761904761, 'rouge2': 0.0, 'rougeL': 0.04761904761904761, 'rougeLsum': 0.04761904761904761} Sari: {'sari': 33.22649572649573} Flesh Reading Ease: 88.4 ---------------------------------------- Source: ['Nun trug es sich einmal zu, daß die goldene Kugel der Königstochter nicht in die Händchen fiel, sondern auf die Erde schlug und gerade in den Brunnen hineinrollte.'] Prediction: ['Die goldene Kugel der Königstochter ist in den Brunnen hineinrollt.\nDer goldene Kugel trug es sich einmal zu, da sie auf die Erde schlug und gerade in den Brunnen hineinrollte.'] Label: [['Der goldene Ball fällt in einen Teich.\nAber ein Mal geht es schief.']] Sacrebleu: {'score': 2.9561645124389617, 'counts': [6, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [18.181818181818183, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2, 'translation_length': 33, 'reference_length': 15} Rouge: {'rouge1': 0.17777777777777778, 'rouge2': 0.046511627906976744, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.17777777777777778} Sari: {'sari': 36.96895424836601} Flesh Reading Ease: 65.55 ---------------------------------------- Source: ['Und wenn sie Langeweile hatte, nahm sie eine goldene Kugel, warf sie in die Höhe und fing sie wieder auf. Wenn nun der Tag recht heiß war, ging die jüngste Prinzessin hinaus in den Wald und setzte sich an den Rand des kühlen Brunnens.'] Prediction: ['Eine jüngste Prinzessin ging in den Wald und setzte sich an den Rand des kühlen Brunnens.\nLangeweile nahm eine goldene Kugel, fing sie wieder auf.\nLangeweile fing sie wieder auf.'] Label: [['Sie wirft ihn hoch und fängt ihn wieder auf.\nDie jüngste Königs-Tochter spielt mit einem kleinen Ball aus Gold.\nDiese Geschichte beginnt im Wald.']] Sacrebleu: {'score': 5.177813034788801, 'counts': [8, 2, 1, 0], 'totals': [34, 33, 32, 31], 'precisions': [23.529411764705884, 6.0606060606060606, 3.125, 1.6129032258064515], 'bp': 1.0, 'sys_len': 34, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.06060606060606061, 0.03125, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2592592592592593, 'translation_length': 34, 'reference_length': 27} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.06896551724137931, 'rougeL': 0.09999999999999999, 'rougeLsum': 0.26666666666666666} Sari: {'sari': 38.036807497997096} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Die jüngste von ihnen war so schön, daß die Sonne selber, die doch so vieles schon gesehen hat, sich verwundene, sooft sie ihr ins Gesicht schien.'] Prediction: ['Eine junge Frau war so schön, dass sie sich verwundene, wie sie ihr ins Gesicht schien schien.\nDie jüngste von ihnen war so schön, daß die Sonne selber, die doch so vieles schon gesehen hat, sich verwundene, sooft sie ihr ins Gesicht schien.'] Label: [['Aber die jüngste Tochter war die Schönste von allen.']] Sacrebleu: {'score': 1.1181458201080077, 'counts': [6, 0, 0, 0], 'totals': [51, 50, 49, 48], 'precisions': [11.764705882352942, 1.0, 0.5102040816326531, 0.2604166666666667], 'bp': 1.0, 'sys_len': 51, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.1, 'translation_length': 51, 'reference_length': 10} Rouge: {'rouge1': 0.2456140350877193, 'rouge2': 0.07272727272727272, 'rougeL': 0.1754385964912281, 'rougeLsum': 0.21052631578947367} Sari: {'sari': 36.49269058837743} Flesh Reading Ease: 76.6 ---------------------------------------- Source: ['In alten Zeiten, als das Wünschen noch geholfen hat, lebte einmal ein König, der hatte wunderschöne Töchter.'] Prediction: ['Ein König hatte wunderschöne Töchter.\nDer Wünschen hatte noch noch geholfen.'] Label: [['Alle seine Töchter waren schön.\nEs war einmal ... vor sehr langer Zeit ... in einem Land weit weg von hier ... ein König mit sechs Töchtern.']] Sacrebleu: {'score': 0.8042309658176904, 'counts': [4, 0, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [30.76923076923077, 4.166666666666667, 2.272727272727273, 1.25], 'bp': 0.18409420065330415, 'sys_len': 13, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.3076923076923077, 0.0, 0.0, 0.0], 'brevity_penalty': 0.18409420065330423, 'length_ratio': 0.37142857142857144, 'translation_length': 13, 'reference_length': 35} Rouge: {'rouge1': 0.23255813953488372, 'rouge2': 0.14634146341463417, 'rougeL': 0.18604651162790697, 'rougeLsum': 0.23255813953488372} Sari: {'sari': 38.425925925925924} Flesh Reading Ease: 63.35 ---------------------------------------- Source: ['Der Froschkönig oder der eiserne Heinrich.'] Prediction: ['Schweizer Fussballer Heinrich ist ein Fussballer.\nDer Schweizer ist ein Fussballer.\nEr ist ein Fussballer.'] Label: [['Der Froschkönig.']] Sacrebleu: {'score': 2.5540496664715904, 'counts': [2, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [11.11111111111111, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 3} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.0, 'translation_length': 18, 'reference_length': 3} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.0, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 50.0} Flesh Reading Ease: 75.55 ---------------------------------------- Source: ['Als ich sechs Jahre alt war, habe ich in einem Buch über den Urwald, das den Titel "Erlebte Geschichten" trug, das erste Mal ein wunderschönes Bild gesehen.'] Prediction: ['Ein Buch über den Urwald, das den Titel "Erlebte Geschichten" trug, hat ein wunderschönes Bild gesehen.\nDer Urwald war sechs Jahre alt.'] Label: [['Als ich sechs Jahre alt war, sah ich in ein Buch.\nDer Titel von dem Buch war „Wahre Geschichten“.']] Sacrebleu: {'score': 7.61223519170024, 'counts': [11, 3, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [39.285714285714285, 11.11111111111111, 3.8461538461538463, 2.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.39285714285714285, 0.1111111111111111, 0.038461538461538464, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2727272727272727, 'translation_length': 28, 'reference_length': 22} Rouge: {'rouge1': 0.42857142857142855, 'rouge2': 0.15, 'rougeL': 0.1904761904761905, 'rougeLsum': 0.42857142857142855} Sari: {'sari': 32.30466632220707} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['Im Buch hieß es: "Riesenschlangen verschlingen ihre Beute in einem Stück, ohne sie zu zerkauen.'] Prediction: ['Im Buch verschlingen Riesenschlangen ihre Beute in einem Stück.\nDie Beute verschlingen ihre Beute in einem Stück.'] Label: [['Sie frisst andere Tiere.\nSie verschlingt sie einfach.\nSie kaut nicht einmal!']] Sacrebleu: {'score': 2.4074859035470344, 'counts': [2, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [10.526315789473685, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2666666666666666, 'translation_length': 19, 'reference_length': 15} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.7962962962963} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['Danach können sie sich nicht mehr bewegen und halten sechs Monate lang Verdauungsschlaf."'] Prediction: ['Eine Frau hat sich in den vergangenen Tagen verletzt.\nSie halten sechs Monate lang Verdauungsschlaf.'] Label: [['Danach wartet sie sechs Monate.\nIn diesen sechs Monaten verdaut sie ihre Beute.']] Sacrebleu: {'score': 5.439330544349821, 'counts': [4, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [23.529411764705884, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 1.0, 'sys_len': 17, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.0625, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1333333333333333, 'translation_length': 17, 'reference_length': 15} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.07692307692307691, 'rougeL': 0.21428571428571427, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 41.15995115995116} Flesh Reading Ease: 67.2 ---------------------------------------- Source: ['Es zeigte eine Riesenschlange, die einen Elefanten verdaut.'] Prediction: ['Eine Riesenschlange zeigte einen Elefanten.\nEs wurde von einem Elefanten verdaut.'] Label: [['Es war eine Boa constrictor mit einem Elefanten im Bauch.']] Sacrebleu: {'score': 7.347053125977879, 'counts': [4, 1, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [30.76923076923077, 8.333333333333334, 4.545454545454546, 2.5], 'bp': 1.0, 'sys_len': 13, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.3076923076923077, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1818181818181819, 'translation_length': 13, 'reference_length': 11} Rouge: {'rouge1': 0.380952380952381, 'rouge2': 0.10526315789473685, 'rougeL': 0.28571428571428564, 'rougeLsum': 0.380952380952381} Sari: {'sari': 49.81481481481481} Flesh Reading Ease: 51.65 ---------------------------------------- Source: ['Dabei war auf meinem Bild gar kein Hut.'] Prediction: ['Ein Mann hat in der Nacht auf Sonntag kein Hut.\nDas war auf meinem Bild gar kein Hut.'] Label: [['Aber das war kein Hut.']] Sacrebleu: {'score': 7.658412276041004, 'counts': [4, 2, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [20.0, 10.526315789473685, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.10526315789473684, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3333333333333335, 'translation_length': 20, 'reference_length': 6} Rouge: {'rouge1': 0.3478260869565218, 'rouge2': 0.19047619047619047, 'rougeL': 0.3478260869565218, 'rougeLsum': 0.3478260869565218} Sari: {'sari': 47.922262922262924} Flesh Reading Ease: 106.65 ---------------------------------------- Source: ['Die Erwachsenen haben mir geraten, mich nicht mehr mit offenen oder geschlossenen Riesenschlangen zu beschäftigen, sondern mich stattdessen mehr für Geografie, Geschichte, Mathe und Grammatik zu interessieren.'] Prediction: ['Eine neue Studie von 20 Jahren ist auf dem Kippe der Schweizer Welt.\nSie werden für Geografie, Geschichte, Mathe und Grammatik verantwortlich gemacht.\nDie Erwachsenen haben ihr nicht mehr mit offenen oder geschlossenen Riesenschlangen zu beschäftigen, sondern mich stattdessen mehr für Geografie, Geschichte, Mathe und Grammatik zu interessieren.'] Label: [['Doch auch da haben die großen Leute gesagt, dass ich besser aufhören sollte zu zeichnen.\nSie fanden, dass ich besser rechnen und schreiben sollte.']] Sacrebleu: {'score': 1.8352486510152775, 'counts': [8, 1, 0, 0], 'totals': [56, 55, 54, 53], 'precisions': [14.285714285714286, 1.8181818181818181, 0.9259259259259259, 0.4716981132075472], 'bp': 1.0, 'sys_len': 56, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.01818181818181818, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 56, 'reference_length': 28} Rouge: {'rouge1': 0.12987012987012989, 'rouge2': 0.0, 'rougeL': 0.07792207792207793, 'rougeLsum': 0.1038961038961039} Sari: {'sari': 37.05941147073522} Flesh Reading Ease: 47.0 ---------------------------------------- Source: ['Wenn ich einen traf, der mir ein bisschen heller vorkam, dann testete ich ihn mit meiner Zeichnung Nr. 1, die ich immer bei mir trug.'] Prediction: ['Am Sonntagabend testete sich der Schweizer Nati-Star mit dem Zeichnungsstart.\nEr trug immer bei ihn, die ihn immer bei ihn trug.\nWir haben einen traf, der ihn ein bisschen heller vorkam, dann testete ich ihn mit meiner Zeichnung Nr.\n1.'] Label: [['Manchmal glaubte ich, dass einer davon klug war.\nDann zeigte ich ihm die Zeichnung.']] Sacrebleu: {'score': 1.2165013609501771, 'counts': [6, 0, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [12.76595744680851, 1.0869565217391304, 0.5555555555555556, 0.2840909090909091], 'bp': 1.0, 'sys_len': 47, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.1276595744680851, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.764705882352941, 'translation_length': 47, 'reference_length': 17} Rouge: {'rouge1': 0.14545454545454548, 'rouge2': 0.0, 'rougeL': 0.1090909090909091, 'rougeLsum': 0.14545454545454548} Sari: {'sari': 33.719397363465156} Flesh Reading Ease: 78.95 ---------------------------------------- Source: ['Aber immer erhielt ich die Antwort: "Es ist ein Hut."'] Prediction: ['Ein Hut in der Nähe von St. Gallen ist im Alter von 99 Jahren gestorben.\nDie Antworten sind noch unklar.'] Label: [['„Das ist ein Hut“, sagten sie immer.']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5555555555555554, 'translation_length': 23, 'reference_length': 9} Rouge: {'rouge1': 0.21428571428571427, 'rouge2': 0.07692307692307691, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 53.81944444444444} Flesh Reading Ease: 85.55 ---------------------------------------- Source: ['Und der Erwachsene war zufrieden, auf einen so vernünftigen Mann zu treffen.'] Prediction: ['Ein so vernünftiges Mann wurde in der Nähe des Bundesstaats Zürich vernünftigt.\nDer Mann war auf einen so vernünftigen Mann zu treffen.'] Label: [['Die großen Leute hielten mich immer für sehr vernünftig.']] Sacrebleu: {'score': 1.5732934811145336, 'counts': [1, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [4.166666666666667, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.041666666666666664, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4, 'translation_length': 24, 'reference_length': 10} Rouge: {'rouge1': 0.05128205128205128, 'rouge2': 0.0, 'rougeL': 0.05128205128205128, 'rougeLsum': 0.05128205128205128} Sari: {'sari': 34.848484848484844} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['So sprach ich weder von Riesenschlangen, noch vom Urwald oder von Sternen. Ich ließ mich auf ihn ein. Ich sprach über Bridge, Golf, über Politik und Krawatten.'] Prediction: ['Der Comedian Thurgauer ist ein Schweizer.\nEr wollte sich mit einem Unternehmen auf die Krawatten geben.\nSeine Welt ist noch unklar.'] Label: [['Ich sprach mit den Leuten dann immer über andere Dinge.\nDoch niemals über Schlangen.\nEs ging immer um Krawatten und um Politik.']] Sacrebleu: {'score': 2.2566106884746566, 'counts': [5, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [20.833333333333332, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 0.9591894571091382, 'sys_len': 24, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.20833333333333334, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9591894571091382, 'length_ratio': 0.96, 'translation_length': 24, 'reference_length': 25} Rouge: {'rouge1': 0.09302325581395349, 'rouge2': 0.0, 'rougeL': 0.09302325581395349, 'rougeLsum': 0.09302325581395349} Sari: {'sari': 51.95794222300282} Flesh Reading Ease: 67.7 ---------------------------------------- Source: ['So lebte ich allein, ohne jemanden, mit dem ich wirklich hätte sprechen können, bis ich vor sechs Jahren eine Panne in der Wüste Sahara hatte.'] Prediction: ['Eine Panne in der Wüste Sahara hatte vor sechs Jahren eine Panne.\nNun hatte sich der Mann allein gefunden, ohne jemanden, mit dem er wirklich hätte sprechen können, bis er sich allein lebte.'] Label: [['Viele Jahre wohnte ich allein.\nIch arbeitete als Pilot.\nIch lenkte kleine Flugzeuge.\nEines Tages flog ich über die Sahara-Wüste.\nDa fiel plötzlich mein Motor aus.\nIch stürzte über der Sahara ab.']] Sacrebleu: {'score': 1.4491339833989647, 'counts': [5, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [13.157894736842104, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.13157894736842105, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 38, 'reference_length': 38} Rouge: {'rouge1': 0.1388888888888889, 'rouge2': 0.02857142857142857, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.1388888888888889} Sari: {'sari': 30.462962962962965} Flesh Reading Ease: 64.05 ---------------------------------------- Source: ['Irgendetwas an meinem Motor war kaputt gegangen.'] Prediction: ['Ein Motor war kaputt gegangen.\nDer Motor war kaputt gegangen.'] Label: [['Der Motor war kaputt, aber ich lebte noch.']] Sacrebleu: {'score': 22.416933501922287, 'counts': [5, 3, 2, 1], 'totals': [12, 11, 10, 9], 'precisions': [41.666666666666664, 27.272727272727273, 20.0, 11.11111111111111], 'bp': 1.0, 'sys_len': 12, 'ref_len': 10} Bleu: {'bleu': 0.22416933501922287, 'precisions': [0.4166666666666667, 0.2727272727272727, 0.2, 0.1111111111111111], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 12, 'reference_length': 10} Rouge: {'rouge1': 0.4444444444444445, 'rouge2': 0.375, 'rougeL': 0.4444444444444445, 'rougeLsum': 0.4444444444444445} Sari: {'sari': 57.11700336700337} Flesh Reading Ease: 69.7 ---------------------------------------- Source: ['Und weil ich weder einen Mechaniker, noch Passagiere bei mir hatte, bereitete ich mich darauf vor, die schwierige Reparatur ganz allein vorzunehmen.'] Prediction: ['Ein Schweizer Mechaniker hatte sich in der Schweiz schwierig gewarnt.\nEr bereitete sich vor, die schwierige Reparatur ganz allein vorzunehmen.'] Label: [['Es gab nur keinen Menschen, der mir helfen konnte.']] Sacrebleu: {'score': 2.1671320168371846, 'counts': [3, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [13.043478260869565, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.13043478260869565, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.090909090909091, 'translation_length': 23, 'reference_length': 11} Rouge: {'rouge1': 0.06896551724137932, 'rouge2': 0.0, 'rougeL': 0.06896551724137932, 'rougeLsum': 0.06896551724137932} Sari: {'sari': 35.49428104575163} Flesh Reading Ease: 53.0 ---------------------------------------- Source: ['Am ersten Abend schlief ich im Sand ein, tausende Meilen entfernt von besiedeltem Gebiet.'] Prediction: ['Am ersten Abend schlief in der Nähe des Sonntags ein, tausende Meilen entfernt von besiedeltem Gebiet.\nIm Sand schlief ich im Sand ein, tausende Meilen entfernt von besiedeltem Gebiet.'] Label: [['In dieser Nacht schlief ich im Sand.']] Sacrebleu: {'score': 7.434360163166209, 'counts': [5, 3, 2, 1], 'totals': [33, 32, 31, 30], 'precisions': [15.151515151515152, 9.375, 6.451612903225806, 3.3333333333333335], 'bp': 1.0, 'sys_len': 33, 'ref_len': 8} Bleu: {'bleu': 0.07434360163166213, 'precisions': [0.15151515151515152, 0.09375, 0.06451612903225806, 0.03333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 4.125, 'translation_length': 33, 'reference_length': 8} Rouge: {'rouge1': 0.2702702702702703, 'rouge2': 0.17142857142857143, 'rougeL': 0.2702702702702703, 'rougeLsum': 0.2702702702702703} Sari: {'sari': 45.773809523809526} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['So könnt ihr euch vorstellen, wie überrascht ich war, als ich bei Sonnenaufgang von einer leisen, lustigen Stimme geweckt wurde.'] Prediction: ['Die Schweizer Welt hat am Sonnenaufgang eine leisen, lustigen Stimme geweckt.\nSo könnte der Mann euch vorstellen, wie überrascht ich war, als ich bei Sonnenaufgang von einer leisen, lustigen Stimme geweckt wurde.'] Label: [['Am nächsten Morgen wurde ich von einer Stimme geweckt.\nVor meiner Nase stand ein kleiner Mann.\nMitten in der Wüste!\nWer hätte so was erwartet?']] Sacrebleu: {'score': 5.394284505764231, 'counts': [10, 3, 1, 0], 'totals': [38, 37, 36, 35], 'precisions': [26.31578947368421, 8.108108108108109, 2.7777777777777777, 1.4285714285714286], 'bp': 1.0, 'sys_len': 38, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.2631578947368421, 0.08108108108108109, 0.027777777777777776, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3103448275862069, 'translation_length': 38, 'reference_length': 29} Rouge: {'rouge1': 0.32786885245901637, 'rouge2': 0.06779661016949153, 'rougeL': 0.19672131147540986, 'rougeLsum': 0.2950819672131148} Sari: {'sari': 42.12345840398588} Flesh Reading Ease: 58.7 ---------------------------------------- Source: ['Und die sagte: - "Bitte ... zeichne mir ein Schaf!"'] Prediction: ['Eine der beiden Frauen hatte ein Schaf.\nDie beiden Frauen zeichnen ihren Schaf.'] Label: [['„Zeichne mir ein Schaf“, sagte er.']] Sacrebleu: {'score': 3.1251907639724417, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.875, 'translation_length': 15, 'reference_length': 8} Rouge: {'rouge1': 0.21052631578947367, 'rouge2': 0.11764705882352941, 'rougeL': 0.21052631578947367, 'rougeLsum': 0.21052631578947367} Sari: {'sari': 50.43040293040293} Flesh Reading Ease: 79.9 ---------------------------------------- Source: ['- "Zeichne mir ein Schaf."'] Prediction: ['Im Interview mit 20 Minuten spricht über die Welt und die Welt.\nIm Interview spricht über die Welt und Welt.'] Label: [['Zeichne ein Schaf für mich.“']] Sacrebleu: {'score': 1.727223799216787, 'counts': [1, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [4.545454545454546, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.045454545454545456, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.142857142857143, 'translation_length': 22, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 47.976190476190474} Flesh Reading Ease: 93.95 ---------------------------------------- Source: ['So absurd es mir erschien, holte ich tausend Meilen entfernt von jeder Zivilisation meinen Farbstift hervor, ein Blatt Papier und einen Füller.'] Prediction: ['Immer mehr Meilen entfernt von jeder Zivilisation, ein Blatt Papier und einen Füller.\nImmer mehr Meilen, mehr Meilen entfernt von jeder Zivilisation, ein Blatt Papier und einen Füller.'] Label: [['Ich nahm meinen Stift und mein Papier.']] Sacrebleu: {'score': 1.4780822562194806, 'counts': [3, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [9.090909090909092, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.125, 'translation_length': 33, 'reference_length': 8} Rouge: {'rouge1': 0.10810810810810811, 'rouge2': 0.0, 'rougeL': 0.10810810810810811, 'rougeLsum': 0.05405405405405406} Sari: {'sari': 34.5959595959596} Flesh Reading Ease: 60.7 ---------------------------------------- Source: ['Ich will keinen Elefanten in einer Riesenschlage. Eine Riesenschlange ist sehr gefährlich und ein Elefant nimmt viel Platz weg. Bei mir ist es ganz klein. Ich brauche ein Schaf. Zeichne mir ein Schaf."'] Prediction: ['Am 23.\nApril startet die 20-Minuten-Radio-App "Unchained" mit Host Andrea Ferri.\nIm Interview mit Andrea spricht sie über ihre Riesenschlage und ihre Elefanten.\n"Unchained" hat sich über ihre Riesenschlage geführt.'] Label: [['„Eine Boa ist viel zu gefährlich!\nUnd ein Elefant ist viel zu groß!\nIch habe nicht viel Platz.\nIch brauche ein Schaf!“']] Sacrebleu: {'score': 0.918708060432945, 'counts': [1, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [2.5, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.025, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4814814814814814, 'translation_length': 40, 'reference_length': 27} Rouge: {'rouge1': 0.07017543859649121, 'rouge2': 0.0, 'rougeL': 0.035087719298245605, 'rougeLsum': 0.07017543859649121} Sari: {'sari': 28.856421356421354} Flesh Reading Ease: 58.85 ---------------------------------------- Source: ['Dieses ist schon sehr krank.'] Prediction: ['Der Schweizer Konzert ist am Freitagabend in der Nacht auf Sonntagabend in der Nacht auf Sonntagabend auf Sonntagabend geschützt.\nDer Schweizer Konzert ist sehr krank.'] Label: [['„Dieses Schaf ist krank“, sagte der kleine Mann.']] Sacrebleu: {'score': 1.826472886268134, 'counts': [3, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [11.11111111111111, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7, 'translation_length': 27, 'reference_length': 10} Rouge: {'rouge1': 0.1764705882352941, 'rouge2': 0.0, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.1764705882352941} Sari: {'sari': 48.14814814814814} Flesh Reading Ease: 79.75 ---------------------------------------- Source: ['Zeichne ein anderes." - "Das da ist zu alt.'] Prediction: ['Im Interview mit 20 Minuten spricht der Chef über die Welt und die Welt.\nEr wollte sich mit dem Chef zu tun.'] Label: [['„Dieses Schaf ist zu alt“, sagte er.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 24, 'reference_length': 9} Rouge: {'rouge1': 0.13793103448275862, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 54.986620251965526} Flesh Reading Ease: 98.8 ---------------------------------------- Source: ['Da ich meinen Motor endlich auseinander bauen wollte, schluderte ich ungeduldig dieses Bild hin:'] Prediction: ['Ein Auto wurde in der Nacht auseinandergebracht.\nDer Motor wurde auseinandergebracht.\nDer Mann schluderte das Bild hin und schluderte den Motor hin.'] Label: [['Meine Geduld war bald am Ende.\nDer Motor von meinem Flugzeug war kaputt.\nIch musste ihn doch reparieren.\nUngeduldig zeichnete ich ein Viereck.']] Sacrebleu: {'score': 5.880625201069279, 'counts': [5, 2, 1, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 8.333333333333334, 4.3478260869565215, 2.272727272727273], 'bp': 0.9231163463866358, 'sys_len': 25, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.08333333333333333, 0.043478260869565216, 0.0], 'brevity_penalty': 0.9231163463866358, 'length_ratio': 0.9259259259259259, 'translation_length': 25, 'reference_length': 27} Rouge: {'rouge1': 0.1333333333333333, 'rouge2': 0.046511627906976744, 'rougeL': 0.08888888888888888, 'rougeLsum': 0.1333333333333333} Sari: {'sari': 53.24491483122231} Flesh Reading Ease: 61.55 ---------------------------------------- Source: ['Und sagte: - "Das hier ist eine Kiste.'] Prediction: ['Im Interview mit 20 Minuten spricht der Chef über seine Kiste.\nEr sagte: "Das hier ist eine Kiste".'] Label: [['„Das ist eine Kiste“, sagte ich.']] Sacrebleu: {'score': 3.9164496650022476, 'counts': [4, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [17.391304347826086, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.875, 'translation_length': 23, 'reference_length': 8} Rouge: {'rouge1': 0.4166666666666667, 'rouge2': 0.1818181818181818, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 40.54487179487179} Flesh Reading Ease: 83.25 ---------------------------------------- Source: ['Das Schaf ist da drin."'] Prediction: ['Der Schaf ist da drin.\nDas Schaf ist da drin.'] Label: [['„Das Schaf ist darin.“']] Sacrebleu: {'score': 7.495553473355845, 'counts': [3, 1, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [25.0, 9.090909090909092, 5.0, 2.7777777777777777], 'bp': 1.0, 'sys_len': 12, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.09090909090909091, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 12, 'reference_length': 6} Rouge: {'rouge1': 0.4285714285714285, 'rouge2': 0.3333333333333333, 'rougeL': 0.4285714285714285, 'rougeLsum': 0.4285714285714285} Sari: {'sari': 41.66666666666667} Flesh Reading Ease: 116.5 ---------------------------------------- Source: ['- "Genauso wollte ich es!'] Prediction: ['Die Schweizerin María lebt mit ihrem Partner auf die Welt.\nSie war mit ihrem Partner auf die Welt.'] Label: [['„Das ist genau richtig!“, rief er glücklich.']] Sacrebleu: {'score': 1.9146030690102511, 'counts': [1, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [5.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.05, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8181818181818181, 'translation_length': 20, 'reference_length': 11} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 57.90043290043291} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['Glaubst Du, man braucht viel Gras für dieses Schaf?"'] Prediction: ['Du braucht viel Gras für dieses Schaf?"'] Label: [['„Glaubst du, ein Schaf frisst viel Gras?“, fragte er dann.']] Sacrebleu: {'score': 5.821935635427797, 'counts': [4, 1, 0, 0], 'totals': [9, 8, 7, 6], 'precisions': [44.44444444444444, 12.5, 7.142857142857143, 4.166666666666667], 'bp': 0.513417119032592, 'sys_len': 9, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.4444444444444444, 0.125, 0.0, 0.0], 'brevity_penalty': 0.513417119032592, 'length_ratio': 0.6, 'translation_length': 9, 'reference_length': 15} Rouge: {'rouge1': 0.4444444444444445, 'rouge2': 0.125, 'rougeL': 0.33333333333333326, 'rougeLsum': 0.33333333333333326} Sari: {'sari': 35.879629629629626} Flesh Reading Ease: 108.65 ---------------------------------------- Source: ['Der kleine Prinz stellte mir viele Fragen, aber schien meine zu überhören.'] Prediction: ['Prinzess Elizabeth (95) hat sich am Sonntagmorgen über ihre Fragen geschickt.\nSie schien meine zu überhören.\nSie schien meine zu überhören.'] Label: [['Der kleine Prinz antwortete nicht auf meine Fragen.\nMir stellte er aber sehr wohl Fragen.']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5294117647058822, 'translation_length': 26, 'reference_length': 17} Rouge: {'rouge1': 0.10526315789473685, 'rouge2': 0.0, 'rougeL': 0.052631578947368425, 'rougeLsum': 0.10526315789473685} Sari: {'sari': 27.638888888888886} Flesh Reading Ease: 73.55 ---------------------------------------- Source: ['- "Was ist dieses Ding?"'] Prediction: ['Im Interview mit 20 Minuten spricht über die Welt und die Welt im Interviews.\nIm Interview spricht über die Welt und Welt immer wieder zu sehen.'] Label: [['„Was ist das?“ „']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.666666666666667, 'translation_length': 28, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 55.952380952380956} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['Das ist mein Flugzeug."'] Prediction: ['Immer mehr Menschen sind in den Ferien in den Ferien.\nDas ist mein Flugzeug.'] Label: [['Mein Flugzeug.']] Sacrebleu: {'score': 4.891187874480726, 'counts': [2, 1, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [12.5, 6.666666666666667, 3.5714285714285716, 1.9230769230769231], 'bp': 1.0, 'sys_len': 16, 'ref_len': 3} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.333333333333333, 'translation_length': 16, 'reference_length': 3} Rouge: {'rouge1': 0.25, 'rouge2': 0.14285714285714288, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 49.30555555555555} Flesh Reading Ease: 85.25 ---------------------------------------- Source: ['Aber er rief: Du bist vom Himmel gefallen?"'] Prediction: ['Ein Mann hat in der Nacht auf Sonntag seine Frau gefeiert.\nDer Mann rief: "Du bist vom Himmel gefallen?"'] Label: [['„Dann bist du vom Himmel gefallen!“, rief er.']] Sacrebleu: {'score': 6.964541799727335, 'counts': [6, 2, 1, 0], 'totals': [24, 23, 22, 21], 'precisions': [25.0, 8.695652173913043, 4.545454545454546, 2.380952380952381], 'bp': 1.0, 'sys_len': 24, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.08695652173913043, 0.045454545454545456, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 24, 'reference_length': 12} Rouge: {'rouge1': 0.44444444444444436, 'rouge2': 0.16, 'rougeL': 0.2962962962962963, 'rougeLsum': 0.2962962962962963} Sari: {'sari': 42.87854030501089} Flesh Reading Ease: 88.6 ---------------------------------------- Source: ['Und der kleine Prinz brach in ein herzliches Lachen aus, das mich sehr verärgerte.'] Prediction: ['Prinzess Elizabeth brach in ein herzliches Lachen aus.\nDerzeit brach die kleine Prinz in ein herzliches Lachen aus.'] Label: [['Der Prinz lachte.']] Sacrebleu: {'score': 2.276859592073037, 'counts': [2, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [10.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 4} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.0, 'translation_length': 20, 'reference_length': 4} Rouge: {'rouge1': 0.09523809523809525, 'rouge2': 0.0, 'rougeL': 0.09523809523809525, 'rougeLsum': 0.09523809523809525} Sari: {'sari': 34.920634920634924} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Von welchem Planeten stammst du?"'] Prediction: ['Von welchem Planeten stammst du?"\nDer Grund: Die Corona-Pandemie.\nDer Grund: Die Methode.'] Label: [['„Von welchem Planeten?“']] Sacrebleu: {'score': 4.480836160121357, 'counts': [3, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 1.0, 'sys_len': 19, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.8, 'translation_length': 19, 'reference_length': 5} Rouge: {'rouge1': 0.35294117647058826, 'rouge2': 0.2666666666666667, 'rougeL': 0.35294117647058826, 'rougeLsum': 0.35294117647058826} Sari: {'sari': 40.71428571428572} Flesh Reading Ease: 70.4 ---------------------------------------- Source: ['- "Du stammst also von einem anderen Planeten?"'] Prediction: ['Im Interview mit 20 Minuten spricht der Schweizer über seine Welt und seine Welt.\nIm Interview spricht er über seine Welt und seine Welt.'] Label: [['Von welchem Planeten kommst du?“, fragte ich.']] Sacrebleu: {'score': 1.4445809981770859, 'counts': [1, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [3.8461538461538463, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.038461538461538464, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3636363636363638, 'translation_length': 26, 'reference_length': 11} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 55.793650793650784} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['Aber er antwortete mir nicht.'] Prediction: ['Ein Mann hatte sich in der Nacht auf Sonntag in die Schweiz verantworten.\nEr wurde dabei nicht verantwortet.\nNun hat er sich geschützt.'] Label: [['Doch der kleine Prinz sagte nicht, woher er kam.']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3636363636363638, 'translation_length': 26, 'reference_length': 11} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.0, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 67.3076923076923} Flesh Reading Ease: 84.55 ---------------------------------------- Source: ['Er holte das Schaf aus seiner Tasche und bewunderte lange Zeit seinen Schatz.'] Prediction: ['Ein Mann hatte sich mit seinem Schaf aus seiner Tasche geschwundert.\nEr wurde dabei verletzt.'] Label: [['Er betrachtete die Zeichnung, die ich für ihn gemacht hatte.']] Sacrebleu: {'score': 3.0098043843528286, 'counts': [3, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [17.647058823529413, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4166666666666667, 'translation_length': 17, 'reference_length': 12} Rouge: {'rouge1': 0.15384615384615383, 'rouge2': 0.0, 'rougeL': 0.07692307692307691, 'rougeLsum': 0.15384615384615383} Sari: {'sari': 38.377192982456144} Flesh Reading Ease: 78.9 ---------------------------------------- Source: ['- "Das Gute an der Kiste, die du mir gegeben hast, ist, dass sie ihm als Haus dienen wird in der Nacht."'] Prediction: ['Im Interview mit 20 Minuten spricht sich über die Welt und ihre Gute.\nDie beiden werden in der Nacht auf dem 20.\nJuli veröffentlicht.\nDie beiden werden in der Nacht auf dem 20.\nJuli veröffentlicht.'] Label: [['„Praktisch“, sagte er.\n„So hat das Schaf auch direkt ein Haus.“']] Sacrebleu: {'score': 1.092534162077208, 'counts': [2, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [5.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.05, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 40, 'reference_length': 15} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 42.25308641975309} Flesh Reading Ease: 80.55 ---------------------------------------- Source: ['Und wenn du nett bist, gebe ich dir auch einen Strick, um es nachts festzubinden.'] Prediction: ['Ein Mann hat sich in der Nacht auf Sonntag in Zürich (D) einen Strick gefunden.\nDer Mann hatte sich mit seinem Strick nachts festzubinden.\nDie beiden waren zuvor nach der Festnahme gefunden.'] Label: [['Ich sagte, dass ich ihm noch ein Seil zeichne.\n„Dann kannst du das Schaf an einen Zaun binden.“']] Sacrebleu: {'score': 1.3113617852675474, 'counts': [3, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [8.108108108108109, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.08108108108108109, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6818181818181819, 'translation_length': 37, 'reference_length': 22} Rouge: {'rouge1': 0.0784313725490196, 'rouge2': 0.0, 'rougeL': 0.0784313725490196, 'rougeLsum': 0.0784313725490196} Sari: {'sari': 43.702485380116954} Flesh Reading Ease: 81.55 ---------------------------------------- Source: ['Was für eine merkwürdige Idee."'] Prediction: ['Am 23.\nJuni ist die 28.\nJuni in der Schweizer Nachfolger-Kamera.\nDie Welt endete mit dem "Fairytale Gone Bad"-Paar.\nIm Interview spricht der Comedian über die Welt und die Welt.'] Label: [['„Was für eine verrückte Idee!“, rief er aus.']] Sacrebleu: {'score': 0.969094302009921, 'counts': [1, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [2.6315789473684212, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.02631578947368421, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1666666666666665, 'translation_length': 38, 'reference_length': 12} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 46.388888888888886} Flesh Reading Ease: 73.05 ---------------------------------------- Source: ['- "Aber wenn du es nicht festbindest, kann es überall hingehen und sich verlaufen ..."'] Prediction: ['Im Podcast "Unchained" diskutieren die besten Fragen, die ihre Fragen zu Gast und Fragen zu Gast.\nHier gibts die besten Fragen, die auf unsere Fragen zu Gast machen.\nWir haben dir jeden Tag die besten Fragen zu Gast.'] Label: [['„Wenn du es nicht festbindest, dann läuft es weg“, erklärte ich.']] Sacrebleu: {'score': 1.0700143107304574, 'counts': [3, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [6.666666666666667, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2142857142857144, 'translation_length': 45, 'reference_length': 14} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 28.898525222054634} Flesh Reading Ease: 73.7 ---------------------------------------- Source: ['- "Das macht nichts, es ist so klein bei mir!"'] Prediction: ['Im Interview mit 20 Minuten spricht der Comedian über seine kleinen Fragen.\nEr wollte sich mit seiner Frau aufmerksam machen.'] Label: [['„Mein Planet ist ganz klein“, sagte er.\n„Das Schaf kann nirgendwohin laufen.“']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.375, 'translation_length': 22, 'reference_length': 16} Rouge: {'rouge1': 0.0625, 'rouge2': 0.0, 'rougeL': 0.0625, 'rougeLsum': 0.0625} Sari: {'sari': 58.06138306138307} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Manchmal reicht es aus, das Gemüse auf eine andere Weise zuzubereiten, zum Beispiel als Happen mit einem Dipp oder püriert als Soße.'] Prediction: ['Manchmal reicht es aus, das Gemüse auf eine andere Weise zuzubereiten.\nManchmal reicht es aus, das Gemüse auf eine andere Weise zuzubereiten, zum Beispiel als Happen mit einem Dipp oder püriert als Soße.'] Label: [['Spaghetti mit Linsen-Bolognese, fein geraspeltes Gemüse in der Frikadelle, püriertes Gemüse in der Soße – es gibt jede Menge Möglichkeiten, Gemüse fast unbemerkt im Essen unterzubringen.']] Sacrebleu: {'score': 1.6785205684066813, 'counts': [9, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [23.68421052631579, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.23684210526315788, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2666666666666666, 'translation_length': 38, 'reference_length': 30} Rouge: {'rouge1': 0.26086956521739135, 'rouge2': 0.08955223880597014, 'rougeL': 0.17391304347826086, 'rougeLsum': 0.2318840579710145} Sari: {'sari': 36.7816091954023} Flesh Reading Ease: 58.2 ---------------------------------------- Source: ['Sollten sich Eltern allerdings längerfristig Sorgen um die Entwicklung ihres Kindes machen, ist es ratsam einen Kinderarzt aufzusuchen.'] Prediction: ['Ein Kind, der in den USA einen Kinderarzt aufzusuchen, ist gestorben.\nDas Kind war eine Kinderarzt aufzusuchen.'] Label: [['Bevor Ihr Kind merkt, dass das Essverhalten Ihnen Kummer bereitet, lassen Sie sich bei einer Beratungsstelle oder vom Kinderarzt beraten.']] Sacrebleu: {'score': 2.4689783360287474, 'counts': [5, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [23.80952380952381, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 0.909156442876713, 'sys_len': 21, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.23809523809523808, 0.0, 0.0, 0.0], 'brevity_penalty': 0.909156442876713, 'length_ratio': 0.9130434782608695, 'translation_length': 21, 'reference_length': 23} Rouge: {'rouge1': 0.16216216216216214, 'rouge2': 0.0, 'rougeL': 0.16216216216216214, 'rougeLsum': 0.1081081081081081} Sari: {'sari': 47.261904761904766} Flesh Reading Ease: 60.35 ---------------------------------------- Source: ['Statt darüber zu reden, ist es ratsam zu zeigen, dass Gemüse selbstverständlich zu Mahlzeit dazugehört und lecker schmeckt.'] Prediction: ['Gemüse leiden zu Mahlzeit.\nGemüse leiden leer.\nGemüse leiden zu Mahlzeit.'] Label: [['Leben Sie dem Kind stattdessen vor, dass Sie selbst gern Gemüse essen und dass für Sie Gemüse zu einer Mahlzeit einfach dazugehört.']] Sacrebleu: {'score': 2.0788628272808367, 'counts': [5, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [35.714285714285715, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 0.48954165955695317, 'sys_len': 14, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.35714285714285715, 0.0, 0.0, 0.0], 'brevity_penalty': 0.48954165955695317, 'length_ratio': 0.5833333333333334, 'translation_length': 14, 'reference_length': 24} Rouge: {'rouge1': 0.3, 'rouge2': 0.10526315789473685, 'rougeL': 0.3, 'rougeLsum': 0.2} Sari: {'sari': 52.364433811802236} Flesh Reading Ease: 59.3 ---------------------------------------- Source: ['Eltern sind für ihre Kinder das wichtigste Vorbild, die sie gerne imitieren.'] Prediction: ['Ein wichtiges Vorbild im Kinder-Vorbild ist gerne imitieren.\nDas wichtigste Vorbild ist für ihre Kinder das wichtigste Vorbild.'] Label: [['Probieren Sie selbst auch Neues aus.\nSie sind das beste Vorbild:']] Sacrebleu: {'score': 2.5197593442434796, 'counts': [3, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [15.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5384615384615385, 'translation_length': 20, 'reference_length': 13} Rouge: {'rouge1': 0.12903225806451613, 'rouge2': 0.0, 'rougeL': 0.12903225806451613, 'rougeLsum': 0.12903225806451613} Sari: {'sari': 33.57142857142857} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Eltern sollten sich nicht aus der Ruhe bringen lassen und Essen möglichst nicht thematisieren.'] Prediction: ['Derzeit sollen Menschen in der Schweiz nicht aus der Ruhe bringen lassen.\nDas sollen sie möglichst nicht thematisieren.'] Label: [['Sprechen Sie auch nicht dauernd über das Thema Gemüse essen.']] Sacrebleu: {'score': 2.276859592073037, 'counts': [2, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [10.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8181818181818181, 'translation_length': 20, 'reference_length': 11} Rouge: {'rouge1': 0.19999999999999998, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 36.11111111111111} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Stattdessen sind viel Geduld und Durchhaltevermögen gefragt.'] Prediction: ['In den USA werden viele Geduld und Durchhaltevermögen gefragt.\nDie Welt ist vor allem in den USA geschlossen.'] Label: [['Drängen Sie es zu nichts.\nBleiben Sie gelassen, wenn Ihr Kind Gemüse ablehnt.']] Sacrebleu: {'score': 2.276859592073037, 'counts': [2, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [10.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 20, 'reference_length': 16} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 36.11111111111111} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Vielleicht nascht das Kind schon bei der Zubereitung etwas Gemüse und ist zumindest stolz auf das selbstgemachte Essen.'] Prediction: ['Ein Kind aus dem Zubereitungsgewählten ist auf selbstgemachte Essen gekostet.\nDas Kind ist zumindest stolz auf das selbstgemachte Essen.'] Label: [['Am Ende sind die Kinder stolz auf ihr Werk und essen auch lieber davon.\nBeim Gemüseschnippeln passiert das Probieren fast von allein.']] Sacrebleu: {'score': 3.9592150017498815, 'counts': [5, 1, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [23.80952380952381, 5.0, 2.6315789473684212, 1.3888888888888888], 'bp': 0.8668778997501817, 'sys_len': 21, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.23809523809523808, 0.05, 0.0, 0.0], 'brevity_penalty': 0.8668778997501817, 'length_ratio': 0.875, 'translation_length': 21, 'reference_length': 24} Rouge: {'rouge1': 0.18604651162790697, 'rouge2': 0.04878048780487805, 'rougeL': 0.13953488372093023, 'rougeLsum': 0.18604651162790697} Sari: {'sari': 39.46759259259259} Flesh Reading Ease: 59.35 ---------------------------------------- Source: ['Das kann bereits beim Gemüseanbau im Garten oder auf dem Balkon beginnen, über den gemeinsamen Einkauf bis hin zum gemeinsamen Schnippeln von Gemüse und kochen.'] Prediction: ['Im Balkon kann es bereits gemeinsam Einkauf geben.\nDas kann bereits zum gemeinsamen Einkauf kochen.'] Label: [['Lassen Sie Ihre Kinder beim Zubereiten der Mahlzeiten helfen.\nNehmen Sie die Kinder auch mit zum Einkaufen, wenn sie das mögen.']] Sacrebleu: {'score': 1.9939356160552943, 'counts': [3, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [17.647058823529413, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.6624801353939261, 'sys_len': 17, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6624801353939264, 'length_ratio': 0.7083333333333334, 'translation_length': 17, 'reference_length': 24} Rouge: {'rouge1': 0.10810810810810811, 'rouge2': 0.0, 'rougeL': 0.05405405405405406, 'rougeLsum': 0.05405405405405406} Sari: {'sari': 44.01960784313725} Flesh Reading Ease: 67.2 ---------------------------------------- Source: ['Empfehlen Sie den Eltern, ihren Nachwuchs schon frühzeitig in die Mahlzeitengestaltung einzubeziehen.'] Prediction: ['Im Rahmen einer Mahlzeitengestaltung werden Eltern geschlossen.\nSie werden ihren Nachwuchs in die Mahlzeitengestaltung einzubeziehen.'] Label: [['Überlegen Sie gemeinsam mit den Kindern, was es in den nächsten Tagen zu essen geben soll.']] Sacrebleu: {'score': 2.8378637222629375, 'counts': [3, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [17.647058823529413, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.9428731438548749, 'sys_len': 17, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9428731438548749, 'length_ratio': 0.9444444444444444, 'translation_length': 17, 'reference_length': 18} Rouge: {'rouge1': 0.125, 'rouge2': 0.0, 'rougeL': 0.125, 'rougeLsum': 0.125} Sari: {'sari': 33.57142857142857} Flesh Reading Ease: 26.25 ---------------------------------------- Source: ['Die Geschmacksvorlieben der Kinder ändern sich und an manche Geschmacksrichtungen gewöhnen sie sich erst.'] Prediction: ['Eine Geschmacksrichtung der Kinder ändern sich an manche Geschmacksrichtungen.\nDie Geschmacksvorlieben der Kinder ändern sich und an manche Geschmacksrichtungen gewöhnen sie sich erst.'] Label: [['Gerade der kindliche Geschmack ist noch sehr veränderlich.']] Sacrebleu: {'score': 1.7911710595643588, 'counts': [2, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [8.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.08, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7777777777777777, 'translation_length': 25, 'reference_length': 9} Rouge: {'rouge1': 0.06060606060606061, 'rouge2': 0.0, 'rougeL': 0.06060606060606061, 'rougeLsum': 0.06060606060606061} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 51.5 ---------------------------------------- Source: ['Es hilft auch, das abgelehnte Gemüse nicht gleich vom Speiseplan zu streichen, sondern immer wieder anzubieten.'] Prediction: ['Das abgelehnte Gemüse in der Nähe von Gemüse ist nicht vom Speiseplan zu streichen.\nDas Gemüse soll immer wieder anzubieten.'] Label: [['Und auch wenn der Brokkoli beim ersten Mal abgelehnt wird: Ermutigen Sie Ihr Kind, ab und zu neu zu probieren, was beim letzten Mal nicht geschmeckt hat.']] Sacrebleu: {'score': 1.6225484985325525, 'counts': [4, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 0.6642538428642953, 'sys_len': 22, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6642538428642955, 'length_ratio': 0.7096774193548387, 'translation_length': 22, 'reference_length': 31} Rouge: {'rouge1': 0.11764705882352941, 'rouge2': 0.0, 'rougeL': 0.07843137254901962, 'rougeLsum': 0.07843137254901962} Sari: {'sari': 33.95061728395062} Flesh Reading Ease: 58.85 ---------------------------------------- Source: ['Motivieren Sie die Eltern, gelassen zu bleiben und das Essverhalten nicht ständig zu thematisieren, sondern eine angenehme und positive Situation am Esstisch zu schaffen.'] Prediction: ['Eine angenehme und positive Situation am Esstisch schaffen Menschen.\nSie müssen sich in der Krise nicht ständig zu thematisieren.'] Label: [['Eine fröhliche und entspannte Stimmung macht die Familien-Mahlzeit zu einem schönen Erlebnis.\nBleiben Sie gelassen und setzen Sie Ihr Kind nicht unter Druck.']] Sacrebleu: {'score': 2.4416752945937867, 'counts': [7, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [33.333333333333336, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 0.8265654376242381, 'sys_len': 21, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8265654376242381, 'length_ratio': 0.84, 'translation_length': 21, 'reference_length': 25} Rouge: {'rouge1': 0.21276595744680848, 'rouge2': 0.0, 'rougeL': 0.1702127659574468, 'rougeLsum': 0.21276595744680848} Sari: {'sari': 34.090909090909086} Flesh Reading Ease: 47.65 ---------------------------------------- Source: ['Je mehr die Eltern die Kinder zum Gemüseessen drängen, desto mehr Stress entsteht am Tisch.'] Prediction: ['Die Eltern in den USA drängen zum Gemüseessen.\nJe mehr die Kinder zum Gemüseessen drängen, desto mehr Stress entsteht am Tisch.'] Label: [['Sonst kommen Stress und Ärger beim Essen auf.\nZwingen Sie Ihr Kind nicht, etwas zu essen, was ihm nicht schmeckt.\nDa passt es nicht, wenn Sie Druck auf Ihre Kinder ausüben, weil sie auch von dem gesunden Gemüse essen sollen.']] Sacrebleu: {'score': 0.9023050037774796, 'counts': [5, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [20.833333333333332, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 0.38353157287631073, 'sys_len': 24, 'ref_len': 47} Bleu: {'bleu': 0.0, 'precisions': [0.20833333333333334, 0.0, 0.0, 0.0], 'brevity_penalty': 0.3835315728763106, 'length_ratio': 0.5106382978723404, 'translation_length': 24, 'reference_length': 47} Rouge: {'rouge1': 0.08955223880597014, 'rouge2': 0.0, 'rougeL': 0.059701492537313425, 'rougeLsum': 0.08955223880597014} Sari: {'sari': 36.8421052631579} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['Es ist ganz normal und gehört zur Entwicklung dazu, dass Kinder phasenweise sehr einseitig essen und nur wenige Gemüsearten mögen.'] Prediction: ['Kinder phasenweise mögen sehr einseitig essen und nur wenige Gemüsearten mögen.\nEs gehört zur Entwicklung dazu, dass Kinder phasenweise sehr einseitig essen und nur wenige Gemüsearten mögen.'] Label: [['Dabei ist es normal, wenn Kinder eine Zeit lang bestimmte Lebensmittel nicht essen.']] Sacrebleu: {'score': 1.7557381354086663, 'counts': [4, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [13.333333333333334, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 30, 'reference_length': 15} Rouge: {'rouge1': 0.13043478260869568, 'rouge2': 0.0, 'rougeL': 0.13043478260869568, 'rougeLsum': 0.13043478260869568} Sari: {'sari': 31.111111111111107} Flesh Reading Ease: 37.8 ---------------------------------------- Source: ['Und was gibt es Schöneres, als mit Freunden zu kochen, gemeinsam am Tisch zu sitzen und das Essen in geselliger Runde zu genießen.'] Prediction: ['Schöneres sind eine grosse Runde.\nDas Essen ist in geselliger Runde zu genießen.'] Label: [['Kochen Sie selbst, ob allein oder mit Familie und Freunden.']] Sacrebleu: {'score': 2.627961710408444, 'counts': [1, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [6.666666666666667, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 15, 'reference_length': 12} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 32.06349206349206} Flesh Reading Ease: 56.5 ---------------------------------------- Source: ['Schon das Stöbern in Rezeptdatenbanken, um mal etwas Neues auszuprobieren und selbst die Planung samt Einkauf können Spaß machen.'] Prediction: ['In der Schweiz können neue Neues ausgebaut werden.\nDenn das Stöbern kann das Stöbern in Rezeptdatenbanken machen.'] Label: [['Machen Sie schon den Einkauf zu einem Genusserlebnis, zum Beispiel auf dem Wochenmarkt.']] Sacrebleu: {'score': 2.0244462660665508, 'counts': [1, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [5.2631578947368425, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.05263157894736842, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2666666666666666, 'translation_length': 19, 'reference_length': 15} Rouge: {'rouge1': 0.060606060606060615, 'rouge2': 0.0, 'rougeL': 0.060606060606060615, 'rougeLsum': 0.060606060606060615} Sari: {'sari': 33.97435897435897} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['Nehmen Sie sich Zeit fürs Essen.'] Prediction: ['Die Schweizerin hat sich mit einem besseren Partner für die Schweizer Grenze geschlossen.\nSie war sie für die Schweizer Grenze geschickt.'] Label: [['Nehmen sie sich Zeit für Ihre Mahlzeiten.']] Sacrebleu: {'score': 2.328734903585348, 'counts': [4, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [17.391304347826086, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.875, 'translation_length': 23, 'reference_length': 8} Rouge: {'rouge1': 0.25806451612903225, 'rouge2': 0.06896551724137931, 'rougeL': 0.19354838709677416, 'rougeLsum': 0.25806451612903225} Sari: {'sari': 26.875} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['Sportvereine und Fitnessstudios bieten ein vielfältiges Kursangebot.'] Prediction: ['Die Schweizer Sportvereine und Fitnessstudios bieten ein vielfältiges Kursangebot.\nSie bieten ein vielfältiges Kursangebot.'] Label: [['In Sportvereinen, in Fitness-Studios, bei Lauftreffs oder in Kursen der Volkshochschule bietet sich die Gelegenheit dafür.']] Sacrebleu: {'score': 2.0274685852177114, 'counts': [1, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [6.25, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 0.8290291181804004, 'sys_len': 16, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8290291181804004, 'length_ratio': 0.8421052631578947, 'translation_length': 16, 'reference_length': 19} Rouge: {'rouge1': 0.058823529411764705, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.058823529411764705} Sari: {'sari': 36.11111111111111} Flesh Reading Ease: 15.05 ---------------------------------------- Source: ['Wer hingegen in seinen besten Jahren Bewegung als festen Bestandteil in sein Leben integriert, trägt dazu bei, die Muskelmasse zu erhalten oder sogar zu steigern.'] Prediction: ['Die Muskelmasse trägt dazu bei, die Muskelmasse zu erhalten oder sogar zu steigern.\nWir haben mit der Bewegung zu tun, wenn du das Leben gewesen ist.'] Label: [['Bewegung schützt Knochen und Gelenke und erhält die Muskeln oder baut sie wieder auf.']] Sacrebleu: {'score': 1.7557381354086663, 'counts': [4, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [13.333333333333334, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 30, 'reference_length': 15} Rouge: {'rouge1': 0.13953488372093023, 'rouge2': 0.0, 'rougeL': 0.09302325581395349, 'rougeLsum': 0.13953488372093023} Sari: {'sari': 37.03703703703704} Flesh Reading Ease: 67.55 ---------------------------------------- Source: ['Das können einfache Alltagsbewegungen sein wie Treppensteigen oder zügiges Gehen beim Einkauf – nach dem Motto „Jeder Schritt hält fit“, aber auch sportliche Aktivitäten, sei es Fahrradfahren, Gymnastik oder gezieltes Muskeltraining.'] Prediction: ['Jeder Schritt hält fit, sei es Fahrradfahren, Gymnastik oder gezieltes Muskeltraining.\nAuch Sportliche Aktivitäten können einfache Alltagsbewegungen sein.'] Label: [['Zum Beispiel kleine Dinge wie die Treppe zu steigen statt den Aufzug zu benutzen.\nSchon das bewusste Einbauen von Bewegung in den Alltag tut gut.']] Sacrebleu: {'score': 1.6364503036957179, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 0.7967034698934615, 'sys_len': 22, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7967034698934615, 'length_ratio': 0.8148148148148148, 'translation_length': 22, 'reference_length': 27} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.08531746031746} Flesh Reading Ease: 30.6 ---------------------------------------- Source: ['können Trinkrituale dabei unterstützen. Falls es Ihnen schwerfällt, die empfohlene Menge von etwa 1, 5 Litern aufzunehmen'] Prediction: ['Eine empfohlene Menge von etwa 1, 5 Litern ist in den USA aufgetaucht.\nDie Menge ist in den USA aufgetaucht.\nDie Trinkrituale können unterstützen.'] Label: [['Bauen Sie feste Gewohnheiten in den Tagesablauf ein.\nFalls Sie dazu neigen, zu wenig zu trinken, achten Sie eine Weile mal ganz bewusst auf Ihr Trinkverhalten.\nEin und ein halber Liter sollten es auf den Tag verteilt sein.']] Sacrebleu: {'score': 2.137890547351944, 'counts': [7, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [25.0, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 0.5852511043074122, 'sys_len': 28, 'ref_len': 43} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 0.5852511043074123, 'length_ratio': 0.6511627906976745, 'translation_length': 28, 'reference_length': 43} Rouge: {'rouge1': 0.125, 'rouge2': 0.03225806451612903, 'rougeL': 0.09374999999999999, 'rougeLsum': 0.125} Sari: {'sari': 32.593394260060926} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Beispielsweise zu jeder Mahlzeit ein Getränk oder nach dem Aufstehen direkt ein Glas Wasser leeren, kann leicht zur Gewohnheit werden.'] Prediction: ['Derzeit kann ein Glas Wasser leeren.\nBeispielsweise zu jeder Mahlzeit ein Getränk oder nach dem Aufstehen direkt ein Glas Wasser leeren, kann leicht zur Gewohnheit werden.'] Label: [['Nehmen Sie bei jeder Mahlzeit auf jeden Fall ein Getränk zu sich.\nTrinken Sie zum Beispiel ein großes Glas Wasser nach dem Aufstehen.']] Sacrebleu: {'score': 8.68955537012653, 'counts': [13, 5, 1, 0], 'totals': [29, 28, 27, 26], 'precisions': [44.827586206896555, 17.857142857142858, 3.7037037037037037, 1.9230769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.4482758620689655, 0.17857142857142858, 0.037037037037037035, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.16, 'translation_length': 29, 'reference_length': 25} Rouge: {'rouge1': 0.4615384615384615, 'rouge2': 0.24000000000000002, 'rougeL': 0.30769230769230765, 'rougeLsum': 0.4230769230769231} Sari: {'sari': 43.061278998779} Flesh Reading Ease: 67.55 ---------------------------------------- Source: ['Gerade weil ältere Menschen Durst weniger stark empfinden, hilft es, wenn sie sich eine Zeitlang aufs Trinken zu konzentrieren.'] Prediction: ['Die Schweiz hat sich mit älteren Durst weniger stark empfinden.\nDas kann sich aber nicht mehr zu konzentrieren.'] Label: [['Im Alter verringert sich bei vielen Menschen das Durstgefühl.']] Sacrebleu: {'score': 2.276859592073037, 'counts': [2, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [10.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 20, 'reference_length': 10} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.0, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.07142857142857142} Sari: {'sari': 36.70300287947346} Flesh Reading Ease: 83.25 ---------------------------------------- Source: ['Eine Orientierung bietet die Ernährungspyramide.'] Prediction: ['Die Orientierung bietet die Ernährungspyramide.\nDie Orientierung bietet die Ernährungspyramide.'] Label: [['Welche Lebensmittel Ihr Körper braucht, lesen Sie in den Texten Die Ernährungspyramide Teil 1 und Die Ernährungspyramide Teil 2.']] Sacrebleu: {'score': 2.3920625730008753, 'counts': [5, 0, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [41.666666666666664, 4.545454545454546, 2.5, 1.3888888888888888], 'bp': 0.4723665527410147, 'sys_len': 12, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.4166666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 0.4723665527410147, 'length_ratio': 0.5714285714285714, 'translation_length': 12, 'reference_length': 21} Rouge: {'rouge1': 0.3529411764705882, 'rouge2': 0.25, 'rougeL': 0.3529411764705882, 'rougeLsum': 0.23529411764705885} Sari: {'sari': 42.91666666666667} Flesh Reading Ease: -0.51 ---------------------------------------- Source: ['Wählen Sie bewusst aus, was Sie essen und setzen Sie auf besonders nährstoffreiche Lebensmittel.'] Prediction: ['Immer mehr Lebensmittel wählen sie auf besonders nährstoffreiche Lebensmittel.\nWählen Sie bewusst aus, was Sie essen und setzen Sie auf besonders nährstoffreiche Lebensmittel.'] Label: [['Greifen Sie häufig bei nährstoffreichem Gemüse zu.']] Sacrebleu: {'score': 1.7179060012299232, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.25, 'translation_length': 26, 'reference_length': 8} Rouge: {'rouge1': 0.10810810810810811, 'rouge2': 0.0, 'rougeL': 0.10810810810810811, 'rougeLsum': 0.10810810810810811} Sari: {'sari': 34.78260869565217} Flesh Reading Ease: 45.65 ---------------------------------------- Source: ['Die Krux: Der Körper braucht zwar weniger Energie, aber noch genauso viele Nährstoffe wie in jungen Jahren und teilweise sogar noch etwas mehr.'] Prediction: ['Die Krux braucht zwar weniger Energie, aber noch genauso viele Nährstoffe wie in jungen Jahren.\nDas braucht zwar weniger Energie, aber noch genauso viele Nährstoffe wie in jungen Jahren.'] Label: [['Ihr Körper braucht jetzt weniger Energie, aber genauso viele Nährstoffe wie in jungen Jahren.']] Sacrebleu: {'score': 28.23315619049318, 'counts': [13, 10, 8, 6], 'totals': [33, 32, 31, 30], 'precisions': [39.39393939393939, 31.25, 25.806451612903224, 20.0], 'bp': 1.0, 'sys_len': 33, 'ref_len': 16} Bleu: {'bleu': 0.28233156190493186, 'precisions': [0.3939393939393939, 0.3125, 0.25806451612903225, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 2.0625, 'translation_length': 33, 'reference_length': 16} Rouge: {'rouge1': 0.5106382978723403, 'rouge2': 0.4, 'rougeL': 0.5106382978723403, 'rougeLsum': 0.5106382978723403} Sari: {'sari': 60.36703667645943} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['Doch wenn die Ernährung nicht angepasst wird, kann das Körpergewicht steigen und damit verbunden auch das Risiko für Herz-Kreislauf-Krankheiten und chronischer Erkrankungen wie Diabetes mellitus Typ 2.'] Prediction: ['Das Körpergewicht steigt auch für Herz-Kreislauf-Krankheiten und chronischer Erkrankungen wie Diabetes mellitus Typ 2.\nDie Ernährung wird nicht angepasst.\nDas Risiko für Herz-Kreislauf-Krankheiten und chronischer Erkrankungen wie Diabetes mellitus Typ 2 ist auch das Risiko für Herz-Kreislauf-Krankheiten und chronischer Erkrankungen.'] Label: [['Ein höheres Körpergewicht erhöht das Risiko für Herz-Kreislauf-Krankheiten oder Diabetes.\nWenn wir unsere Essgewohnheiten nicht ändern, nehmen wir zu.']] Sacrebleu: {'score': 6.534434987768791, 'counts': [9, 3, 2, 1], 'totals': [43, 42, 41, 40], 'precisions': [20.930232558139537, 7.142857142857143, 4.878048780487805, 2.5], 'bp': 1.0, 'sys_len': 43, 'ref_len': 22} Bleu: {'bleu': 0.06534434987768793, 'precisions': [0.20930232558139536, 0.07142857142857142, 0.04878048780487805, 0.025], 'brevity_penalty': 1.0, 'length_ratio': 1.9545454545454546, 'translation_length': 43, 'reference_length': 22} Rouge: {'rouge1': 0.2894736842105263, 'rouge2': 0.1891891891891892, 'rougeL': 0.2631578947368421, 'rougeLsum': 0.2894736842105263} Sari: {'sari': 41.60912031852681} Flesh Reading Ease: 32.15 ---------------------------------------- Source: ['Die körperlichen Veränderungen sind im gewissen Umfang normal.'] Prediction: ['Die körperlichen Veränderungen sind im gewissen Umfang normal.\nDie körperlichen Veränderungen sind im gewissen Umfang normal.'] Label: [['Das alles sind normale Entwicklungen.']] Sacrebleu: {'score': 2.5540496664715904, 'counts': [2, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [11.11111111111111, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 18, 'reference_length': 6} Rouge: {'rouge1': 0.08000000000000002, 'rouge2': 0.0, 'rougeL': 0.08000000000000002, 'rougeLsum': 0.08000000000000002} Sari: {'sari': 36.36363636363636} Flesh Reading Ease: 31.6 ---------------------------------------- Source: ['Mit zunehmendem nehmen Muskel- und Knochenmasse sowie der Wasseranteil ab, gleichzeitig steigt der Fettanteil.'] Prediction: ['Der Muskelband Musik und Knochen ist mit neuen Musik und Wasseranteil abgegeben.\nDie Wasseranteil steigt gleichzeitig.'] Label: [['Dafür steigt der Fettanteil im Körper leichter an.\nDie Muskelkraft lässt nach.\nDie Knochen sind nicht mehr so stabil wie in jungen Jahren.\nWenn wir älter werden, verändert sich unser Körper.']] Sacrebleu: {'score': 1.9869747827126047, 'counts': [5, 1, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [27.77777777777778, 5.882352941176471, 3.125, 1.6666666666666667], 'bp': 0.36787944117144233, 'sys_len': 18, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.058823529411764705, 0.0, 0.0], 'brevity_penalty': 0.36787944117144233, 'length_ratio': 0.5, 'translation_length': 18, 'reference_length': 36} Rouge: {'rouge1': 0.15384615384615383, 'rouge2': 0.0, 'rougeL': 0.07692307692307691, 'rougeLsum': 0.15384615384615383} Sari: {'sari': 42.70652958152959} Flesh Reading Ease: 60.85 ---------------------------------------- Source: ['Wer abwechlungsreich isst, ein normales Gewicht hält und sich regelmäßig bewegt, kann vielen Beschwerden vorbeugen.'] Prediction: ['Ein normales Gewicht hält sich regelmäßig bewegt.\nDas kann vielen Beschwerden vorbeugen.'] Label: [['Unterstützen Sie Ihren Körper mit ausgewogener Ernährung und viel Bewegung.']] Sacrebleu: {'score': 2.8398387225677895, 'counts': [1, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [7.142857142857143, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2727272727272727, 'translation_length': 14, 'reference_length': 11} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 32.857142857142854} Flesh Reading Ease: 57.0 ---------------------------------------- Source: ['Menschen im besten Alter sind leistungsfähiger, mobiler und gesünder als noch die Generationen vor ihnen.'] Prediction: ['Menschen im besten Alter sind leistungsfähiger, mobiler und gesünder als noch die Generationen vor ihnen.\nDas ist ein grosser Teil der jungen Menschen.'] Label: [['Heutzutage bleiben die meisten Menschen fit und aktiv, wenn sie älter werden.']] Sacrebleu: {'score': 2.1601524349994397, 'counts': [5, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [19.23076923076923, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.19230769230769232, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 26, 'reference_length': 14} Rouge: {'rouge1': 0.16216216216216217, 'rouge2': 0.0, 'rougeL': 0.10810810810810811, 'rougeLsum': 0.10810810810810811} Sari: {'sari': 37.12121212121212} Flesh Reading Ease: 57.35 ---------------------------------------- Source: ['Nur wer sich auf die Veränderungen einstellt und auch im Alter aktiv bleibt und sich bewusst ernährt, erhöht seine Chancen auf ein langes vitales und selbstbestimmtes Leben.'] Prediction: ['Die Chancen in der Schweiz sind ein langes vitales und selbstbestimmtes Leben.\nNur wer sich auf die Veränderungen einstellt und auch im Alter aktiv bleibt und sich bewusst ernährt, erhöht seine Chancen auf ein langes vitales und selbstbestimmtes Leben.'] Label: [['Durch bewusste Ernährung können wir uns im Alter viel Gutes tun.\nEs tut gut, auch das Essen dem Alter anzupassen.\nDarauf können wir uns gut einstellen, wenn wir auf die Signale von unserem Körper achten.']] Sacrebleu: {'score': 2.9374336289654015, 'counts': [8, 2, 0, 0], 'totals': [42, 41, 40, 39], 'precisions': [19.047619047619047, 4.878048780487805, 1.25, 0.6410256410256411], 'bp': 1.0, 'sys_len': 42, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.19047619047619047, 0.04878048780487805, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.05, 'translation_length': 42, 'reference_length': 40} Rouge: {'rouge1': 0.14814814814814817, 'rouge2': 0.05063291139240506, 'rougeL': 0.07407407407407408, 'rougeLsum': 0.12345679012345678} Sari: {'sari': 37.88359788359788} Flesh Reading Ease: 61.05 ---------------------------------------- Source: ['Unser Körper verändert sich zwar mit dem Alter – ob wir wollen oder nicht!'] Prediction: ['Unser Körper verändert sich zwar mit dem Alter.\nOb wir wollen oder nicht?'] Label: [['Mit zunehmendem Alter verändert sich der Körper.']] Sacrebleu: {'score': 6.608973813188645, 'counts': [5, 1, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [33.333333333333336, 7.142857142857143, 3.8461538461538463, 2.0833333333333335], 'bp': 1.0, 'sys_len': 15, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.07142857142857142, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.875, 'translation_length': 15, 'reference_length': 8} Rouge: {'rouge1': 0.5833333333333334, 'rouge2': 0.2727272727272727, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 42.68518518518519} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['Deshalb gehört das Pausenfrühstück auch zum Alltag in Kita und Grundschule.'] Prediction: ['Deshalb gehört das Pausenfrühstück auch zum Alltag in Kita und Grundschule.\nDas Team gewinnt den Sieg in Kita.'] Label: [['Auch Kinder brauchen ausreichend Flüssigkeit.\nEine vollwertige Zwischenmahlzeit setzt sich aus vier Bestandteilen zusammen: Deshalb ist ein zweites Frühstück in der Schulpause oder in der Kita genauso wichtig wie das Frühstück zu Hause.']] Sacrebleu: {'score': 1.3993220421770656, 'counts': [7, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 0.44932896411722156, 'sys_len': 20, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.35, 0.0, 0.0, 0.0], 'brevity_penalty': 0.4493289641172217, 'length_ratio': 0.5555555555555556, 'translation_length': 20, 'reference_length': 36} Rouge: {'rouge1': 0.2711864406779661, 'rouge2': 0.03508771929824561, 'rougeL': 0.2033898305084746, 'rougeLsum': 0.2033898305084746} Sari: {'sari': 38.88888888888889} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Jetzt gehören gezuckerter Früchtetee, unverdünnte Säfte, Croissants, süße Teilchen und/oder Kindermilchprodukte nicht mehr dazu.'] Prediction: ['Eine Woche hat die Schweizer Welt veröffentlicht.\nDie Schweizer Welt hat sich mit Früchtetee, Croissants und/oder Kindermilchprodukte nicht mehr dazu gezogen.\nDie Schweizer Welt hat sich mit Früchtetee und Croissants zu verhindern.'] Label: [['Nicht geeignet sind Limonaden und Cola-Getränke, Eistee und andere gezuckerte Getränke.']] Sacrebleu: {'score': 1.3705063051209185, 'counts': [4, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [10.526315789473685, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.923076923076923, 'translation_length': 38, 'reference_length': 13} Rouge: {'rouge1': 0.12, 'rouge2': 0.0, 'rougeL': 0.08, 'rougeLsum': 0.08} Sari: {'sari': 37.25694444444444} Flesh Reading Ease: 64.0 ---------------------------------------- Source: ['Damit das gemeinsame Klassenfrühstück nicht zur Kampf-, sondern zur Wohlfühlzone wird, müssen alle an einem Strang ziehen.'] Prediction: ['In der Nähe von Kampf und Wohlfühlzühlzüge müssen alle an einem Strang ziehen.\nDas gemeinsame Klassenfrühstück wird nicht zur Kampf-, sondern zur Wohlfühlzone wird.'] Label: [['Vollkornbrot bietet viel mehr Inhaltsstoffe als Backwaren aus Weißmehl.']] Sacrebleu: {'score': 1.387819277861591, 'counts': [1, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [3.7037037037037037, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.037037037037037035, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7, 'translation_length': 27, 'reference_length': 10} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.25925925925925} Flesh Reading Ease: 62.7 ---------------------------------------- Source: ['Schritt 1: Ein erster Meilenstein ist es, wenn alle oder möglichst viele Schülerinnen und Schüler ein vollständiges Pausenfrühstück mit allen vier Bestandteilen dabei haben.'] Prediction: ['Am Mittwochabend gab es in der Schweiz einen Pausenfrühstück.\nDie Schülerinnen und Schüler haben ein erster Meilenstein.\nDer Meilenstein ist ein vollständiges Pausenfrühstück.'] Label: [['Kinder brauchen Nachschub in Form von Zwischenmahlzeiten.']] Sacrebleu: {'score': 1.7179060012299232, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.25, 'translation_length': 26, 'reference_length': 8} Rouge: {'rouge1': 0.05405405405405406, 'rouge2': 0.0, 'rougeL': 0.05405405405405406, 'rougeLsum': 0.05405405405405406} Sari: {'sari': 44.059829059829056} Flesh Reading Ease: 55.3 ---------------------------------------- Source: ['Nein! Diese Information gibt es auch in einfacher Sprache'] Prediction: ['Eine neue Sprache gibt es in einfacher Sprache.\nDie Frau hat sich mit einem Einzelfall über die Welt geäussert.'] Label: [['Auch zwischendurch müssen die Energiespeicher wieder aufgefüllt werden.\nDas Pausenfrühstück in der Schule oder Kita wird meistens von zu Hause mitgebracht.']] Sacrebleu: {'score': 2.3350155441098117, 'counts': [4, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [19.047619047619047, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 0.909156442876713, 'sys_len': 21, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.19047619047619047, 0.0, 0.0, 0.0], 'brevity_penalty': 0.909156442876713, 'length_ratio': 0.9130434782608695, 'translation_length': 21, 'reference_length': 23} Rouge: {'rouge1': 0.08888888888888889, 'rouge2': 0.0, 'rougeL': 0.044444444444444446, 'rougeLsum': 0.08888888888888889} Sari: {'sari': 43.39105339105338} Flesh Reading Ease: 82.75 ---------------------------------------- Source: ['Hierbei helfen die BZfE-Materialien rund um die Ernährungspyramide, die Methode SinnExperimente und der Baustein "Dem Zucker auf der Spur“. Falls möglich, gehen Sie anschließend noch einen Schritt weiter und bringen Sie die Kinder auf den Geschmack von ungesüßten Getränken, frischem Obst und Gemüse, (Vollkorn)-Brot und Milch.'] Prediction: ['Eine BZfE-Methode ist auf der Spur.\nExperimentse helfen die Methode Sinn.'] Label: [['Dabei gilt: Je mehr Bestandteile vom Getreidekorn enthalten sind, desto besser.']] Sacrebleu: {'score': 2.8603449943861583, 'counts': [1, 0, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [7.6923076923076925, 4.166666666666667, 2.272727272727273, 1.25], 'bp': 0.925961078642316, 'sys_len': 13, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 0.925961078642316, 'length_ratio': 0.9285714285714286, 'translation_length': 13, 'reference_length': 14} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 51.138392857142854} Flesh Reading Ease: 51.65 ---------------------------------------- Source: ['Ebenso haben Frauen kleinere Hände als Männer, sie essen auch kleinere Portionen.'] Prediction: ['Frauen haben kleinere Hände als Männer, sie essen auch kleinere Portionen.\nEbenso haben Frauen kleinere Hände als Männer, sie essen auch kleinere Portionen.'] Label: [['Sie essen oft auch etwas kleinere Portionen, denn ihr Körper braucht etwas weniger Energie.\nFrauen haben oft etwas kleinere Hände als Männer.']] Sacrebleu: {'score': 13.254512146117515, 'counts': [13, 5, 2, 1], 'totals': [27, 26, 25, 24], 'precisions': [48.148148148148145, 19.23076923076923, 8.0, 4.166666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 25} Bleu: {'bleu': 0.13254512146117509, 'precisions': [0.48148148148148145, 0.19230769230769232, 0.08, 0.041666666666666664], 'brevity_penalty': 1.0, 'length_ratio': 1.08, 'translation_length': 27, 'reference_length': 25} Rouge: {'rouge1': 0.5, 'rouge2': 0.32, 'rougeL': 0.4615384615384615, 'rougeLsum': 0.5} Sari: {'sari': 50.52645502645502} Flesh Reading Ease: 45.65 ---------------------------------------- Source: ['Kleine Kinder, die weniger Nahrung brauchen, haben kleinere Hände, größere Kinder die größeren Hände und den größeren Appetit.'] Prediction: ['Kleine Kinder brauchen, haben kleinere Hände, größere Kinder die größeren Hände und den größeren Appetit.\nDas ist ein grosser Problem.'] Label: [['Größere Kinder brauchen schon mehr, ihre Hände wachsen mit.\nKleine Kinder brauchen weniger Nahrung, sie haben kleine Hände.']] Sacrebleu: {'score': 8.104064855774029, 'counts': [11, 2, 1, 0], 'totals': [24, 23, 22, 21], 'precisions': [45.833333333333336, 8.695652173913043, 4.545454545454546, 2.380952380952381], 'bp': 1.0, 'sys_len': 24, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.4583333333333333, 0.08695652173913043, 0.045454545454545456, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0909090909090908, 'translation_length': 24, 'reference_length': 22} Rouge: {'rouge1': 0.4782608695652174, 'rouge2': 0.2727272727272727, 'rougeL': 0.30434782608695654, 'rougeLsum': 0.4782608695652174} Sari: {'sari': 34.145489693225315} Flesh Reading Ease: 53.0 ---------------------------------------- Source: ['Sie ist individuell, wächst mit und berücksichtigt somit den unterschiedlichen Bedarf eines Menschen – je nach Alter und Geschlecht.'] Prediction: ['Eine Frau ist mit ihrem unterschiedlichen Bedarf eines Menschen.\nSie berücksichtigt somit den unterschiedlichen Bedarf eines Menschen.'] Label: [['Zweitens: Die Größe einer Hand zeigt, welche Menge für den Körper richtig ist.']] Sacrebleu: {'score': 2.6643211213888947, 'counts': [3, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1875, 'translation_length': 19, 'reference_length': 16} Rouge: {'rouge1': 0.11764705882352941, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.11764705882352941} Sari: {'sari': 35.74074074074074} Flesh Reading Ease: 36.95 ---------------------------------------- Source: ['Das große Plus: Die Hand ist immer dabei, wenn es ums Essen geht.'] Prediction: ['Das große Plus: Die Hand ist immer dabei, wenn es ums Essen geht.\nDas große Plus: Die Hand ist immer dabei, wenn es ums Essen geht.'] Label: [['Erstens: Sie haben Ihre Hand immer dabei, also können Sie leicht messen.\nDie eigene Hand hat große Vorteile.']] Sacrebleu: {'score': 5.8343471803385185, 'counts': [10, 2, 1, 0], 'totals': [32, 31, 30, 29], 'precisions': [31.25, 6.451612903225806, 3.3333333333333335, 1.7241379310344827], 'bp': 1.0, 'sys_len': 32, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.3125, 0.06451612903225806, 0.03333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4545454545454546, 'translation_length': 32, 'reference_length': 22} Rouge: {'rouge1': 0.2916666666666667, 'rouge2': 0.08695652173913043, 'rougeL': 0.20833333333333331, 'rougeLsum': 0.20833333333333331} Sari: {'sari': 41.96078431372549} Flesh Reading Ease: 90.95 ---------------------------------------- Source: ['Die Ernährungspyramide verwendet deshalb die eigene Hand als einfaches Maß. Auch exakte Mengenangaben in Gramm für Portionen sind unpraktisch und haben sich im Alltag nicht bewährt.'] Prediction: ['In Gramm wurde eine eigene Hand verwendet.\nEs handelt sich dabei um Mengenangaben.\nDie Ernährungspyramide verwendet die eigene Hand als einfaches Maß.'] Label: [['Sie können ganz einfach Ihre Hand als Messhilfe nehmen.\nAber es geht viel praktischer.\nNatürlich können Sie alles ganz genau mit einer Waage abmessen.']] Sacrebleu: {'score': 3.4966406648879462, 'counts': [5, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 0.9231163463866358, 'sys_len': 25, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 0.9231163463866358, 'length_ratio': 0.9259259259259259, 'translation_length': 25, 'reference_length': 27} Rouge: {'rouge1': 0.12, 'rouge2': 0.04166666666666667, 'rougeL': 0.07999999999999999, 'rougeLsum': 0.12} Sari: {'sari': 38.79166666666667} Flesh Reading Ease: 49.85 ---------------------------------------- Source: ['Denn das Maß für eine Portion kann die eigene Hand sein.'] Prediction: ['Immer mehr Hand für eine Portion kann die eigene Hand sein.\nDas Maß kann für eine Portion einsteigen.'] Label: [['Im Artikel ‚Wie kann ich sehen, wie groß eine Portion ist?\n’ lesen Sie, wie Sie mit der Hand verschiedene Portionen messen können.']] Sacrebleu: {'score': 3.3930532847905797, 'counts': [5, 1, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 5.2631578947368425, 2.7777777777777777, 1.4705882352941178], 'bp': 0.7046880897187133, 'sys_len': 20, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 0.7046880897187133, 'length_ratio': 0.7407407407407407, 'translation_length': 20, 'reference_length': 27} Rouge: {'rouge1': 0.18604651162790697, 'rouge2': 0.04878048780487805, 'rougeL': 0.13953488372093023, 'rougeLsum': 0.18604651162790697} Sari: {'sari': 40.208333333333336} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Das Modell zeigt, wie ausgewogenes Essen am Tag aussehen kann.'] Prediction: ['Am Tag ist die erste Woche in der Schweiz.\nDas Modell zeigt, wie ausgewogenes Essen am Tag aussehen kann.\nDie Woche ist das erste Mal, das Modell zeigt.'] Label: [['Die Portionen können Sie natürlich über verschiedene Mahlzeiten verteilen.\nDie Pyramide zeigt 22 Portionen für einen Tag.']] Sacrebleu: {'score': 2.8244460759801417, 'counts': [5, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [15.151515151515152, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.15151515151515152, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.736842105263158, 'translation_length': 33, 'reference_length': 19} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.0, 'rougeL': 0.125, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 37.92328042328043} Flesh Reading Ease: 82.95 ---------------------------------------- Source: ['Sie liefert einen Rahmen, den Sie nach Ihren eigenen Bedürfnissen, Ihrem Geschmack und Gewohnheiten ohne großen Verzicht füllen können.'] Prediction: ['Eine Frau wollte ihren Geschmack und Gewohnheiten ohne großen Verzicht führen.\nSie liefert einen Rahmen, den Sie nach Ihren eigenen Bedürfnissen, Ihrem Geschmack und Gewohnheiten ohne großen Verzicht füllen können.'] Label: [['An der Pyramidenform können Sie sehen, was sie reichlich essen können und was Sie nicht zu oft nehmen sollten.']] Sacrebleu: {'score': 1.7035962947530545, 'counts': [6, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [17.647058823529413, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.619047619047619, 'translation_length': 34, 'reference_length': 21} Rouge: {'rouge1': 0.17543859649122806, 'rouge2': 0.03636363636363636, 'rougeL': 0.14035087719298245, 'rougeLsum': 0.17543859649122806} Sari: {'sari': 36.394557823129254} Flesh Reading Ease: 48.0 ---------------------------------------- Source: ['Ein großer Vorteil der Ernährungspyramide: Sie ist vielseitig. Die Ernährungspyramide hilft Ihnen dabei. Es mangelt aber oftmals daran, dieses Wissen auch in ein entsprechendes Verhalten, eben in die alltägliche Ernährungspraxis umzusetzen.'] Prediction: ['Ein großer Vorteil der Ernährungspyramide: Sie ist vielseitig.\nEs mangelt aber auch in ein entsprechendes Verhalten, eben in die alltägliche Ernährungspraxis umzusetzen.'] Label: [['Sie kann Ihnen helfen, gesund und mit Abwechslung zu essen.\nDie Pyramide ist eine Orientierungshilfe.']] Sacrebleu: {'score': 2.1601524349994397, 'counts': [5, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [19.23076923076923, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.19230769230769232, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4444444444444444, 'translation_length': 26, 'reference_length': 18} Rouge: {'rouge1': 0.14634146341463417, 'rouge2': 0.0, 'rougeL': 0.0975609756097561, 'rougeLsum': 0.14634146341463417} Sari: {'sari': 32.498759268990476} Flesh Reading Ease: 40.3 ---------------------------------------- Source: ['Und die Ampelfarben grün, gelb, rot geben bei der Auswahl der Lebensmittel eine erste Orientierung für den Tag.'] Prediction: ['Am 19.\nApril findet in der Nacht auf Sonntag statt.\nDie Ampelfarben werden auf den Tag gelten.\nDie Lebensmittel findet eine erste Orientierung für den Tag.'] Label: [['Die Ampelfarben zeigen auf einen Blick, bei welchen Lebensmitteln alles im grünen Bereich ist (grün) und wo Sie aufpassen sollten (rot).\nDie Pyramide hat drei Farben: grün, gelb und rot.']] Sacrebleu: {'score': 2.8788842792741103, 'counts': [6, 2, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 6.896551724137931, 1.7857142857142858, 0.9259259259259259], 'bp': 0.7408182206817179, 'sys_len': 30, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.06896551724137931, 0.0, 0.0], 'brevity_penalty': 0.740818220681718, 'length_ratio': 0.7692307692307693, 'translation_length': 30, 'reference_length': 39} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.034482758620689655, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 30.75618825618826} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['Folgende Ansätze des Stressmanagements können hierbei helfen:'] Prediction: ['Folgende Ansätze des Stressmanagements können hierbei helfen: Folgende Ansätze des Stressmanagements können hierbei helfen:'] Label: [['Diese Methoden können helfen, besser mit Stress zurechtzukommen:']] Sacrebleu: {'score': 3.21858262703621, 'counts': [3, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 16, 'reference_length': 10} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.07999999999999999, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 37.878787878787875} Flesh Reading Ease: 13.9 ---------------------------------------- Source: ['Diese Lebensmittel sind gut zu schlucken und helfen die Appetitlosigkeit zu überwinden. Stresshungerern fällt es unter Druck leichter, flüssige oder weiche Lebensmittel zu essen wie püriertes Obst, Buttermilch, Joghurt oder ein Glas Saft.'] Prediction: ['Eine Appetitlosigkeit helfen die Lebensmittel zu überwinden.\nStresshungerern fällen unter Druck leichter, flüssige oder weiche Lebensmittel zu essen wie püriertes Obst, Buttermilch, Joghurt oder ein Glas Saft.'] Label: [['Ohne Kauen fällt das Essen manchmal leichter.\nWenn Ihnen widerstrebt zu essen, probieren Sie weiche oder flüssige Lebensmittel wie Joghurt, püriertes Obst oder Gemüsesuppen.']] Sacrebleu: {'score': 4.6398855339878, 'counts': [16, 2, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [50.0, 6.451612903225806, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.5, 0.06451612903225806, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 32, 'reference_length': 28} Rouge: {'rouge1': 0.5172413793103449, 'rouge2': 0.14285714285714285, 'rougeL': 0.3448275862068965, 'rougeLsum': 0.3793103448275862} Sari: {'sari': 37.82705979209509} Flesh Reading Ease: 43.65 ---------------------------------------- Source: ['Stressessern können Sie beispielsweise empfehlen, Gemüsesticks zu knabbern oder – wer es mag und nicht Hunger davon bekommt – zuckerfreies Kaugummi zu kauen.'] Prediction: ['Kaugummi ist eine grosse Kaufstoff-Kette.\nDie Welt ist für die grosse Welt.\nDie Welt ist für die Welt gekommen.'] Label: [['Dann hilft manchen auch das Kauen von zuckerfreiem Kaugummi.\nEssen Sie eher zur Beruhigung oder Ablenkung?']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2222222222222223, 'translation_length': 22, 'reference_length': 18} Rouge: {'rouge1': 0.052631578947368425, 'rouge2': 0.0, 'rougeL': 0.052631578947368425, 'rougeLsum': 0.052631578947368425} Sari: {'sari': 61.904761904761905} Flesh Reading Ease: 85.95 ---------------------------------------- Source: ['Sie leiden unter Appetitlosigkeit und Übelkeit und verlieren bei anhaltendem Stress häufig an Gewicht. Sogenannte Stresshungerer schlagen Kummer, Ärger oder Hektik auf den Magen.'] Prediction: ['Bei anhaltendem Stress verlieren bei anhaltendem Stress häufig an Gewicht.\nKummer, Ärger oder Hektik schlagen Kummer, Ärger oder Hektik auf den Magen.'] Label: [['Ist der Stress groß, kann er Übelkeit oder eine Abneigung vor dem Essen auslösen.\nSie bemerken gar nicht mehr, dass sie Hunger haben.\nAndere Menschen verlieren bei Stress den Appetit.']] Sacrebleu: {'score': 3.0561994229347373, 'counts': [10, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [38.46153846153846, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 0.7074036474040616, 'sys_len': 26, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.38461538461538464, 0.04, 0.0, 0.0], 'brevity_penalty': 0.7074036474040618, 'length_ratio': 0.7428571428571429, 'translation_length': 26, 'reference_length': 35} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.03846153846153846, 'rougeL': 0.18518518518518517, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 36.761136493432325} Flesh Reading Ease: 63.7 ---------------------------------------- Source: ['Sie neigen dazu, bei Dauerstress Übergewicht zu entwickeln. Es gibt so genannte Stressesser, die hemmungslos futtern und fett- und zuckerreiche Speisen in kurzer Zeit verschlingen.'] Prediction: ['Dauerstress Übergewicht ist so genannte Stressesser, die hemmungslos futtern und fett- und zuckerreiche Speisen in kurzer Zeit verschlingen.\nDauerstress Übergewicht gibt so genannte Stressesser, die hemmungslos futtern und fett- und zuckerreiche Speisen in kurzer Zeit verschlingen.'] Label: [['Dadurch nehmen diese sogenannten Stress-Esser bei Stress häufig an Gewicht zu.\nSie essen dann gerne fette und süße Speisen.']] Sacrebleu: {'score': 1.2992493989257516, 'counts': [4, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [10.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9047619047619047, 'translation_length': 40, 'reference_length': 21} Rouge: {'rouge1': 0.06896551724137931, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 31.54443595620066} Flesh Reading Ease: 45.0 ---------------------------------------- Source: ['Genuss und Wertschätzung bleiben dabei allerdings auf der Strecke und auch Auswahl und Zusammensetzung des Essens finden wenig Beachtung.'] Prediction: ['Der Essen ist wenig Beachtung.\nDas ist auch mit Auswahl und Zusammensetzung der Strecke.\nDas ist das erste Mal.'] Label: [['Und oft wählt man unbewusst andere Lebensmittel aus als sonst.\nAber so fehlt der Genuss beim Essen.']] Sacrebleu: {'score': 2.4426633221059637, 'counts': [4, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1578947368421053, 'translation_length': 22, 'reference_length': 19} Rouge: {'rouge1': 0.16216216216216214, 'rouge2': 0.0, 'rougeL': 0.10810810810810811, 'rougeLsum': 0.16216216216216214} Sari: {'sari': 45.09615384615384} Flesh Reading Ease: 80.1 ---------------------------------------- Source: ['Morgens in der S-Bahn auf dem Weg zur Arbeit, mittags zwischen zwei Terminen am Schreibtisch und abends vor dem Fernseher – für viele Menschen ist Essen zur Nebensache geworden.'] Prediction: ['In der S-Bahn in Bern ist Essen zur Nebensache geworden.\nEs ist für viele Menschen zur Nebensache geworden.'] Label: [['Oder sie essen unterwegs.\nViele Menschen essen dann nebenher, während sie etwas anderes tun.']] Sacrebleu: {'score': 2.5197593442434796, 'counts': [3, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [15.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1764705882352942, 'translation_length': 20, 'reference_length': 17} Rouge: {'rouge1': 0.17142857142857143, 'rouge2': 0.06060606060606061, 'rougeL': 0.17142857142857143, 'rougeLsum': 0.17142857142857143} Sari: {'sari': 38.43137254901961} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Säureregulatoren (Kaliumlactat, Natriumacetate) sorgen dafür, dass das Produkt länger haltbar ist. Je nach Produkt kommen diverse Zusatzstoffe dazu wie Verdickungsmittel (z. B. Carrageen, Guarkernmehl, Johannisbrotkernmehl), Farbstoffe oder Aromen. Außer diesen pflanzlichen „Grundstoffen“ sorgen weitere Zutaten für die gewünschte Konsistenz, die Optik und den Geschmack, zum Beispiel Rapsöl, Sojaproteinkonzentrat (Wasser- und Fettbindemittel) und Sojaprotein-Isolat (Emulgator). Dafür verwenden sie unterschiedliche „Grundstoffe“.'] Prediction: ['Zusatzstoffe sorgen für die gewünschte Konsistenz, die Optik und den Geschmack.\nDafür verwenden sie unterschiedliche „Grundstoffe“.'] Label: [['Dafür müssen diese Produkte aber stark verarbeitet werden und brauchen oft viele Zusatzstoffe.']] Sacrebleu: {'score': 2.8629993657668873, 'counts': [4, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [21.05263157894737, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3571428571428572, 'translation_length': 19, 'reference_length': 14} Rouge: {'rouge1': 0.23529411764705882, 'rouge2': 0.0625, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.17647058823529413} Sari: {'sari': 35.85478771454382} Flesh Reading Ease: 37.45 ---------------------------------------- Source: ['Hersteller möchten den veganen Alternativen eine möglichst fleisch- und wurstähnliche Konsistenz, Textur und Geschmack verleihen.'] Prediction: ['Hersteller möchten eine möglichst fleisch und wurstähnliche Konsistenz, Textur und Geschmack verleihen.\nSie wollen eine möglichst fleisch und wurstähnliche Alternativen verleihen.'] Label: [['Sie werden so hergestellt, dass sie Fleisch oder Würstchen möglichst ähnlich sind.\nIm Supermarktregal gibt es eine große Palette Fleischersatzprodukte.']] Sacrebleu: {'score': 2.46233736722218, 'counts': [6, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [25.0, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0434782608695652, 'translation_length': 24, 'reference_length': 23} Rouge: {'rouge1': 0.20408163265306123, 'rouge2': 0.0425531914893617, 'rougeL': 0.12244897959183673, 'rougeLsum': 0.16326530612244897} Sari: {'sari': 38.92156862745098} Flesh Reading Ease: 34.95 ---------------------------------------- Source: ['Im unreifen Zustand hat das Fruchtfleisch eine sehr faserige Konsistenz (ähnlich wie Hähnchenfleisch) und ist geschmacksneutral.'] Prediction: ['Im Fruchtfleisch ist eine sehr faserige Konsistenz.\nDas ist geschmacksneutral.'] Label: [['Das Fruchtfleisch von dieser großen Frucht wird ebenfalls als Fleischersatz angeboten.']] Sacrebleu: {'score': 4.456882760699063, 'counts': [3, 0, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [25.0, 4.545454545454546, 2.5, 1.3888888888888888], 'bp': 1.0, 'sys_len': 12, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 12, 'reference_length': 12} Rouge: {'rouge1': 0.1818181818181818, 'rouge2': 0.0, 'rougeL': 0.0909090909090909, 'rougeLsum': 0.1818181818181818} Sari: {'sari': 36.53846153846154} Flesh Reading Ease: 58.0 ---------------------------------------- Source: ['Sie wächst in vielen tropischen Ländern, vor allem in Südostasien. Jackfrucht ist die größte Baumfrucht der Welt.'] Prediction: ['In der Schweiz wächst eine Baumfrucht-Frucht.\nJackfrucht ist die größte Baumfrucht der Welt.'] Label: [['Die weiten Transportwege sind auch bei der Jackfruit problematisch.']] Sacrebleu: {'score': 3.1251907639724417, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 15, 'reference_length': 10} Rouge: {'rouge1': 0.16, 'rouge2': 0.0, 'rougeL': 0.16, 'rougeLsum': 0.16} Sari: {'sari': 36.66666666666667} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['Der Vorteil von Süßlupinen gegenüber Soja ist, dass sie auch in Deutschland angebaut und von Sojaallergikern vertragen werden.'] Prediction: ['Die Schweizerin Süßlupinen wird von ihrem Partner Soja angebaut.\nDer Vorteil von Süßlupinen ist, dass sie auch in Deutschland angebaut werden.'] Label: [['Bei Seitan und Lopino fallen die langen Transportwege für den Grundstoff Soja weg.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7142857142857142, 'translation_length': 24, 'reference_length': 14} Rouge: {'rouge1': 0.1081081081081081, 'rouge2': 0.0, 'rougeL': 0.1081081081081081, 'rougeLsum': 0.1081081081081081} Sari: {'sari': 34.14351851851852} Flesh Reading Ease: 58.35 ---------------------------------------- Source: ['Bei der Seitan-Herstellung wird Weizenmehl mit Wasser vermischt und zu einem festen Teig vermengt. Es hat eine fleischähnliche Konsistenz. Seitan besteht nicht aus Soja, sondern aus Weizenprotein (Weizengluten).'] Prediction: ['Weizenmehl ist bei der Herstellung zu einem festen Teig vermengt.\nEs ist eine fleischähnliche Konsistenz.'] Label: [['Seitan ist ein Fleischersatz aus Weizenmehl und Wasser.']] Sacrebleu: {'score': 3.0098043843528286, 'counts': [3, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [17.647058823529413, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8888888888888888, 'translation_length': 17, 'reference_length': 9} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.08333333333333333} Sari: {'sari': 36.12155388471178} Flesh Reading Ease: 61.35 ---------------------------------------- Source: ['Die Samen der Süßlupinen enthalten wie Sojabohnen sehr viel Eiweiß und können zu einem tofuähnlichen Produkt, dem so genannten Lopino, verarbeitet werden.'] Prediction: ['In Sojabohnen können zu einem veganen Produkt verarbeitet werden.\nSojabohnen können zu einem veganen Lopino verarbeitet werden.'] Label: [['Es ähnelt Tofu und lässt sich auch so verarbeiten.\nDieses Produkt heißt Lopino.\nEs gibt auch Fleischersatz aus Lupinensamen.']] Sacrebleu: {'score': 2.444828721083369, 'counts': [4, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [21.05263157894737, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 0.8539396656235351, 'sys_len': 19, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8539396656235351, 'length_ratio': 0.8636363636363636, 'translation_length': 19, 'reference_length': 22} Rouge: {'rouge1': 0.1, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.1} Sari: {'sari': 44.12698412698413} Flesh Reading Ease: 19.4 ---------------------------------------- Source: ['Während Tofu aus Sojaflüssigkeit hergestellt wird, verwendet man für Tempeh ganze Sojabohnen.'] Prediction: ['Immer wieder sojaflüssigkeit wird in den sozialen Schweizerischen Staaten geschlossen.\nSojabohnen werden in Tofu aus Sojaflüssigkeit hergestellt.'] Label: [['Tofu wird aus Sojaflüssigkeit hergestellt, Tempeh aus ganzen Sojabohnen.']] Sacrebleu: {'score': 9.313775329024091, 'counts': [7, 2, 1, 0], 'totals': [19, 18, 17, 16], 'precisions': [36.8421052631579, 11.11111111111111, 5.882352941176471, 3.125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.3684210526315789, 0.1111111111111111, 0.058823529411764705, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7272727272727273, 'translation_length': 19, 'reference_length': 11} Rouge: {'rouge1': 0.48275862068965514, 'rouge2': 0.2222222222222222, 'rougeL': 0.3448275862068966, 'rougeLsum': 0.3448275862068966} Sari: {'sari': 48.5218253968254} Flesh Reading Ease: 25.25 ---------------------------------------- Source: ['Die meisten von ihnen werden auf der Basis von Sojabohnen produziert, zum Beispiel Tofu, Tempeh und Sojafleisch (texturiertes Soja).'] Prediction: ['Im Sojabohnen produzierten mehrere Tofu, Tempeh und Sojafleisch.\nDie meisten von ihnen werden auf der Basis von Sojabohnen produziert, zum Beispiel Tofu, Tempeh und Sojafleisch.'] Label: [['Dazu gehören Tofu, Tempeh und Sojafleisch.\nViele Produkte werden aus Soja hergestellt.']] Sacrebleu: {'score': 16.436148154531296, 'counts': [8, 5, 4, 3], 'totals': [30, 29, 28, 27], 'precisions': [26.666666666666668, 17.24137931034483, 14.285714285714286, 11.11111111111111], 'bp': 1.0, 'sys_len': 30, 'ref_len': 15} Bleu: {'bleu': 0.16436148154531297, 'precisions': [0.26666666666666666, 0.1724137931034483, 0.14285714285714285, 0.1111111111111111], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 30, 'reference_length': 15} Rouge: {'rouge1': 0.2631578947368421, 'rouge2': 0.16666666666666666, 'rougeL': 0.2631578947368421, 'rougeLsum': 0.2631578947368421} Sari: {'sari': 45.84043925707839} Flesh Reading Ease: 50.5 ---------------------------------------- Source: ['Der Handel bietet eine ganze Reihe von pflanzlichen Fleischalternativen an.'] Prediction: ['Der Fleischalter bietet eine ganze Reihe von pflanzlichen Fleischalternativen an.\nDer Handel bietet eine ganze Reihe von pflanzlichen Fleischalternativen an.'] Label: [['Es gibt mittlerweile eine ganze Reihe Produkte, um Fleisch zu ersetzen.']] Sacrebleu: {'score': 6.908895196867147, 'counts': [4, 2, 1, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 9.523809523809524, 5.0, 2.6315789473684212], 'bp': 1.0, 'sys_len': 22, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.09523809523809523, 0.05, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6923076923076923, 'translation_length': 22, 'reference_length': 13} Rouge: {'rouge1': 0.19354838709677416, 'rouge2': 0.13793103448275862, 'rougeL': 0.19354838709677416, 'rougeLsum': 0.19354838709677416} Sari: {'sari': 42.22222222222222} Flesh Reading Ease: 35.45 ---------------------------------------- Source: ['In feuchten Teigen, wie einem Rührteig, kann man statt einem Ei 80 Gramm Apfelmus verwenden.'] Prediction: ['Ein Gramm Apfelmus kann man statt seiner Ehefrau verwenden.\nIn den letzten Tagen kann man statt einem Ei 80 Gramm Apfelmus verwenden.'] Label: [['Oder man nimmt statt einem Ei jeweils 80 Gramm Apfelmus.']] Sacrebleu: {'score': 10.583814787289993, 'counts': [8, 4, 2, 0], 'totals': [24, 23, 22, 21], 'precisions': [33.333333333333336, 17.391304347826086, 9.090909090909092, 2.380952380952381], 'bp': 1.0, 'sys_len': 24, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.17391304347826086, 0.09090909090909091, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1818181818181817, 'translation_length': 24, 'reference_length': 11} Rouge: {'rouge1': 0.4375, 'rouge2': 0.26666666666666666, 'rougeL': 0.4375, 'rougeLsum': 0.4375} Sari: {'sari': 47.423526765632026} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['Laut Angaben des Vegetarierbund Deutschland lässt sich im Kuchen ein Ei durch eine halbe reife zerdrückte Banane ersetzen. Bei einem Kuchenteig, der nur ein Ei beinhaltet (z. B. Mürbeteig und Hefeteig), kann man das Ei oft einfach weglassen.'] Prediction: ['In Deutschland ist ein Banane-Ei ersetzen.\nDas Ei ist nur ein Ei beinhaltet.\nDas Ei kann oft einfach weglassen.'] Label: [['Beim Backen von Rührteig kann man pro Ei auch eine halbe reife Banane zerdrücken und zum Teig mischen.']] Sacrebleu: {'score': 2.2731543567022867, 'counts': [3, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [13.636363636363637, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.13636363636363635, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1578947368421053, 'translation_length': 22, 'reference_length': 19} Rouge: {'rouge1': 0.15, 'rouge2': 0.0, 'rougeL': 0.05000000000000001, 'rougeLsum': 0.10000000000000002} Sari: {'sari': 31.999977919095567} Flesh Reading Ease: 74.25 ---------------------------------------- Source: ['Das Ei-Ersatzpulver wird mit Wasser vermischt und unter den Teig gerührt.'] Prediction: ['Ein Ersatzpulver wird mit Wasser gerührt.\nDas Ersatzpulver wird mit Wasser vermischt und unter den Teig gerührt.'] Label: [['Dieses Pulver wird dann mit Wasser angerührt und statt Ei verwendet.']] Sacrebleu: {'score': 5.0912128230977505, 'counts': [5, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [26.31578947368421, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 1.0, 'sys_len': 19, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.2631578947368421, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5833333333333333, 'translation_length': 19, 'reference_length': 12} Rouge: {'rouge1': 0.3225806451612903, 'rouge2': 0.06896551724137931, 'rougeL': 0.3225806451612903, 'rougeLsum': 0.2580645161290323} Sari: {'sari': 40.208333333333336} Flesh Reading Ease: 72.05 ---------------------------------------- Source: ['Im Reformhaus, Bioladen oder in gut sortierten Supermärkten gibt es Ei-Ersatzpulver.'] Prediction: ['Im Reformhaus, Bioladen oder in gut sortierten Supermärkten gibt es Ei-Ersatzpulver.\nIn der Schweiz gibt es immer mehr Gesundheitssystems.'] Label: [['Es gibt Ei-Ersatzpulver zu kaufen.']] Sacrebleu: {'score': 2.2731543567022867, 'counts': [3, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [13.636363636363637, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.13636363636363635, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6666666666666665, 'translation_length': 22, 'reference_length': 6} Rouge: {'rouge1': 0.2962962962962963, 'rouge2': 0.08000000000000002, 'rougeL': 0.22222222222222224, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 37.254901960784316} Flesh Reading Ease: 59.35 ---------------------------------------- Source: ['Viele pflanzliche Brotaufstriche kann man auch gut selbst herstellen.'] Prediction: ['Viele pflanzliche Brotaufstriche kann man auch gut selbst herstellen.\nDie Pflanzlichen Brotaufstrichen kann man auch gut selbst herstellen.'] Label: [['Pflanzliche Brotaufstriche lassen sich sehr gut selbst herstellen.']] Sacrebleu: {'score': 12.673718536830808, 'counts': [5, 3, 2, 1], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 15.789473684210526, 11.11111111111111, 5.882352941176471], 'bp': 1.0, 'sys_len': 20, 'ref_len': 9} Bleu: {'bleu': 0.12673718536830808, 'precisions': [0.25, 0.15789473684210525, 0.1111111111111111, 0.058823529411764705], 'brevity_penalty': 1.0, 'length_ratio': 2.2222222222222223, 'translation_length': 20, 'reference_length': 9} Rouge: {'rouge1': 0.3846153846153846, 'rouge2': 0.25, 'rougeL': 0.3846153846153846, 'rougeLsum': 0.3846153846153846} Sari: {'sari': 50.128205128205124} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Man muss wissen: Ohne Zusatzstoffe wie Stabilisatoren, Aromen, Farbstoffe oder Konservierungsstoffe kommen Käsealternativen häufig nicht aus.'] Prediction: ['Zusatzstoffe wie Stabilisatoren, Aromen, Farbstoffe oder Konservierungsstoffe kommen häufig nicht aus.\nOhne Zusatzstoffe wie Stabilisatoren, Aromen, Farbstoffe oder Konservierungsstoffe kommen Käsealternativen häufig nicht aus.'] Label: [['Damit diese Produkte dem Aufschnitt aus tierischen Produkten ähnlich sind, verwendet man bei der Herstellung Zusatzstoffe.']] Sacrebleu: {'score': 1.7557381354086663, 'counts': [4, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [13.333333333333334, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 30, 'reference_length': 18} Rouge: {'rouge1': 0.09302325581395349, 'rouge2': 0.0, 'rougeL': 0.09302325581395349, 'rougeLsum': 0.046511627906976744} Sari: {'sari': 34.26075268817204} Flesh Reading Ease: -1.66 ---------------------------------------- Source: ['Manche Produkte enthalten auch Mandeln, Cashewkerne, Soja und Hefeflocken. Käsealternativen werden nicht aus Milch hergestellt, sondern beispielsweise aus Wasser, pflanzlichem Öl, Kartoffelstärke, Salz und weiteren Zutaten.'] Prediction: ['Manche Produkte enthalten auch Mandeln, Cashewkerne, Soja und Hefeflocken.\nKäsealternativen werden nicht aus Milch hergestellt, sondern beispielsweise aus Wasser, pflanzlichem Öl, Kartoffelstärke, Salz und weiteren Zutaten.'] Label: [['Aus Cashewkernen lässt sich Käse-Ersatz herstellen, der entweder Frischkäse oder Schnittkäse ähnelt.']] Sacrebleu: {'score': 1.2944532586971997, 'counts': [2, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [5.882352941176471, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4285714285714284, 'translation_length': 34, 'reference_length': 14} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.08888888888888889, 'rougeLsum': 0.08888888888888889} Sari: {'sari': 34.04907975460123} Flesh Reading Ease: 26.6 ---------------------------------------- Source: ['Das können zum Beispiel Erdnuss-, Mandel- oder Haselnussmus sein oder Aufstriche, die auf einer Gemüsebasis und pflanzlichem Öl basieren.'] Prediction: ['Erdnuss-, Mandel oder Haselnussmus können auf einer Gemüsebasis und pflanzlichem Öl basieren.\nEs können zum Beispiel Erdnuss-, Mandel oder Haselnussmus sein oder Aufstriche sein.'] Label: [['Auch Mus aus Erdnüssen, Mandeln oder Haselnüssen ist lecker auf dem Brot.']] Sacrebleu: {'score': 1.8884748972625875, 'counts': [4, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [14.285714285714286, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 28, 'reference_length': 14} Rouge: {'rouge1': 0.0975609756097561, 'rouge2': 0.0, 'rougeL': 0.0975609756097561, 'rougeLsum': 0.0975609756097561} Sari: {'sari': 35.833333333333336} Flesh Reading Ease: 51.0 ---------------------------------------- Source: ['Anstelle von Wurst oder Käse als Brotbelag greifen viele Veganer auch zu pflanzlichen Brotaufstrichen.'] Prediction: ['Viele veganer greifen auch zu pflanzlichen Brotaufstrichen.\nAuch wenn sie vegan geben, greifen sie auch zu pflanzlichen Brotaufstrichen.'] Label: [['Als Brotbelag wählen die meisten Veganer Pflanzenaufstriche.']] Sacrebleu: {'score': 1.8160849415439309, 'counts': [1, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [4.761904761904762, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.047619047619047616, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.625, 'translation_length': 21, 'reference_length': 8} Rouge: {'rouge1': 0.07692307692307691, 'rouge2': 0.0, 'rougeL': 0.07692307692307691, 'rougeLsum': 0.07692307692307691} Sari: {'sari': 32.80423280423281} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Durch die Milchsäuregärung (Fermentation) gerinnt die Sojaflüssigkeit, sie erhält eine dickflüssige Konsistenz und einen leicht säuerlichen Geschmack.'] Prediction: ['Die Sojaflüssigkeit ist eine dickflüssige Konsistenz.\nDiese kommt aus dem Sojaflüssigkeit zu einer dickflüssigen Konsistenz.'] Label: [['Sojagurt gibt es wie Joghurt in verschiedenen Geschmacksrichtungen.']] Sacrebleu: {'score': 2.2869567780619007, 'counts': [1, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [5.882352941176471, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8888888888888888, 'translation_length': 17, 'reference_length': 9} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 44.047619047619044} Flesh Reading Ease: 32.1 ---------------------------------------- Source: ['Für Sojagurt versetzt man die Sojaflüssigkeit (s. Milchalternativen) mit Milchsäurebakterien.'] Prediction: ['Manche Sojagurt versetzt sich mit Milchsäurebakterien.\nSojagurt versetzt man die Sojaflüssigkeit mit Milchsäurebakterien.'] Label: [['Für den Sojagurt verarbeitet man Flüssigkeit, die aus Sojabohnen hergestellt wird.']] Sacrebleu: {'score': 3.716499092256817, 'counts': [4, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [26.666666666666668, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1538461538461537, 'translation_length': 15, 'reference_length': 13} Rouge: {'rouge1': 0.27586206896551724, 'rouge2': 0.0, 'rougeL': 0.20689655172413793, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 36.38047138047138} Flesh Reading Ease: 9.7 ---------------------------------------- Source: ['Diese Bezeichnungen sind nur Milch tierischen Ursprungs und daraus produzierten Milcherzeugnissen vorbehalten (Urteil des Europäischen Gerichtshofs (EuGH) vom 14. Juni 2017). Rein pflanzliche Produkte dürfen nicht unter Bezeichnungen wie „Milch“, „Rahm“, „Butter“, „Käse“, „Molke“, „Buttermilch“ oder „Joghurt“ vermarktet werden.'] Prediction: ['Nur Milch ist das erste Milcher-Bezeichnungsverbot.\nDie Ursprungs-Bezeichnungen sind nur Milcherzeugnissen vorbehalten.'] Label: [['All diese Drinks dürfen nicht als „Milch“ verkauft werden, denn Milch ist die Bezeichnung für das tierische Produkt.']] Sacrebleu: {'score': 4.40002318338242, 'counts': [4, 1, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [28.571428571428573, 7.6923076923076925, 4.166666666666667, 2.272727272727273], 'bp': 0.6514390575310556, 'sys_len': 14, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.07692307692307693, 0.0, 0.0], 'brevity_penalty': 0.6514390575310556, 'length_ratio': 0.7, 'translation_length': 14, 'reference_length': 20} Rouge: {'rouge1': 0.23529411764705882, 'rouge2': 0.0625, 'rougeL': 0.1764705882352941, 'rougeLsum': 0.23529411764705882} Sari: {'sari': 53.8826478454138} Flesh Reading Ease: 16.05 ---------------------------------------- Source: ['Klassische Alternativen zu Kuhmilch sind vor allem Sojadrinks, Getreidedrinks (z. B. Hafer- und Reisdrinks) sowie Mandeldrinks.'] Prediction: ['Klassische Alternativen zu Kuhmilch sind vor allem Sojadrinks, Getreidedrinks (z.\nB. Hafer- und Reisdrinks) sowie Mandeldrinks.\nSojadrinks sind vor allem Sojadrinks, Getreidedrinks (z.\nB. Hafer- und Reisdrinks) sowie Mandeldrinks.'] Label: [['Es gibt eine ganze Reihe pflanzlicher Drinks, die gut statt Milch funktionieren, zum Beispiel aus Soja, Getreide wie Hafer oder Reis oder aus Mandeln.']] Sacrebleu: {'score': 1.1784531110724779, 'counts': [3, 0, 0, 0], 'totals': [41, 40, 39, 38], 'precisions': [7.317073170731708, 1.25, 0.6410256410256411, 0.32894736842105265], 'bp': 1.0, 'sys_len': 41, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.07317073170731707, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4642857142857142, 'translation_length': 41, 'reference_length': 28} Rouge: {'rouge1': 0.03773584905660377, 'rouge2': 0.0, 'rougeL': 0.03773584905660377, 'rougeLsum': 0.03773584905660377} Sari: {'sari': 34.375} Flesh Reading Ease: 55.7 ---------------------------------------- Source: ['So ist es beispielsweise möglich, dass ein Produkt einen Farbstoff enthält, der nicht-vegan ist.'] Prediction: ['Ein Farbstoff enthält einen nicht-veganen Produkt.\nDer nicht-vegan ist nicht-vegan.'] Label: [['Oder dass zum Beispiel ein nicht-veganer Farbstoff enthalten ist.\nEs kann also sein, dass trotzdem bei der Herstellung ein tierisches Produkt verwendet wurde.']] Sacrebleu: {'score': 1.5769448381039926, 'counts': [5, 0, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [41.666666666666664, 4.545454545454546, 2.5, 1.3888888888888888], 'bp': 0.31140322391459774, 'sys_len': 12, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.4166666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 0.31140322391459774, 'length_ratio': 0.46153846153846156, 'translation_length': 12, 'reference_length': 26} Rouge: {'rouge1': 0.3157894736842105, 'rouge2': 0.0, 'rougeL': 0.15789473684210525, 'rougeLsum': 0.2631578947368421} Sari: {'sari': 41.77350427350427} Flesh Reading Ease: 69.7 ---------------------------------------- Source: ['Die Kriterien dafür können von Unternehmen zu Unternehmen jedoch unterschiedlich ausfallen.'] Prediction: ['Unternehmen können sich unterschiedlich ausfallen.\nDie Kriterien können dafür jedoch unterschiedlich ausfallen.'] Label: [['Allerdings gibt es für solche Logos keine genauen Vorschriften.']] Sacrebleu: {'score': 2.8398387225677895, 'counts': [1, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [7.142857142857143, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 14, 'reference_length': 10} Rouge: {'rouge1': 0.08, 'rouge2': 0.0, 'rougeL': 0.08, 'rougeLsum': 0.08} Sari: {'sari': 35.0} Flesh Reading Ease: 16.05 ---------------------------------------- Source: ['Manche Lebensmittelhersteller kennzeichnen ihre veganen Produkte mit ihrem eigenen Logo.'] Prediction: ['Manche Lebensmittelhersteller kennzeichnen ihre veganen Produkte mit ihrem eigenen Logo.\nSie kennzeichnen ihre veganen Produkte mit ihrem eigenen Logo.'] Label: [['Damit kennzeichnen sie ihre veganen Produkte.\nEinige Hersteller von Lebensmitteln haben eigene Logos entwickelt.']] Sacrebleu: {'score': 8.039313477786735, 'counts': [6, 2, 1, 0], 'totals': [21, 20, 19, 18], 'precisions': [28.571428571428573, 10.0, 5.2631578947368425, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.1, 0.05263157894736842, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3125, 'translation_length': 21, 'reference_length': 16} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.12903225806451615, 'rougeL': 0.30303030303030304, 'rougeLsum': 0.24242424242424243} Sari: {'sari': 44.50126262626262} Flesh Reading Ease: 24.25 ---------------------------------------- Source: ['Der Einsatz von GVO muss deklariert werden.'] Prediction: ['Der Schweizerische Ski-Team muss wegen eines Einsatzfalls für den Schweizer Grenze gefahren werden.\nDer Einsatz muss deklariert werden.'] Label: [['Das muss dann aber extra gekennzeichnet werden.']] Sacrebleu: {'score': 4.237713199752784, 'counts': [3, 1, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [15.0, 5.2631578947368425, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 20, 'reference_length': 8} Rouge: {'rouge1': 0.14814814814814817, 'rouge2': 0.0, 'rougeL': 0.14814814814814817, 'rougeLsum': 0.14814814814814817} Sari: {'sari': 42.22222222222222} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Produkte, die das Siegel Veganblume tragen, dürfen gentechnisch veränderte Organismen (GVO) enthalten, die nicht tierischen Ursprungs sind.'] Prediction: ['Gentechnische Organismen wollen vegan-Produkte enthalten.\nDie Vegan-Organisationen wollen nicht tierischen Ursprungs sind.'] Label: [['Bei diesem Gütesiegel dürfen auch gentechnisch veränderte Pflanzen verwendet werden.\nDie Veganblume kennzeichnet vegane Lebensmittel.\nAuch die veganen Produkte mit dem V-Label sind streng geprüft.']] Sacrebleu: {'score': 2.484772828910323, 'counts': [4, 1, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [28.571428571428573, 7.6923076923076925, 4.166666666666667, 2.272727272727273], 'bp': 0.36787944117144233, 'sys_len': 14, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.07692307692307693, 0.0, 0.0], 'brevity_penalty': 0.36787944117144233, 'length_ratio': 0.5, 'translation_length': 14, 'reference_length': 28} Rouge: {'rouge1': 0.13636363636363638, 'rouge2': 0.0, 'rougeL': 0.09090909090909091, 'rougeLsum': 0.13636363636363638} Sari: {'sari': 32.41435035552683} Flesh Reading Ease: -7.36 ---------------------------------------- Source: ['Daher hat die Europäische Vegetarierunion (EVU) das sogenannte V-Label für vegetarische und vegane Produkte entwickelt.'] Prediction: ['Die Europäische Vegetarierunion hat das sogenannte V-Label für vegetarische und vegane Produkte entwickelt.\nDie EU-Vize Vegetarierunion hat das sogenannte V-Label entwickelt.'] Label: [['Das V-Label gibt es in einer Ausführung für vegetarische und für vegane Produkte.']] Sacrebleu: {'score': 8.383924775392588, 'counts': [7, 3, 1, 0], 'totals': [23, 22, 21, 20], 'precisions': [30.434782608695652, 13.636363636363637, 4.761904761904762, 2.5], 'bp': 1.0, 'sys_len': 23, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.30434782608695654, 0.13636363636363635, 0.047619047619047616, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6428571428571428, 'translation_length': 23, 'reference_length': 14} Rouge: {'rouge1': 0.41860465116279066, 'rouge2': 0.24390243902439027, 'rougeL': 0.41860465116279066, 'rougeLsum': 0.41860465116279066} Sari: {'sari': 44.63203463203463} Flesh Reading Ease: -0.16 ---------------------------------------- Source: ['Sprechen Sie mit Ihrem Arzt oder einer Ernährungsfachkraft, wie sie sich mit allen notwendigen Nährstoffen in ausreichender Menge versorgen können. Wenn Sie vegan essen wollen, sollten Sie sich vorher gut informieren.'] Prediction: ['Eine vegane Menge wollen sie vegan essen.\nSie sollten sich vorher gut informieren.'] Label: [['Zum Beispiel, ob vegane Ernährung für einen selbst gut möglich ist und wie man alle Nährstoffe in ausreichender Menge zu sich nimmt.\nWer sich vegan ernähren möchte, lässt sich am besten dazu beraten.']] Sacrebleu: {'score': 0.9861166759769653, 'counts': [7, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [46.666666666666664, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.2306931822549628, 'sys_len': 15, 'ref_len': 37} Bleu: {'bleu': 0.0, 'precisions': [0.4666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 0.2306931822549629, 'length_ratio': 0.40540540540540543, 'translation_length': 15, 'reference_length': 37} Rouge: {'rouge1': 0.18867924528301888, 'rouge2': 0.0, 'rougeL': 0.15094339622641512, 'rougeLsum': 0.18867924528301888} Sari: {'sari': 34.84499021401622} Flesh Reading Ease: 62.35 ---------------------------------------- Source: ['Kein Wunder, dass es immer mehr vegane Lebensmittel im Handel gibt.'] Prediction: ['Immer mehr vegane Lebensmittel gibt es immer mehr vegane Lebensmittel im Handel.\nDas hat mehr als eine halbe Million Franken geschafft.'] Label: [['Die Auswahl an veganen Lebensmitteln wird immer größer.']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5555555555555554, 'translation_length': 23, 'reference_length': 9} Rouge: {'rouge1': 0.06666666666666667, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.06666666666666667} Sari: {'sari': 36.36363636363636} Flesh Reading Ease: 58.35 ---------------------------------------- Source: ['Veganer verzichten auf alle Lebensmittel tierischen Ursprungs.'] Prediction: ['Viele Lebensmittel wurden in den USA verletzt.\nNun wurden noch viele vegane Lebensmittel gefordert.'] Label: [['Sie verzichten auf alle tierischen Produkte.\nVeganer essen ausschließlich pflanzliche Lebensmittel.']] Sacrebleu: {'score': 3.21858262703621, 'counts': [3, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2307692307692308, 'translation_length': 16, 'reference_length': 13} Rouge: {'rouge1': 0.07692307692307691, 'rouge2': 0.0, 'rougeL': 0.07692307692307691, 'rougeLsum': 0.07692307692307691} Sari: {'sari': 34.65608465608466} Flesh Reading Ease: 50.15 ---------------------------------------- Source: ['Im Kühlschrank lagern die Speisen am besten im mittleren oder oberen Kühlschrankfach etwa drei bis vier Tage.'] Prediction: ['Im Kühlschrank lagern die Speisen am besten drei bis vier Tage.\nIm Kühlschrank lagern die Speisen am besten im mittleren oder oberen Kühlschrankfach etwa drei bis vier Tage.'] Label: [['Dort können sie drei oder vier Tage lang gelagert werden.\nDie einzelnen Behälter kommen dann in den Kühlschrank.']] Sacrebleu: {'score': 3.3961882197738325, 'counts': [7, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [23.333333333333332, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.23333333333333334, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 30, 'reference_length': 20} Rouge: {'rouge1': 0.30769230769230765, 'rouge2': 0.08, 'rougeL': 0.23076923076923075, 'rougeLsum': 0.2692307692307692} Sari: {'sari': 39.120370370370374} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ['Einige Lebensmittel schmecken eingekocht besonders lecker, zum Beispiel eine selbstgemachte Tomatensauce mit Tomaten aus dem eigenen Garten.'] Prediction: ['Einige Lebensmittel schmecken eingekocht, zum Beispiel eine Tomatensauce mit Tomaten aus dem eigenen Garten.\nEinige Lebensmittel schmecken eingekocht besonders lecker.'] Label: [['Davon können Sie eine größere Menge einkochen und dann in Gläser abfüllen und aufbewahren.\nWie wäre es zum Beispiel mit fruchtiger Tomatensoße?']] Sacrebleu: {'score': 3.9649497145198485, 'counts': [5, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [21.73913043478261, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 0.9574533680683809, 'sys_len': 23, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 0.9574533680683809, 'length_ratio': 0.9583333333333334, 'translation_length': 23, 'reference_length': 24} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.043478260869565216, 'rougeL': 0.125, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 37.9981884057971} Flesh Reading Ease: 23.75 ---------------------------------------- Source: ['Vorgekochte Mahlzeiten lagern Sie am besten in wiederverwendbaren Vorratsboxen aus Glas oder Plastik oder in Twist-Off- oder Einmachgläsern (Weck-Gläsern).'] Prediction: ['Vorgekochte Mahlzeiten lagern Sie am besten in wiederverwendbaren Vorratsboxen.\nSie lagern in Twist-Off oder Einmachgläsern.'] Label: [['Die Boxen gibt es aus Kunststoff, Glas und Metall.\nGut geeignet sind Vorratsboxen mit fest schließendem Deckel.']] Sacrebleu: {'score': 2.522888561974022, 'counts': [3, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [17.647058823529413, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.8382234324229999, 'sys_len': 17, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8382234324229999, 'length_ratio': 0.85, 'translation_length': 17, 'reference_length': 20} Rouge: {'rouge1': 0.05714285714285714, 'rouge2': 0.0, 'rougeL': 0.05714285714285714, 'rougeLsum': 0.05714285714285714} Sari: {'sari': 33.33333333333333} Flesh Reading Ease: 32.1 ---------------------------------------- Source: ['Meal Prepping ist für alle interessant, die viel unterwegs sind, eine Menge um die Ohren haben, alleine leben, weniger Lebensmittel wegwerfen oder die Eigenkreationen gerne „to go“ mitnehmen möchten.'] Prediction: ['Meal Prepping ist für alle interessant, die viel unterwegs sind, eine Menge um die Ohren haben, alleine leben.\nDie Prepping-Menge wird von der Veranstaltung gerne "to go" mitnehmen möchten.'] Label: [['Insgesamt landet bei einem Wocheneinkauf mit Plan am Ende meist weniger Essen in der Abfalltonne.\nDenn für sie sind die üblichen Packungen oft zu groß.\nVor allem alleinlebende Menschen haben dadurch noch mehr Vorteile.\nDas spart Geld und Verpackungsmaterial.\nWer für mehrere Mahlzeiten einkauft, kann oft größere Packungen auswählen.\nDie vorgekochten Essen können Sie auch prima zur Arbeit mitnehmen.']] Sacrebleu: {'score': 1.332676024106702, 'counts': [10, 1, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [27.77777777777778, 2.857142857142857, 1.4705882352941178, 0.7575757575757576], 'bp': 0.43459820850707825, 'sys_len': 36, 'ref_len': 66} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.02857142857142857, 0.0, 0.0], 'brevity_penalty': 0.43459820850707814, 'length_ratio': 0.5454545454545454, 'translation_length': 36, 'reference_length': 66} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.02127659574468085, 'rougeL': 0.14583333333333334, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 35.24496638627073} Flesh Reading Ease: 54.35 ---------------------------------------- Source: ['Für die Zubereitung muss blanchiertes Gemüse nicht erst auftauen, sondern wandert direkt in die Pfanne.'] Prediction: ['Die Pfanne muss eine Zubereitung für die Zubereitung aufgeben.\nDie Zubereitung muss blanchiertes Gemüse nicht erst auftauen, sondern wandert direkt in die Pfanne.'] Label: [['Sie können das Gemüse direkt aus dem Gefriergerät in einer Pfanne anbraten oder auch in Suppen geben.']] Sacrebleu: {'score': 2.1601524349994397, 'counts': [5, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [19.23076923076923, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.19230769230769232, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4444444444444444, 'translation_length': 26, 'reference_length': 18} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.04651162790697675, 'rougeL': 0.22222222222222224, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 37.301587301587304} Flesh Reading Ease: 51.5 ---------------------------------------- Source: ['Nach dem Abtropfen können Sie alles gut verschlossen in einem wiederverwendbaren Plastik- oder Glasbehältnis im Gefriergerät lagern.'] Prediction: ['Im Gefriergerät wurden die Abtropfen verschlossen.\nSie können alles gut verschlossen werden.'] Label: [['Das blanchierte Gemüse in Portionen abfüllen und einfrieren.']] Sacrebleu: {'score': 2.8398387225677895, 'counts': [1, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [7.142857142857143, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5555555555555556, 'translation_length': 14, 'reference_length': 9} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 42.255892255892256} Flesh Reading Ease: 51.15 ---------------------------------------- Source: ['Zum Blanchieren geben Sie gewaschenes und zerkleinertes Gemüse für eine bis maximal zwei Minuten in kochendes Wasser und danach für einige Sekunden in ein Eiswasserbad.'] Prediction: ['Die Schweizer Weltpiele sind für eine bis maximal zwei Minuten in kochendes Wasser.\nDie Gemüse geben zum Blanchieren und zerkleinertes Gemüse für eine bis maximal zwei Minuten in kochendes Wasser.'] Label: [['Das nennt man blanchieren.\nAnschließend für ein paar Sekunden in Eiswasser tauchen.\nDann für ein bis zwei Minuten in kochendes Wasser geben.\nVerschiedene Gemüse putzen und kleinschneiden.']] Sacrebleu: {'score': 14.046789948305587, 'counts': [14, 4, 3, 2], 'totals': [32, 31, 30, 29], 'precisions': [43.75, 12.903225806451612, 10.0, 6.896551724137931], 'bp': 1.0, 'sys_len': 32, 'ref_len': 31} Bleu: {'bleu': 0.1404678994830558, 'precisions': [0.4375, 0.12903225806451613, 0.1, 0.06896551724137931], 'brevity_penalty': 1.0, 'length_ratio': 1.032258064516129, 'translation_length': 32, 'reference_length': 31} Rouge: {'rouge1': 0.4923076923076923, 'rouge2': 0.22222222222222224, 'rougeL': 0.3384615384615384, 'rougeLsum': 0.4615384615384615} Sari: {'sari': 47.09610242698478} Flesh Reading Ease: 48.0 ---------------------------------------- Source: ['Geben Sie erst unmittelbar vor dem Verzehr nach Belieben Kräuter, Senf, Honig oder frischen Knoblauch hinzu.'] Prediction: ['Die Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizerinnen und Schweizer vermuten ihre Verletzungen.\nSie werden in den letzten Tagen geschickt.'] Label: [['Dieses Grund-Dressing können Sie jeden Tag anders verfeinern, zum Beispiel mit Kräutern, Senf oder Honig.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 24, 'reference_length': 18} Rouge: {'rouge1': 0.049999999999999996, 'rouge2': 0.0, 'rougeL': 0.049999999999999996, 'rougeLsum': 0.049999999999999996} Sari: {'sari': 51.157407407407405} Flesh Reading Ease: 52.0 ---------------------------------------- Source: ['Mischen Sie dazu Essig und Öl (zum Beispiel Balsamico und Olivenöl) etwa im Verhältnis 1: 2 mit etwas Wasser, Salz und Pfeffer.'] Prediction: ['Mischen Sie dazu Essig und Öl (zum Beispiel Balsamico und Olivenöl) 1: 2 mit etwas Wasser, Salz und Pfeffer.\nEs ist der erste Spiel in der Schweiz.\nEs ist der erste Mal, dass Essig und Öl im Verhältnis 1: 2 mit etwas Wasser, Salz und Pfeffer.'] Label: [['Mischen Sie 1 Teil Essig, 2 Teile Öl, etwas Wasser, Salz und Pfeffer zu einem Grundrezept.']] Sacrebleu: {'score': 10.520850573092003, 'counts': [15, 6, 4, 3], 'totals': [56, 55, 54, 53], 'precisions': [26.785714285714285, 10.909090909090908, 7.407407407407407, 5.660377358490566], 'bp': 1.0, 'sys_len': 56, 'ref_len': 20} Bleu: {'bleu': 0.10520850573092008, 'precisions': [0.26785714285714285, 0.10909090909090909, 0.07407407407407407, 0.05660377358490566], 'brevity_penalty': 1.0, 'length_ratio': 2.8, 'translation_length': 56, 'reference_length': 20} Rouge: {'rouge1': 0.34375, 'rouge2': 0.16129032258064516, 'rougeL': 0.3125, 'rougeLsum': 0.28125} Sari: {'sari': 47.062174628987556} Flesh Reading Ease: 76.95 ---------------------------------------- Source: ['Mit der richtigen Küchenhygiene geben Sie Mikroorganismen keine Chance.'] Prediction: ['Mikroorganismen sind mit richtigen Küchenhygiene zu kämpfen.\nSie wollen mit der richtigen Küchenhygiene keine Chance geben.'] Label: [['Beim Meal Prepping ist es besonders wichtig, auf Hygiene und Sauberkeit in der Küche zu achten.']] Sacrebleu: {'score': 2.8265205879007453, 'counts': [3, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [16.666666666666668, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 18, 'reference_length': 18} Rouge: {'rouge1': 0.16666666666666669, 'rouge2': 0.0, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.16666666666666669} Sari: {'sari': 36.94444444444444} Flesh Reading Ease: 25.75 ---------------------------------------- Source: ['Als Kochevent mit der Familie oder Freunden macht Meal Prepping doppelt Spaß.'] Prediction: ['Meal Prepping ist ein ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz ganz'] Label: [['Oder Sie laden Freunde zum Meal Prepping ein.\nMachen Sie aus dem Meal Prepping ein Erlebnis für die ganze Familie.\nVor allem macht es dann viel mehr Spaß!\nSchneller geht es, wenn mehrere Leute gemeinsam kochen.']] Sacrebleu: {'score': 0.3501351594756015, 'counts': [3, 1, 0, 0], 'totals': [225, 224, 223, 222], 'precisions': [1.3333333333333333, 0.44642857142857145, 0.2242152466367713, 0.11261261261261261], 'bp': 1.0, 'sys_len': 225, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.013333333333333334, 0.004464285714285714, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.487804878048781, 'translation_length': 225, 'reference_length': 41} Rouge: {'rouge1': 0.02290076335877863, 'rouge2': 0.007692307692307693, 'rougeL': 0.02290076335877863, 'rougeLsum': 0.02290076335877863} Sari: {'sari': 58.804713804713806} Flesh Reading Ease: -103.51 ---------------------------------------- Source: ['Etwa 1, 5 bis 3 Stunden dauern Vorbereitung, Kochen und Aufräumen, je nachdem, wie aufwendig die Gerichte sind.'] Prediction: ['Die Gerichte sind in den letzten Tagen aufgeführt.\nDie Schweizer Staatsanwaltschaft hat nun Vorbereitung, Kochen und Aufräumen geschlossen.\nDie Schweizer Staatsanwaltschaft hat nun Vorbereitung, Kochen und Aufräumen gesucht.'] Label: [['Sie brauchen zwischen anderthalb und drei Stunden Zeit, bis alles geschnippelt, gekocht und in einzelnen Portionen verpackt ist.']] Sacrebleu: {'score': 1.7577459356554812, 'counts': [6, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [18.181818181818183, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5714285714285714, 'translation_length': 33, 'reference_length': 21} Rouge: {'rouge1': 0.12244897959183673, 'rouge2': 0.0, 'rougeL': 0.08163265306122448, 'rougeLsum': 0.08163265306122448} Sari: {'sari': 35.620370370370374} Flesh Reading Ease: 53.7 ---------------------------------------- Source: ['Beim Einkauf lagern gekühlte und tiefgekühlte Lebensmittel kurzfristig am besten in einer Kühltasche.'] Prediction: ['Beim Einkauf lagern tiefgekühlte Lebensmittel.\nDer Einkauf lagern gekühlte Lebensmittel.\nDer Einkauf lagern gekühlte und tiefgekühlte Lebensmittel kurzfristig am besten in einer Kühltasche.'] Label: [['So bringen Sie gekühlte Lebensmittel sicher nach Hause.\nBeim Einkauf ist eine Kühltasche nützlich.']] Sacrebleu: {'score': 4.699443186217678, 'counts': [7, 2, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [26.923076923076923, 8.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2692307692307692, 0.08, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.625, 'translation_length': 26, 'reference_length': 16} Rouge: {'rouge1': 0.3111111111111111, 'rouge2': 0.18604651162790697, 'rougeL': 0.26666666666666666, 'rougeLsum': 0.3111111111111111} Sari: {'sari': 40.40100250626566} Flesh Reading Ease: 37.75 ---------------------------------------- Source: ['Verständlich, wenn Kochen oder die Einkaufsplanung nebenbei erledigt werden und der Hunger unterwegs mit dem belegten Brötchen auf die Hand gestillt wird.'] Prediction: ['Eine Hunger-Pandemie hat sich mit dem Brötchen auf die Hand gestillt.\nDie Hunger-Pandemie hat sich unterwegs mit dem belegten Brötchen auf die Hand gestillt.'] Label: [['Das ist verständlich, denn man möchte ja irgendwann Feierabend haben.\nUnd sucht sich dort Lebensmittel, die „schnell gehen“.\nAlso saust man nach der Arbeit gestresst durch den Supermarkt.\nDa bleibt wenig Zeit für das Einkaufen und Kochen übrig.']] Sacrebleu: {'score': 1.0223308944218097, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 0.50041992036057, 'sys_len': 26, 'ref_len': 44} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 0.50041992036057, 'length_ratio': 0.5909090909090909, 'translation_length': 26, 'reference_length': 44} Rouge: {'rouge1': 0.057971014492753624, 'rouge2': 0.0, 'rougeL': 0.057971014492753624, 'rougeLsum': 0.057971014492753624} Sari: {'sari': 31.70218991337602} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Ob Single-Haushalt, Wohngemeinschaft oder Familie – für viele Menschen besteht der Alltag aus Beruf, Familie und dem berühmten Freizeitstress.'] Prediction: ['Die Single-Haushalt, Wohngemeinschaft oder Familie besteht der Alltag aus Beruf.\nOb Single-Haushalt oder Familie besteht der Alltag aus Beruf, Familie und dem berühmten Freizeitstress.'] Label: [['Arbeit, Familie, Freizeit - in der Woche ist häufig viel zu tun.']] Sacrebleu: {'score': 3.3582360261774293, 'counts': [5, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [17.857142857142858, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.17857142857142858, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8666666666666667, 'translation_length': 28, 'reference_length': 15} Rouge: {'rouge1': 0.10256410256410256, 'rouge2': 0.0, 'rougeL': 0.10256410256410256, 'rougeLsum': 0.10256410256410256} Sari: {'sari': 37.30517848164907} Flesh Reading Ease: 51.0 ---------------------------------------- Source: ['Kurz unter Rühren aufkochen lassen und sofort in heiß ausgespülte Einmachgläser oder Glasflaschen mit großer Öffnung abfüllen.'] Prediction: ['In der Schweiz wird es zu einem starken Öffnungsverbot gekommen.\nIn heißen Einmachgläser und in Glasflaschen werden großer Öffnung abfüllen.'] Label: [['Das heiße Ketchup in ein heiß ausgespültes Einmachglas oder eine Glasflasche geben Ketchup im Topf kurz aufkochen lassen']] Sacrebleu: {'score': 1.727223799216787, 'counts': [1, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [4.545454545454546, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.045454545454545456, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2222222222222223, 'translation_length': 22, 'reference_length': 18} Rouge: {'rouge1': 0.0909090909090909, 'rouge2': 0.0, 'rougeL': 0.0909090909090909, 'rougeLsum': 0.0909090909090909} Sari: {'sari': 29.761904761904763} Flesh Reading Ease: 58.85 ---------------------------------------- Source: ['Dann die Stärke mit etwas kaltem Wasser verquirlen und in das Ketchup einrühren.'] Prediction: ['In der Schweiz kommt es zu einem kalten Wasser.\nDann kommt es in das Ketchup zu einem Wasser.\nWährend der Stärke mit etwas kaltem Wasser verquirlen wurde, kann man das Ketchup einrühren.'] Label: [['Die Speisestärke mit etwas kaltem Wasser mischen und dann in das Ketchup einrühren']] Sacrebleu: {'score': 10.79529355805304, 'counts': [8, 6, 4, 1], 'totals': [36, 35, 34, 33], 'precisions': [22.22222222222222, 17.142857142857142, 11.764705882352942, 3.0303030303030303], 'bp': 1.0, 'sys_len': 36, 'ref_len': 13} Bleu: {'bleu': 0.10795293558053039, 'precisions': [0.2222222222222222, 0.17142857142857143, 0.11764705882352941, 0.030303030303030304], 'brevity_penalty': 1.0, 'length_ratio': 2.769230769230769, 'translation_length': 36, 'reference_length': 13} Rouge: {'rouge1': 0.44, 'rouge2': 0.3333333333333333, 'rougeL': 0.36, 'rougeLsum': 0.44} Sari: {'sari': 45.8363134450091} Flesh Reading Ease: 81.55 ---------------------------------------- Source: ['Lorbeerblätter und Nelke entfernen und alles fein pürieren.'] Prediction: ['Immer mehr wieder wieder werden lorbeerblätter und Nelke entfernen.\nDas ist nicht bekannt, sondern auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch a'] Label: [['Die Tomatenmischung mit einem Stabmixer fein pürieren Nelke und Lorbeeren aus dem Topf nehmen']] Sacrebleu: {'score': 0.19155064322688273, 'counts': [2, 0, 0, 0], 'totals': [221, 220, 219, 218], 'precisions': [0.9049773755656109, 0.22727272727272727, 0.1141552511415525, 0.05733944954128441], 'bp': 1.0, 'sys_len': 221, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.00904977375565611, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 15.785714285714286, 'translation_length': 221, 'reference_length': 14} Rouge: {'rouge1': 0.01702127659574468, 'rouge2': 0.0, 'rougeL': 0.00851063829787234, 'rougeLsum': 0.00851063829787234} Sari: {'sari': 29.12037037037037} Flesh Reading Ease: 6.15 ---------------------------------------- Source: ['Tomatenwürfel in den Topf geben und etwa 45 Minuten bei kleiner Hitze köcheln lassen.'] Prediction: ['Tomatenwürfel köcheln 45 Minuten bei kleiner Hitze köcheln lassen.\nTomatenwürfel hat etwa 45 Minuten bei kleiner Hitze köcheln lassen.'] Label: [['Tomatenwürfel dazu geben und etwa 45 Minuten köcheln lassen (bei kleiner Hitze)']] Sacrebleu: {'score': 13.304062588217075, 'counts': [9, 5, 2, 0], 'totals': [21, 20, 19, 18], 'precisions': [42.857142857142854, 25.0, 10.526315789473685, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.42857142857142855, 0.25, 0.10526315789473684, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 21, 'reference_length': 14} Rouge: {'rouge1': 0.5789473684210527, 'rouge2': 0.3888888888888889, 'rougeL': 0.5263157894736842, 'rougeLsum': 0.4210526315789474} Sari: {'sari': 37.395382395382384} Flesh Reading Ease: 41.8 ---------------------------------------- Source: ['Essig mit Zucker, Salz und Gewürzen zum Kochen bringen.'] Prediction: ['Zum Kochen bringen Nutzer und Nutzer-Zucker zum Kochen.\nWir sind das Unternehmen und das Unternehmen.'] Label: [['In einem Topf den Essig mit Zucker, Salz und den Gewürzen (Nelke und Lorbeerblätter) zum Kochen bringen']] Sacrebleu: {'score': 5.733109687108448, 'counts': [5, 2, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [29.41176470588235, 12.5, 3.3333333333333335, 1.7857142857142858], 'bp': 0.8382234324229999, 'sys_len': 17, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.29411764705882354, 0.125, 0.0, 0.0], 'brevity_penalty': 0.8382234324229999, 'length_ratio': 0.85, 'translation_length': 17, 'reference_length': 20} Rouge: {'rouge1': 0.34285714285714286, 'rouge2': 0.1212121212121212, 'rougeL': 0.17142857142857143, 'rougeLsum': 0.22857142857142856} Sari: {'sari': 23.425925925925927} Flesh Reading Ease: 67.2 ---------------------------------------- Source: ['Tomaten waschen, Stielansätze entfernen und Fruchtfleisch würfeln.'] Prediction: ['In der Schweiz wurden am Sonntag alle mehrere Tausend Personen entfernen.\nSie wurden dabei von der Polizei entflammt.'] Label: [['Tomaten waschen und in kleine Würfel schneiden 1500 Gramm reife Tomaten, zwei Zwiebeln, zwei Knoblauchzehen, vier Esslöffel Tomatenmark (aus der Dose), drei Esslöffel Olivenöl, Salz, Pfeffer, eine Prise Zucker']] Sacrebleu: {'score': 0.7784195183058047, 'counts': [1, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [5.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 0.40656965974059917, 'sys_len': 20, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.05, 0.0, 0.0, 0.0], 'brevity_penalty': 0.40656965974059905, 'length_ratio': 0.5263157894736842, 'translation_length': 20, 'reference_length': 38} Rouge: {'rouge1': 0.0784313725490196, 'rouge2': 0.0, 'rougeL': 0.0784313725490196, 'rougeLsum': 0.0784313725490196} Sari: {'sari': 45.029761904761905} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Schoko-Nuss-Aufstrich in saubere Gläser füllen und im Kühlschrank aufbewahren.'] Prediction: ['Im Kühlschrank in der Schweiz ist auf eine grosse Nuss-Aufstrich gekommen.\nDas ist derzeit nicht bekannt.'] Label: [['Den Aufstrich in ein sauberes Glas füllen und im Kühlschrank aufbewahren']] Sacrebleu: {'score': 2.5540496664715904, 'counts': [2, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [11.11111111111111, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6363636363636365, 'translation_length': 18, 'reference_length': 11} Rouge: {'rouge1': 0.3225806451612903, 'rouge2': 0.13793103448275862, 'rougeL': 0.1935483870967742, 'rougeLsum': 0.1935483870967742} Sari: {'sari': 28.86904761904762} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Haselnüsse im Ofen rösten und fein mahlen.'] Prediction: ['In den USA werden wieder mehrfach alle Menschen getötet.\nDas sind die besten Menschen.'] Label: [['Nüsse in der Küchenmaschine fein mahlen Haselnüsse im Ofen rösten: Ofen auf 175 Grad vorheizen, Haselnüsse auf dem Backblech verteilen, etwa 10 Minuten backen, bis sie leicht gebräunt sind']] Sacrebleu: {'score': 0.8451746492685832, 'counts': [1, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [6.25, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 0.3455907525769745, 'sys_len': 16, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 0.3455907525769745, 'length_ratio': 0.48484848484848486, 'translation_length': 16, 'reference_length': 33} Rouge: {'rouge1': 0.08, 'rouge2': 0.0, 'rougeL': 0.08, 'rougeLsum': 0.08} Sari: {'sari': 17.936507936507937} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Reichlich Öl oder Butter in einer Pfanne erhitzen und die Brotwürfel darin goldbraun rösten, abtropfen lassen und würzen.'] Prediction: ['Eine Woche hat die Schweizer Welt mit Öl und Butter aufgefordert.\nWir haben die Welt bekannt gegeben, ob Öl oder Butter goldbraun zu würzen.\nWir haben die Welt bekannt gegeben, wie es ihr wirft.'] Label: [['Die Brotwürfel mit Gewürzsalz, Kräutermischung oder Pfeffer würzen Die Brotwürfel abtropfen lassen Die Brotwürfel goldbraun rösten Öl in einer Pfanne erhitzen Reichlich']] Sacrebleu: {'score': 1.476232328930697, 'counts': [6, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [15.384615384615385, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6956521739130435, 'translation_length': 39, 'reference_length': 23} Rouge: {'rouge1': 0.28125, 'rouge2': 0.03225806451612904, 'rougeL': 0.1875, 'rougeLsum': 0.1875} Sari: {'sari': 26.879880740174862} Flesh Reading Ease: 80.95 ---------------------------------------- Source: ['Trockenes Brot lässt sich toll zu knusprigen Croutons als Topping für Suppen und Salate verarbeiten: Brot in Würfel schneiden.'] Prediction: ['Trockenes Brot ist ein knuspriges Croutons-Topping.\nDie Würfeler haben einen veganen Werbungsdelikt.'] Label: [['Altes Brot in Würfel schneiden Das sind knusprige Toppings für Salat oder Suppe.\nNicht wegwerfen, sondern Croutons daraus machen!\nHaben Sie altes, trockenes Brot?']] Sacrebleu: {'score': 1.1567397485091366, 'counts': [2, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [14.285714285714286, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 0.3425188550930455, 'sys_len': 14, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 0.3425188550930457, 'length_ratio': 0.4827586206896552, 'translation_length': 14, 'reference_length': 29} Rouge: {'rouge1': 0.25, 'rouge2': 0.052631578947368425, 'rougeL': 0.15, 'rougeLsum': 0.25} Sari: {'sari': 35.99484823169034} Flesh Reading Ease: 45.3 ---------------------------------------- Source: ['Das Pulver noch einmal kurz mit der Küchenmaschine fein mahlen und in luftdicht verschließbare Gläser füllen.'] Prediction: ['Ein Pulver wurde in der Schweiz mit einer Küchenmaschine gefunden.\nDas Pulver wurde in verschließbare Gläser füllen.'] Label: [['Dann in luftdichte Gläser geben.\nDas Pulver noch kurz in der Küchenmaschine fein mahlen.']] Sacrebleu: {'score': 10.975762213309226, 'counts': [9, 3, 1, 0], 'totals': [19, 18, 17, 16], 'precisions': [47.36842105263158, 16.666666666666668, 5.882352941176471, 3.125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.47368421052631576, 0.16666666666666666, 0.058823529411764705, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1875, 'translation_length': 19, 'reference_length': 16} Rouge: {'rouge1': 0.4864864864864864, 'rouge2': 0.2285714285714286, 'rougeL': 0.27027027027027023, 'rougeLsum': 0.4864864864864864} Sari: {'sari': 32.81877381877381} Flesh Reading Ease: 60.35 ---------------------------------------- Source: ['Dabei die Ofentür einen Spalt geöffnet lassen, damit die Feuchtigkeit entweichen kann. Dazu ein Backblech mit Backpapier auslegen, die Gemüsepaste darauf verstreichen und einige Stunden bei 70 °C trocknen. Ebenfalls eine gute, aber energieintensive, Lösung ist es, die Paste im Ofen zu Pulver zu verarbeiten.'] Prediction: ['Gemüsepaste ist eine gute, energieintensive, Lösung.\nDie Gemüsepaste ist eine gute, energieintensive, Lösung.\nDie Suche ist dabei, das Paste im Ofen zu Pulver zu verarbeiten.'] Label: [['Das Blech 3-4 Stunden im Ofen lassen, dabei muss die Ofentür einen Spalt geöffnet bleiben.\nDie Paste auf einem Backblech mit Backpapier ausstreichen.\nFür Pulver: Den Backofen auf 70 Grad einstellen.']] Sacrebleu: {'score': 3.4327809485034946, 'counts': [10, 2, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [30.303030303030305, 6.25, 1.6129032258064515, 0.8333333333333334], 'bp': 0.8594048608885092, 'sys_len': 33, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.30303030303030304, 0.0625, 0.0, 0.0], 'brevity_penalty': 0.8594048608885094, 'length_ratio': 0.868421052631579, 'translation_length': 33, 'reference_length': 38} Rouge: {'rouge1': 0.25, 'rouge2': 0.03225806451612904, 'rougeL': 0.125, 'rougeLsum': 0.21875000000000003} Sari: {'sari': 33.385714907080114} Flesh Reading Ease: 31.3 ---------------------------------------- Source: ['Durch das Salz ist die rohe Paste bis zu ein Jahr lang haltbar.'] Prediction: ['Durch das Salz ist die rohe Paste bis zu ein Jahr lang haltbar.\nDas Salz ist die rohe Paste bis zu ein Jahr lang haltbar.'] Label: [['Die Paste können Sie bis zu einem Jahr im Kühlschrank aufbewahren.']] Sacrebleu: {'score': 3.4901807086831904, 'counts': [5, 1, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [18.51851851851852, 3.8461538461538463, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.18518518518518517, 0.038461538461538464, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 27, 'reference_length': 12} Rouge: {'rouge1': 0.2631578947368421, 'rouge2': 0.05555555555555555, 'rougeL': 0.2631578947368421, 'rougeLsum': 0.2631578947368421} Sari: {'sari': 39.523809523809526} Flesh Reading Ease: 91.45 ---------------------------------------- Source: ['Dann die Paste in sterile Einmachgläser füllen, fest verschließen und im Kühlschrank lagern.'] Prediction: ['Die Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-Paste-'] Label: [['Für Paste: Die Paste in sterile Einmachgläser geben, fest schließen.']] Sacrebleu: {'score': 0.0, 'counts': [1, 0, 0, 0], 'totals': [2, 1, 0, 0], 'precisions': [50.0, 50.0, 0.0, 0.0], 'bp': 0.004086771438464067, 'sys_len': 2, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.5, 0.0, 0.0, 0.0], 'brevity_penalty': 0.004086771438464067, 'length_ratio': 0.15384615384615385, 'translation_length': 2, 'reference_length': 13} Rouge: {'rouge1': 0.03658536585365854, 'rouge2': 0.01234567901234568, 'rougeL': 0.024390243902439022, 'rougeLsum': 0.024390243902439022} Sari: {'sari': 24.730362230362232} Flesh Reading Ease: -8626.26 ---------------------------------------- Source: ['Pro 100 Gramm Gemüse 10 Gramm Salz untermengen, außerdem einen Esslöffel Pflanzenöl (z. B. Oliven- oder Rapsöl).'] Prediction: ['Die Schweizer Gemüse hat einen Gramm Salz von 100 Gramm Gemüse untermengen.\nDer Schweizer Pflanzenöl ist eine Gramm Salz-Million.'] Label: [['Pro 100 Gramm Gemüse dazugeben: 10 Gramm Salz und ein Esslöffel Olivenöl.']] Sacrebleu: {'score': 8.896962872669691, 'counts': [6, 3, 1, 0], 'totals': [21, 20, 19, 18], 'precisions': [28.571428571428573, 15.0, 5.2631578947368425, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.15, 0.05263157894736842, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 21, 'reference_length': 14} Rouge: {'rouge1': 0.3684210526315789, 'rouge2': 0.2222222222222222, 'rougeL': 0.31578947368421056, 'rougeLsum': 0.31578947368421056} Sari: {'sari': 44.143450216153155} Flesh Reading Ease: 59.35 ---------------------------------------- Source: ['Gemüse und Kräuter mit einem geeigneten Küchengerät zu einer feinen Paste verarbeiten. Gemüse waschen, schälen und putzen, dann grob zerkleinern.'] Prediction: ['Eine feinen Paste verarbeitet Gemüse und Kräuter mit einem geeigneten Küchengerät zu einer feinen Paste.\nGemüse waschen, schälen und putzen, dann grob zerkleinern.'] Label: [['Gemüse und Kräuter in die Küchenmaschine geben und zu einer feinen Paste zermahlen']] Sacrebleu: {'score': 12.991916506579948, 'counts': [8, 5, 3, 1], 'totals': [27, 26, 25, 24], 'precisions': [29.62962962962963, 19.23076923076923, 12.0, 4.166666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 13} Bleu: {'bleu': 0.12991916506579942, 'precisions': [0.2962962962962963, 0.19230769230769232, 0.12, 0.041666666666666664], 'brevity_penalty': 1.0, 'length_ratio': 2.076923076923077, 'translation_length': 27, 'reference_length': 13} Rouge: {'rouge1': 0.4888888888888889, 'rouge2': 0.32558139534883723, 'rougeL': 0.4444444444444445, 'rougeLsum': 0.4444444444444445} Sari: {'sari': 43.98548075018664} Flesh Reading Ease: 39.8 ---------------------------------------- Source: ['Kräuter waschen, trocken schütteln und Blätter von den Zweigen zupfen.'] Prediction: ['Die Schweizer haben sich mit einem grossen Blick auf den Markt gebracht.\nDas hat sich bei den Unwettern in der Schweiz zu schütteln.'] Label: [['Kräuter waschen, trocken schütteln und die Blätter von den Zweigen zupfen']] Sacrebleu: {'score': 1.7911710595643588, 'counts': [2, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [8.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.08, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0833333333333335, 'translation_length': 25, 'reference_length': 12} Rouge: {'rouge1': 0.2105263157894737, 'rouge2': 0.05555555555555555, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.2105263157894737} Sari: {'sari': 10.933140933140933} Flesh Reading Ease: 92.45 ---------------------------------------- Source: ['Als Kräuter eignen sich zum Beispiel Petersilie, Rosmarin, Thymian, Liebstöckel und Salbei.'] Prediction: ['Am Freitagabend gab es in der Schweiz neue Spiele.\nDie Schweizer Kräuter sind sich bei den Beispielen Petersilie, Rosmarin, Thymian, Liebstöckel und Salbei.'] Label: [['Dazu frische Kräuter nach Wahl, Salz, Olivenöl']] Sacrebleu: {'score': 1.7574239156849023, 'counts': [3, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [10.714285714285714, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.10714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.111111111111111, 'translation_length': 28, 'reference_length': 9} Rouge: {'rouge1': 0.11764705882352941, 'rouge2': 0.0625, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.11764705882352941} Sari: {'sari': 35.714285714285715} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['Am besten passen die Gemüsearten aus dem klassischen Suppengrün, Karotten, Sellerie und Lauch, aber auch anderes Wurzelgemüse wie Pastinake oder Steckrübe, außerdem Zwiebeln, Knoblauch, Champignons und Tomaten. Für einen kleinen Vorrat wird etwa ein Kilo Gemüse benötigt.'] Prediction: ['Ein Kilo Gemüse-Vorrat ist für einen kleinen Vorrat.\nEs ist ein Kilo Gemüse benötigt.'] Label: [['Ein Kilo Gemüse nach Wahl, zum Beispiel Möhren, Sellerie oder Lauch.']] Sacrebleu: {'score': 6.917184228205474, 'counts': [4, 2, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [25.0, 13.333333333333334, 3.5714285714285716, 1.9230769230769231], 'bp': 1.0, 'sys_len': 16, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.13333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 16, 'reference_length': 14} Rouge: {'rouge1': 0.25, 'rouge2': 0.2, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 41.71815493654574} Flesh Reading Ease: 61.85 ---------------------------------------- Source: ['Aus frischem Gemüse, Salz, Öl und Kräutern lassen sich Gemüsepaste oder -pulver als Alternative zur Instant-Gemüsebrühe aus dem Supermarkt ganz einfach herstellen.'] Prediction: ['Aus frischem Gemüse, Salz, Öl und Kräutern lassen sich Gemüsepaste oder -pulver als Alternative zur Instant-Gemüsebrühe aus dem Supermarkt ganz einfach herstellen.\nGemüsepaste ist für frischem Gemüsepaste und -pulver als Alternative zur Instant-Gemüsebrühe ganz einfach herstellen.'] Label: [['So machen Sie aus frischem Gemüse ihre eigene Paste oder Pulver.\nGemüsebrühe können Sie auch einfach selber machen.']] Sacrebleu: {'score': 2.5131854313529596, 'counts': [7, 1, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [17.5, 2.5641025641025643, 1.3157894736842106, 0.6756756756756757], 'bp': 1.0, 'sys_len': 40, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.175, 0.02564102564102564, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 40, 'reference_length': 20} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.17647058823529413, 'rougeL': 0.28571428571428575, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 38.52620332883491} Flesh Reading Ease: 21.6 ---------------------------------------- Source: ['Gemüsebrühe wird in der Küche nicht nur für Suppen benötigt, sondern z. B. auch zum Dünsten von Gemüse, zum Ablöschen von Risotto und zum Würzen.'] Prediction: ['Gemüsebrühe ist in der Schweiz nicht nur für Suppen benötigt.\nDer Gemüsebrühe ist auch zum Dünsten von Gemüsebrühe.'] Label: [['Für eine schnelle Suppe, aber auch zum Würzen von Gemüse oder beim Risotto kochen.\nGemüsebrühe kann man in der Küche immer brauchen.']] Sacrebleu: {'score': 5.015423640187982, 'counts': [8, 2, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [40.0, 10.526315789473685, 2.7777777777777777, 1.4705882352941178], 'bp': 0.7788007830714049, 'sys_len': 20, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.4, 0.10526315789473684, 0.0, 0.0], 'brevity_penalty': 0.7788007830714049, 'length_ratio': 0.8, 'translation_length': 20, 'reference_length': 25} Rouge: {'rouge1': 0.39999999999999997, 'rouge2': 0.22641509433962265, 'rougeL': 0.2909090909090909, 'rougeLsum': 0.39999999999999997} Sari: {'sari': 35.41814887220242} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['So kann nicht nur die Menge an Verpackungsmüll reduziert werden, sondern jeder kann die Produkte nach eigenen Bedürfnissen und Geschmacksvorlieben variieren.'] Prediction: ['Die Produkte der Verpackungsmüll kann nicht nur reduziert werden.\nSo kann nicht nur die Menge an Verpackungsmüll reduziert werden, sondern jeder kann die Produkte nach eigenen Bedürfnissen und Geschmacksvorlieben variieren.'] Label: [['Sie können alle Rezepte in diesem Artikel nach Ihrem eigenen Geschmack würzen.\nMit den Ideen in diesem Artikel sparen Sie viel Verpackungsmüll.']] Sacrebleu: {'score': 1.6794256847485503, 'counts': [5, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [15.151515151515152, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.15151515151515152, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.375, 'translation_length': 33, 'reference_length': 24} Rouge: {'rouge1': 0.1379310344827586, 'rouge2': 0.03571428571428572, 'rougeL': 0.0689655172413793, 'rougeLsum': 0.1379310344827586} Sari: {'sari': 36.00000000000001} Flesh Reading Ease: 48.0 ---------------------------------------- Source: ['Wer Spaß am Selbermachen hat, kann einige von ihnen mit nur wenigen Zutaten in der eigenen Küche herstellen. Fertigprodukte sparen Zeit beim Kochen und Backen oder sind einfach praktisch für den schnellen Genuss.'] Prediction: ['Fertigprodukte sparen Zeit beim Kochen und Backen oder sind einfach praktisch für den schnellen Genuss.\nWer Spaß am Selbermachen hat, kann einige von ihnen mit nur wenigen Zutaten herstellen.'] Label: [['Mit wenigen Zutaten können Sie sie selbst herstellen.\nManche Fertigprodukte brauchen Sie nicht im Laden zu kaufen.\nFertigprodukte sind in der Küche sehr beliebt.']] Sacrebleu: {'score': 3.7735645292725852, 'counts': [7, 2, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [21.875, 6.451612903225806, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.21875, 0.06451612903225806, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1851851851851851, 'translation_length': 32, 'reference_length': 27} Rouge: {'rouge1': 0.21428571428571427, 'rouge2': 0.03703703703703704, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.21428571428571427} Sari: {'sari': 28.187451437451433} Flesh Reading Ease: 60.2 ---------------------------------------- Source: ['Moderne Keller eignen sich aber sehr gut für Konserven wie eingekochtes Obst, Gemüse, diverse Marmeladen, Konfitüren, Gelees, Rumtopf oder selbst hergestelltes Sauerkraut, Getränke, Säfte u. ä. Heute ist der Keller trocken und warm und eignet sich eher als Hobbyraum denn als Aufbewahrungsort für frisches Gemüse und Obst.'] Prediction: ['Moderne Keller eignen sich aber sehr gut für Konserven.\nSie brauchen sich auch eingekochtes Obst, Gemüse und diverse Marmeladen.'] Label: [['Für die Lagerung von Kartoffeln, Obst und Gemüse sind moderne Keller zu warm – die kommen in den Kühlschrank oder in den Vorratsschrank.\nDann können Sie dort Eingemachtes und nicht angebrochene Säfte und Getränke aufbewahren.\nAußerdem standen dort Eingemachtes und Getränke.']] Sacrebleu: {'score': 1.0211416020785669, 'counts': [8, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [36.36363636363637, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 0.3515319957864631, 'sys_len': 22, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.36363636363636365, 0.0, 0.0, 0.0], 'brevity_penalty': 0.3515319957864631, 'length_ratio': 0.4888888888888889, 'translation_length': 22, 'reference_length': 45} Rouge: {'rouge1': 0.26086956521739124, 'rouge2': 0.08955223880597013, 'rougeL': 0.17391304347826086, 'rougeLsum': 0.2028985507246377} Sari: {'sari': 36.72796391353388} Flesh Reading Ease: 59.35 ---------------------------------------- Source: ['Früher konnten im Vorratskeller Äpfel und Kartoffeln über Monate ideal gelagert werden.'] Prediction: ['Vorratskeller konnten über Monate ideal gelagert werden.\nDas ist der erste Mal.'] Label: [['Im kühlen Keller lagerte man Obst und Gemüse wie Äpfel und Kartoffeln.']] Sacrebleu: {'score': 2.8398387225677895, 'counts': [1, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [7.142857142857143, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0769230769230769, 'translation_length': 14, 'reference_length': 13} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 24.377289377289376} Flesh Reading Ease: 62.85 ---------------------------------------- Source: ['In Vorratsschränken lagern: Mehl, Salz, Zucker, Vollkonserven, Trockenprodukte wie Reis, Nudeln oder Cerealien.'] Prediction: ['In den USA werden mehrere Produkte gefunden.\nMehl, Salz, Zucker, Vollkonserven, Trockenprodukte wie Reis, Nudeln oder Cerealien.'] Label: [['Dazu kommen trockene Produkte wie Reis, Nudeln, Cornflakes und Müsli.\nLange haltbare Lebensmittel, wie Mehl, Salz und Zucker gehören in den Vorratsschrank.']] Sacrebleu: {'score': 14.33927344630748, 'counts': [14, 5, 3, 1], 'totals': [24, 23, 22, 21], 'precisions': [58.333333333333336, 21.73913043478261, 13.636363636363637, 4.761904761904762], 'bp': 0.846481724890614, 'sys_len': 24, 'ref_len': 28} Bleu: {'bleu': 0.1433927344630748, 'precisions': [0.5833333333333334, 0.21739130434782608, 0.13636363636363635, 0.047619047619047616], 'brevity_penalty': 0.846481724890614, 'length_ratio': 0.8571428571428571, 'translation_length': 24, 'reference_length': 28} Rouge: {'rouge1': 0.4390243902439025, 'rouge2': 0.20512820512820512, 'rougeL': 0.19512195121951217, 'rougeLsum': 0.4390243902439025} Sari: {'sari': 50.66942292770964} Flesh Reading Ease: 42.8 ---------------------------------------- Source: ['Sorgfältiges Einlagern und regelmäßige Kontrolle vermindern hier Vorratsverluste und -verderb:'] Prediction: ['Vorratsverluste und -verderb: Die Vorratsverluste sind aufgrund der Corona-Pandemie vermindert.\nDas ist derzeit unklar.'] Label: [['Kontrollieren Sie das Mindesthaltbarkeitsdatum und verbrauchen Sie ihre Lebensmittel bevor das Datum abläuft.']] Sacrebleu: {'score': 2.719665272174911, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2142857142857142, 'translation_length': 17, 'reference_length': 14} Rouge: {'rouge1': 0.1379310344827586, 'rouge2': 0.0, 'rougeL': 0.1379310344827586, 'rougeLsum': 0.1379310344827586} Sari: {'sari': 36.99134199134199} Flesh Reading Ease: 32.6 ---------------------------------------- Source: ['Eine Vorratskammer sollte sich möglichst in der Nähe der Küche befinden und eine gute Belüftung haben. Längerfristig haltbare Lebensmittel können in Speisekammern oder Vorratsschränken bei durchschnittlich 15 bis 20 °C, trocken und dunkel gelagert werden.'] Prediction: ['Speisekammer können bei den Verstorbenen 15 bis 20 °C trocken und dunkel gelagert werden.\nLängerfristig haltbare Lebensmittel können in Speisekammern oder Vorratsschränken bei durchschnittlich 15 bis 20 °C trocken und dunkel gelagert werden.'] Label: [['Der Vorratsschrank sollte dunkel und trocken sein und gut belüftet sein.\nIn einer kleinen Wohnung ist der Vorratsschrank meistens in der Küche.\nAm besten ist das ein kühler Ort nah an der Küche.\nHeute hat fast jede Wohnung einen Vorratsschrank.\nDie Speisekammer war nah an der Küche, hier lagerte man lange haltbare Lebensmittel bei Zimmertemperatur.']] Sacrebleu: {'score': 1.5387008604973527, 'counts': [11, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [31.428571428571427, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 0.4757526784556506, 'sys_len': 35, 'ref_len': 61} Bleu: {'bleu': 0.0, 'precisions': [0.3142857142857143, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 0.4757526784556506, 'length_ratio': 0.5737704918032787, 'translation_length': 35, 'reference_length': 61} Rouge: {'rouge1': 0.2268041237113402, 'rouge2': 0.02105263157894737, 'rougeL': 0.10309278350515463, 'rougeLsum': 0.18556701030927836} Sari: {'sari': 34.7588838442497} Flesh Reading Ease: 46.5 ---------------------------------------- Source: ['Auch Milchprodukte wie Joghurt, Dickmilch, saure Sahne und Crème fraîche gehören nicht in den Gefrierschrank, da sie schnell ausflocken.'] Prediction: ['In den Gefrierschrank werden Milchprodukte wie Joghurt, Dickmilch, saure Sahne und Crème fraîche geschickt.\nDie Milchprodukte wie Joghurt, Dickmilch, saure Sahne und Crème fraîche gehören nicht in den Gefrierschrank.'] Label: [['Sie werden beim Auftauen flockig.\nMilchprodukte wie Joghurt, Dickmilch und saure Sahne gehören nicht in das Gefrierfach.']] Sacrebleu: {'score': 15.80433751277861, 'counts': [14, 7, 4, 2], 'totals': [35, 34, 33, 32], 'precisions': [40.0, 20.58823529411765, 12.121212121212121, 6.25], 'bp': 1.0, 'sys_len': 35, 'ref_len': 20} Bleu: {'bleu': 0.1580433751277861, 'precisions': [0.4, 0.20588235294117646, 0.12121212121212122, 0.0625], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 35, 'reference_length': 20} Rouge: {'rouge1': 0.46153846153846156, 'rouge2': 0.27999999999999997, 'rougeL': 0.46153846153846156, 'rougeLsum': 0.42307692307692313} Sari: {'sari': 51.42723899108969} Flesh Reading Ease: 60.2 ---------------------------------------- Source: ['Solche wasserreichen Lebensmittel werden beim Auftauen matschig.'] Prediction: ['In den USA werden auch die Menschen auf den Laufen geschickt.\nSie müssen sich in den kommenden Wochen beim Auftauen matschig sein.'] Label: [['Diese Lebensmittel enthalten viel Wasser und werden beim Auftauen matschig.']] Sacrebleu: {'score': 6.654221263555511, 'counts': [5, 2, 1, 0], 'totals': [24, 23, 22, 21], 'precisions': [20.833333333333332, 8.695652173913043, 4.545454545454546, 2.380952380952381], 'bp': 1.0, 'sys_len': 24, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.20833333333333334, 0.08695652173913043, 0.045454545454545456, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1818181818181817, 'translation_length': 24, 'reference_length': 11} Rouge: {'rouge1': 0.24242424242424243, 'rouge2': 0.1290322580645161, 'rougeL': 0.24242424242424243, 'rougeLsum': 0.24242424242424243} Sari: {'sari': 37.85353535353536} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['Im Gefriergerät lagern nicht: Eier, Blattsalate, Frischkostsalate, Radieschen, Rettich, rohe Kartoffeln, Zwiebeln, Gurken, Tomaten, Wassermelonen, Weintrauben, ganze rohe Äpfel und Birnen sowie Baiser und Makronen.'] Prediction: ['Im Gefriergerät lagern auch die ganze Rettich, Gefrier und Birnen.\nEs lagern auch die ganze Rettich, ganze Äpfel und Birnen.'] Label: [['Gemüse wie Salat, Radieschen, Rettich, rohe Kartoffeln, Zwiebeln, Gurken, Tomaten, Wassermelonen, Weintrauben, rohe Äpfel und Birnen gehören nicht ins Gefrierfach.\nEier lassen sich nicht einfrieren.']] Sacrebleu: {'score': 5.023458366284398, 'counts': [8, 3, 1, 0], 'totals': [24, 23, 22, 21], 'precisions': [33.333333333333336, 13.043478260869565, 4.545454545454546, 2.380952380952381], 'bp': 0.6065306597126334, 'sys_len': 24, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.13043478260869565, 0.045454545454545456, 0.0], 'brevity_penalty': 0.6065306597126334, 'length_ratio': 0.6666666666666666, 'translation_length': 24, 'reference_length': 36} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.08695652173913043, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 21.243873255601383} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['– Einfrieren bietet eine gute Möglichkeit, Lebensmittel mehrere Monate aufzubewahren und das nahezu ohne merkliche Qualitätseinbußen.'] Prediction: ['Einfrieren bieten eine gute Möglichkeit, Lebensmittel mehrere Monate aufzubewahren.\nEinfrieren bieten eine gute Möglichkeit, Lebensmittel mehrere Monate aufzubewahren.'] Label: [['Eingefroren sind Lebensmittel viel länger haltbar.\nDie meisten Lebensmittel lassen sich prima einfrieren, zum Beispiel im Gefrierschrank oder in einer Gefriertruhe.']] Sacrebleu: {'score': 2.3583583590048818, 'counts': [5, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [22.727272727272727, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 0.9131007162822624, 'sys_len': 22, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.22727272727272727, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9131007162822622, 'length_ratio': 0.9166666666666666, 'translation_length': 22, 'reference_length': 24} Rouge: {'rouge1': 0.14285714285714282, 'rouge2': 0.0, 'rougeL': 0.09523809523809525, 'rougeLsum': 0.09523809523809525} Sari: {'sari': 38.095238095238095} Flesh Reading Ease: -4.51 ---------------------------------------- Source: ['Im Kühlschrank lagern: Fleisch- und Fleischwaren, Fisch- und Fischerzeugnisse, zubereitete Speisen, Milch- und Milchprodukte, Käse, Getränke, Butter, Eier, Marmeladen, Dressings, Soßen, Tuben, kühlschrankverträgliche Obst- und Gemüsearten.'] Prediction: ['Im Kühlschrank lagern auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch a'] Label: [['Manche Arten kann man besser außerhalb aufbewahren.\nGemüse und Obst kommen nicht immer in den Kühlschrank.\nKäse, Butter und Eier können auf der obersten Ablage liegen.\nAngebrochene Getränke, Marmeladen, Dressings, Soßen und Tuben kommen in den mittleren Teil oder in die Tür.\nMilch, Jogurt, Quark und andere Milchprodukte gehören in die mittleren Ablagen.\nFleisch, Fleischwaren, Fisch und Fischprodukte kommen nach unten auf die Glasplatte.']] Sacrebleu: {'score': 0.15890240638573327, 'counts': [1, 0, 0, 0], 'totals': [224, 223, 222, 221], 'precisions': [0.44642857142857145, 0.2242152466367713, 0.11261261261261261, 0.05656108597285068], 'bp': 1.0, 'sys_len': 224, 'ref_len': 78} Bleu: {'bleu': 0.0, 'precisions': [0.004464285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.871794871794872, 'translation_length': 224, 'reference_length': 78} Rouge: {'rouge1': 0.013422818791946308, 'rouge2': 0.006756756756756757, 'rougeL': 0.013422818791946308, 'rougeLsum': 0.013422818791946308} Sari: {'sari': 25.757641699670682} Flesh Reading Ease: -102.51 ---------------------------------------- Source: ['Im herkömmlichen Kühlschrank lagern Lebensmittel bei 4\xa0°C bis 8 °C, im\xa0Mehrzonenkühlgerät\xa0bei nahezu\xa00 °C. Bei Temperaturen zwischen 0 °C und 14 °C können frische, leichtverderbliche Lebensmittel gelagert werden.'] Prediction: ['In den meisten Kühlern können Temperaturen zwischen 0 °C und 14 °C geschaffen werden.\nDie meisten Kühlern lagern Lebensmittel bei 4\xa0°C bis 8 °C.'] Label: [['Die Temperatur im Kühlschrank liegt zwischen 0 und 14 Grad.\nDer Kühlschrank ist der beste Ort für frisches Essen.']] Sacrebleu: {'score': 4.514788618484021, 'counts': [7, 2, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [25.925925925925927, 7.6923076923076925, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.25925925925925924, 0.07692307692307693, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2857142857142858, 'translation_length': 27, 'reference_length': 21} Rouge: {'rouge1': 0.28, 'rouge2': 0.08333333333333333, 'rougeL': 0.23999999999999996, 'rougeLsum': 0.28} Sari: {'sari': 38.51809954751131} Flesh Reading Ease: 68.05 ---------------------------------------- Source: ['Diese sind wesentlich fettärmer. Bevorzugen Sie bei den fertigen Fleisch- und Fischprodukten die unpanierten Varianten.'] Prediction: ['In den USA werden unpanierten Varianten verbreitet.\nDie Fleisch und Fischprodukten sind wesentlich fettärmer.'] Label: [['In einer Knusperschicht steckt viel Fett.\nDann wählen Sie unpanierte Sorten.\nEssen Sie gerne fertige Fleisch- oder Fischprodukte?']] Sacrebleu: {'score': 2.3547653529958312, 'counts': [3, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 0.7316156289466418, 'sys_len': 16, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7316156289466418, 'length_ratio': 0.7619047619047619, 'translation_length': 16, 'reference_length': 21} Rouge: {'rouge1': 0.17647058823529413, 'rouge2': 0.0, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.17647058823529413} Sari: {'sari': 32.73809523809524} Flesh Reading Ease: 50.15 ---------------------------------------- Source: ['6. Fettarme Convenience-Gerichte wählenWählen Sie fettreiche Gerichte wie Lasagne oder bestimmte Pizzasorten eher selten.'] Prediction: ['Die Veranstalterin des Schweizer Pharmaries fühlen Convenience-Gerichte eher selten.\nSie wählen fettreiche Gerichte wie Lasagne oder bestimmte Pizzasorten eher selten.'] Label: [['Die sollten Sie lieber nicht zu oft essen.\nFertiglasagne und viele Tiefkühlpizzen enthalten viel Fett.\nNehmen Sie fettarme Gerichte.']] Sacrebleu: {'score': 2.5828020030551087, 'counts': [5, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [22.727272727272727, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.22727272727272727, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 22, 'reference_length': 22} Rouge: {'rouge1': 0.13953488372093023, 'rouge2': 0.0, 'rougeL': 0.13953488372093023, 'rougeLsum': 0.13953488372093023} Sari: {'sari': 34.487734487734485} Flesh Reading Ease: 29.6 ---------------------------------------- Source: ['Fettreiche Zutaten wie Käse, Rahm, Sahne, Speck oder Salami sollten auf den hinteren Plätzen der Zutatenliste stehen. Transportieren Sie die Produkte kühl und lagern Sie sie umgehend im Kühlfach. Salate, Keimlinge und Gemüse müssen zu Hause vor dem Verzehr unbedingt noch einmal gewaschen werden.'] Prediction: ['Fettreiche Zutaten wie Käse, Rahm, Sahne, Speck oder Salami sollten auf den hinteren Plätzen der Zutatenliste stehen.\nTransportieren Sie die Produkte kühl und lagern Sie sie umgehend im Kühlfach.\nSalate, Keimlinge und Gemüse müssen zu Hause noch einmal gewaschen werden.'] Label: [['Fette, Öle, Rahm oder Sahne sollten viel weiter hinten stehen.']] Sacrebleu: {'score': 2.614431568998956, 'counts': [8, 2, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [17.02127659574468, 4.3478260869565215, 1.1111111111111112, 0.5681818181818182], 'bp': 1.0, 'sys_len': 47, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.1702127659574468, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6153846153846154, 'translation_length': 47, 'reference_length': 13} Rouge: {'rouge1': 0.17857142857142855, 'rouge2': 0.0, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 36.21107859421551} Flesh Reading Ease: 49.7 ---------------------------------------- Source: ['Nahe am Verbrauchsdatum sind die Lebensmittel oftmals bereits stark mit Keimen belastet.'] Prediction: ['Die Lebensmittel von Wil TG ist bereits mit Keimen belastet.\nDie Frauen sind bereits mit Keimen belastet.'] Label: [['Oft haben sie schon viele Krankheitskeime.\nUnser Tipp: Kaufen Sie keine Produkte die nah am Verbrauchsdatum sind.']] Sacrebleu: {'score': 2.5277199920920967, 'counts': [3, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 0.9487294800164372, 'sys_len': 19, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9487294800164372, 'length_ratio': 0.95, 'translation_length': 19, 'reference_length': 20} Rouge: {'rouge1': 0.11764705882352941, 'rouge2': 0.0, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.11764705882352941} Sari: {'sari': 30.836894586894587} Flesh Reading Ease: 72.05 ---------------------------------------- Source: ['Fresh Cut-Produkte wie Obst- und Gemüsesnacks und Fertigsalate sind leicht verderblich und nur kurz haltbar.'] Prediction: ['Fresh Cut-Produkte wie Obst und Gemüsesnacks und Fertigsalate sind leicht verderblich und nur kurz haltbar.\nFresh Cut-Produkte wie Obst und Gemüsesnacks und Fertigsalate sind leicht verderblich und nur kurz haltbar.'] Label: [['Diese gekühlten Produkte sind leicht verderblich.\nZum Beispiel Obst- und Gemüsesnacks, oder Fertigsalate.']] Sacrebleu: {'score': 6.106432774355542, 'counts': [8, 3, 1, 0], 'totals': [32, 31, 30, 29], 'precisions': [25.0, 9.67741935483871, 3.3333333333333335, 1.7241379310344827], 'bp': 1.0, 'sys_len': 32, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0967741935483871, 0.03333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 32, 'reference_length': 16} Rouge: {'rouge1': 0.36734693877551017, 'rouge2': 0.21276595744680848, 'rougeL': 0.36734693877551017, 'rougeLsum': 0.36734693877551017} Sari: {'sari': 27.494469582704877} Flesh Reading Ease: 53.85 ---------------------------------------- Source: ['5. Auf Haltbarkeit achtenAchten Sie auf das Mindesthaltbarkeitsdatum oder Verbrauchsdatum.'] Prediction: ['Aufgrund der Corona-Pandemie wurden auch die Verantwortlichen auf Haltbarkeit aufgestellt.\nAuch die Verantwortlichen auf die Haltbarkeit aufmerksam machen.'] Label: [['Achten Sie beim Einkaufen also immer auf die Haltbarkeit.\nFertigprodukte können schlecht werden, genau wie andere Lebensmittel.']] Sacrebleu: {'score': 8.097785064266205, 'counts': [5, 2, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 10.526315789473685, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.10526315789473684, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 20, 'reference_length': 20} Rouge: {'rouge1': 0.16216216216216214, 'rouge2': 0.11428571428571428, 'rougeL': 0.16216216216216214, 'rougeLsum': 0.16216216216216214} Sari: {'sari': 57.74949979991997} Flesh Reading Ease: 36.45 ---------------------------------------- Source: ['Eine Handvoll frische Kräuter oder Tiefkühlkräuter werten das Gericht zusätzlich gesundheitlich und geschmacklich auf!'] Prediction: ['Eine Handvoll-Kühlkräuter werten das Gericht zusätzlich gesundheitlich und geschmacklich auf.\nDie Handvoll-Kühlkräuter werden zusätzlich gesundheitlich und geschmacklich aufgeben.'] Label: [['Außerdem sind sie gesund.\nFrische Kräuter oder Kräuter aus der Kühltruhe machen jedes Gericht schmackhafter.\nMit frischen Kräutern oder etwas Gemüse geben Sie der Mahlzeit extra Geschmack.']] Sacrebleu: {'score': 1.5283112973810702, 'counts': [3, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [15.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 0.6065306597126334, 'sys_len': 20, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6065306597126334, 'length_ratio': 0.6666666666666666, 'translation_length': 20, 'reference_length': 30} Rouge: {'rouge1': 0.13559322033898305, 'rouge2': 0.0, 'rougeL': 0.06779661016949153, 'rougeLsum': 0.06779661016949153} Sari: {'sari': 27.543956043956047} Flesh Reading Ease: 18.9 ---------------------------------------- Source: ['Gerne auch mit solchen, die nicht mehr zu schnippeln sind, etwa Mini-Tomaten, Mais oder Kidneybohnen aus der Dose.'] Prediction: ['Mini-Tomaten, Mais oder Kidneybohnen sind aus der Dose.\nDie Mini-Tomaten sind Mini-Tomaten, Mais oder Kidneybohnen aus der Dose.'] Label: [['Andere Gemüsearten brauchen Sie gar nicht zu schneiden, zum Beispiel Mini-Tomaten oder Mais aus der Dose.']] Sacrebleu: {'score': 12.858902882463452, 'counts': [8, 3, 2, 1], 'totals': [22, 21, 20, 19], 'precisions': [36.36363636363637, 14.285714285714286, 10.0, 5.2631578947368425], 'bp': 1.0, 'sys_len': 22, 'ref_len': 18} Bleu: {'bleu': 0.12858902882463452, 'precisions': [0.36363636363636365, 0.14285714285714285, 0.1, 0.05263157894736842], 'brevity_penalty': 1.0, 'length_ratio': 1.2222222222222223, 'translation_length': 22, 'reference_length': 18} Rouge: {'rouge1': 0.358974358974359, 'rouge2': 0.16216216216216214, 'rougeL': 0.358974358974359, 'rougeLsum': 0.30769230769230765} Sari: {'sari': 47.598413288597335} Flesh Reading Ease: 48.15 ---------------------------------------- Source: ['Schnell küchenfertig zubereitet sind zum Beispiel Zucchini, Auberginen oder Paprika.'] Prediction: ['Zucchini sind küchenfertig zubereitet.\nDas Beispiel Zucchini, Auberginen oder Paprika ist zu sehen.'] Label: [['Manche Gemüsearten sind sehr schnell fertig, zum Beispiel Zucchini, Aubergine oder Paprika.']] Sacrebleu: {'score': 12.451643194233869, 'counts': [7, 3, 1, 0], 'totals': [16, 15, 14, 13], 'precisions': [43.75, 20.0, 7.142857142857143, 3.8461538461538463], 'bp': 1.0, 'sys_len': 16, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.4375, 0.2, 0.07142857142857142, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0666666666666667, 'translation_length': 16, 'reference_length': 15} Rouge: {'rouge1': 0.3703703703703704, 'rouge2': 0.16, 'rougeL': 0.3703703703703704, 'rougeLsum': 0.3703703703703704} Sari: {'sari': 30.56675780359991} Flesh Reading Ease: 38.95 ---------------------------------------- Source: ['Gemüse und Beilagen stehen dann auf den vordersten Plätzen. Werfen Sie also einen kritischen Blick auf die Zutatenliste: Bevorzugen Sie Komplettmenüs mit möglichst hohem Gemüseanteil.'] Prediction: ['Die Zutatenliste ist eine Reihe von Gemüse und Beilagen.\nDie Gemüse und Beilagen stehen auf den vordersten Plätzen.\nWerfen Sie also einen kritischen Blick auf die Zutatenliste?'] Label: [['In einer gesunden Fertigmahlzeit stehen Gemüse und Beilagen ganz vorne.']] Sacrebleu: {'score': 5.250881761853935, 'counts': [5, 2, 1, 0], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 6.896551724137931, 3.5714285714285716, 1.8518518518518519], 'bp': 1.0, 'sys_len': 30, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.06896551724137931, 0.03571428571428571, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.727272727272727, 'translation_length': 30, 'reference_length': 11} Rouge: {'rouge1': 0.2439024390243902, 'rouge2': 0.15384615384615385, 'rougeL': 0.1951219512195122, 'rougeLsum': 0.1951219512195122} Sari: {'sari': 39.78466838931955} Flesh Reading Ease: 54.0 ---------------------------------------- Source: ['Nach dem Einkauf auf dem Nachhauseweg die Kühlkette nicht unterbrechen und zu Hause so schnell wie möglich wieder tiefgekühlt lagern!'] Prediction: ['Die Kühlkette in der Schweiz ist so schnell wie möglich wieder tiefgekühlt.\nDie Kühlkette lag so schnell wie möglich wieder tiefgekühlt.'] Label: [['Tiefkühlkost muss kalt bleiben, also schnell nach Hause und wieder in die Tiefkühltruhe legen.\nWichtig beim Einkaufen: Lassen Sie gefrorene Lebensmittel nicht auftauen!']] Sacrebleu: {'score': 1.9569988813687984, 'counts': [4, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [17.391304347826086, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 0.8403699701308979, 'sys_len': 23, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8403699701308981, 'length_ratio': 0.8518518518518519, 'translation_length': 23, 'reference_length': 27} Rouge: {'rouge1': 0.15384615384615383, 'rouge2': 0.0, 'rougeL': 0.11538461538461538, 'rougeLsum': 0.07692307692307691} Sari: {'sari': 34.31944444444444} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['Durch die sehr schnelle Verarbeitung nach der Ernte besitzt Tiefkühlgemüse einen vergleichsweise hohen Vitamingehalt und liegt damit eindeutig vor den Vertretern aus der Frische-Abteilung.'] Prediction: ['Tiefkühlgemüse besitzen einen vergleichsweise hohen Vitamingehalt.\nDer Frische-Abteilung hat eine schnelle Verarbeitung nach der Ernte.\nTiefkühlgemüse besitzt einen vergleichsweise hohen Vitamingehalt.'] Label: [['Es ist also besonders frisch!\nTiefkühlgemüse wird sofort nach der Ernte eingefroren.\nTiefkühlgemüse enthält viele Vitamine, manchmal sogar mehr als frisches Gemüse.']] Sacrebleu: {'score': 7.369887434462088, 'counts': [7, 3, 1, 0], 'totals': [24, 23, 22, 21], 'precisions': [29.166666666666668, 13.043478260869565, 4.545454545454546, 2.380952380952381], 'bp': 0.9200444146293233, 'sys_len': 24, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.2916666666666667, 0.13043478260869565, 0.045454545454545456, 0.0], 'brevity_penalty': 0.9200444146293233, 'length_ratio': 0.9230769230769231, 'translation_length': 24, 'reference_length': 26} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.23076923076923075, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 44.2203548085901} Flesh Reading Ease: 15.05 ---------------------------------------- Source: ['bevorratenEin gewisses Sortiment an Tiefkühlgemüse zu Hause peppt viele Fertiggerichte wie Pizza, Tütensuppe oder Doseneintopf noch mal auf - geschmacklich und mit Vitaminen!'] Prediction: ['Viele Fertiggerichte sind in der Schweiz noch mal aufgebaut.\nEin gewisses Sortiment an Tiefkühlgemüse zu Hause peppt viele Fertiggerichte wie Pizza, Tütensuppe oder Doseneintopf noch mal auf.'] Label: [['Geben Sie gefrorenes Gemüse in eine Tütensuppe.\nDenn damit können Sie ganz einfach Fertiggerichte aufpeppen – mit Geschmack und Vitaminen.']] Sacrebleu: {'score': 1.8564670505078418, 'counts': [5, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3636363636363635, 'translation_length': 30, 'reference_length': 22} Rouge: {'rouge1': 0.1923076923076923, 'rouge2': 0.04, 'rougeL': 0.11538461538461538, 'rougeLsum': 0.1923076923076923} Sari: {'sari': 32.72633163937511} Flesh Reading Ease: 49.5 ---------------------------------------- Source: ['Früchte, Gemüse und Salate der Saison gibt es in der Kühltheke bereits küchenfertig vorbereitet.'] Prediction: ['Die Schweizer Kühltheke ist bereits küchenfertig vorbereitet.\nDie Gemüse und Salate sind bereits küchenfertig vorbereitet.'] Label: [['Hier liegen vorgeschnittene Blattsalate, bunte Gemüsemischungen und fertige Obstsalate.\nIn der Kühltheke finden Sie vorbereitetes Gemüse und Obst.']] Sacrebleu: {'score': 4.545545587941097, 'counts': [5, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [29.41176470588235, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 0.7903383629814982, 'sys_len': 17, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.29411764705882354, 0.0625, 0.0, 0.0], 'brevity_penalty': 0.7903383629814982, 'length_ratio': 0.8095238095238095, 'translation_length': 17, 'reference_length': 21} Rouge: {'rouge1': 0.25, 'rouge2': 0.15789473684210525, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 34.46067821067821} Flesh Reading Ease: 32.1 ---------------------------------------- Source: ['Beziehen Sie stets eine Kombination von frischen Lebensmitteln und Convenience-Produkten ein.'] Prediction: ['Die Schweizer Welt hat eine Kombination von Convenience-Produkten eingeführt.\nDie Welt hat sich mit einem grossen Schutz aufgezeichnet.'] Label: [['Wenn Sie Fertigprodukte kaufen, kombinieren Sie die einfach mit ein paar frischen Lebensmitteln.\nPlanen Sie Ihre Mahlzeiten und den Einkauf:']] Sacrebleu: {'score': 1.9597112120971663, 'counts': [2, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [10.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 0.8607079764250579, 'sys_len': 20, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8607079764250577, 'length_ratio': 0.8695652173913043, 'translation_length': 20, 'reference_length': 23} Rouge: {'rouge1': 0.10000000000000002, 'rouge2': 0.0, 'rougeL': 0.10000000000000002, 'rougeLsum': 0.10000000000000002} Sari: {'sari': 37.585562585562585} Flesh Reading Ease: 48.15 ---------------------------------------- Source: ["Was an erster Stelle steht, hat den höchsten Gewichtsanteil, dann geht's in absteigender Reihenfolge weiter."] Prediction: ['Die Reihenfolge in der Reihe von St. Gallen geht weiter.\nIn der neuen Folge geht es um einen Gewichtsanteil.\nDie beiden waren in der Reihe nach dem Gewichtsanteil.'] Label: [['Wovon am meisten drin steckt, wird zuerst genannt.']] Sacrebleu: {'score': 1.1599713834969503, 'counts': [1, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [3.125, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.03125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2, 'translation_length': 32, 'reference_length': 10} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 52.03373015873015} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Unterm Strich ist ein Fertiggericht nur so gesund wie seine Zutaten.'] Prediction: ['Unterm Strich ist ein Fertiggericht nur so gesund wie seine Zutaten.\nDas ist unklar, obwohl unterm Strich ein Fertiggericht ist.'] Label: [['Hier sehen Sie genau, welche Zutaten in der Verpackung sind – und wie viel.\nDort stehen die Zutaten.\nDie Wahrheit über Zutaten und Nährstoffe finden Sie nicht auf der Vorderseite, sondern auf der Rückseite der Packung.']] Sacrebleu: {'score': 1.8933783834986289, 'counts': [5, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [21.73913043478261, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 0.45721172797475435, 'sys_len': 23, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 0.45721172797475435, 'length_ratio': 0.5609756097560976, 'translation_length': 23, 'reference_length': 41} Rouge: {'rouge1': 0.07017543859649122, 'rouge2': 0.0, 'rougeL': 0.07017543859649122, 'rougeLsum': 0.03508771929824561} Sari: {'sari': 38.61111111111111} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Doch wie lassen sich Convenience-Lebensmittel mit einer gesunden und schmackhaften Ernährung im Alltag vereinbaren?'] Prediction: ['Im Alltag wurden Convenience-Lebensmittel in der Schweiz gesunden.\nDoch wie lassen sich Convenience-Lebensmittel mit einer gesunden und schmackhaften Ernährung im Alltag vereinbaren?'] Label: [['In diesem Artikel geben wir Tipps, worauf Sie beim Einkauf von Fertigprodukten achten können.\nUnd wenn man die richtigen Produkte wählt, passen sie auch in eine gesunde Ernährung.']] Sacrebleu: {'score': 1.4836287124017802, 'counts': [3, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [12.5, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 0.7165313105737893, 'sys_len': 24, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7165313105737893, 'length_ratio': 0.75, 'translation_length': 24, 'reference_length': 32} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.037037037037037035, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 36.36938646426312} Flesh Reading Ease: 28.6 ---------------------------------------- Source: ['Fertige oder vorbereitete Lebensmittel sind praktisch und sparen oft Zeit.'] Prediction: ['Immer mehr Lebensmittel sind praktisch und sparen oft Zeit.\nDas ist eine praktisch gewordene Vorbereitung.'] Label: [['Sie sind praktisch und sparen Zeit in der Küche.\nViele Menschen kochen mit Fertigprodukten.']] Sacrebleu: {'score': 16.467029855845905, 'counts': [7, 3, 2, 1], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 18.75, 13.333333333333334, 7.142857142857143], 'bp': 1.0, 'sys_len': 17, 'ref_len': 16} Bleu: {'bleu': 0.16467029855845897, 'precisions': [0.4117647058823529, 0.1875, 0.13333333333333333, 0.07142857142857142], 'brevity_penalty': 1.0, 'length_ratio': 1.0625, 'translation_length': 17, 'reference_length': 16} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.21428571428571427, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 52.420634920634924} Flesh Reading Ease: 61.35 ---------------------------------------- Source: ['Geeignet für: Suppen, Eintöpfe, Soßen, Nudeln, Kartoffeln.'] Prediction: ['Geeignet für: Soßen, Nudeln, Kartoffeln.\nIm Test gegen die Welt werden die besten Eintöpfe, Soßen, Nudeln, Kartoffeln.'] Label: [['Suppe, Eintopf, Nudeln, Kartoffeln, Soße']] Sacrebleu: {'score': 10.435185733665413, 'counts': [6, 3, 2, 1], 'totals': [25, 24, 23, 22], 'precisions': [24.0, 12.5, 8.695652173913043, 4.545454545454546], 'bp': 1.0, 'sys_len': 25, 'ref_len': 9} Bleu: {'bleu': 0.10435185733665414, 'precisions': [0.24, 0.125, 0.08695652173913043, 0.045454545454545456], 'brevity_penalty': 1.0, 'length_ratio': 2.7777777777777777, 'translation_length': 25, 'reference_length': 9} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.08000000000000002, 'rougeL': 0.22222222222222224, 'rougeLsum': 0.14814814814814814} Sari: {'sari': 48.148148148148145} Flesh Reading Ease: 60.35 ---------------------------------------- Source: ['Geeignet für: Fleisch, Fisch, Kartoffeln, Obst und Gemüse. Verfahrensart: Garen in trockener Wärme'] Prediction: ['In den letzten Tagen sind auch die Schweizerinnen und Schweizer für eine grosse Wärme geschafft.\nDie Schweizer Schweizer wollen trocken.\nDer Fleisch, Fisch, Kartoffeln und Obst sind für die Schweizer Schweizerinnen und Schweizer geschafft.'] Label: [['Fleisch, Fisch, Kartoffeln, Obst und Gemüse']] Sacrebleu: {'score': 9.604819623436832, 'counts': [7, 4, 3, 2], 'totals': [39, 38, 37, 36], 'precisions': [17.94871794871795, 10.526315789473685, 8.108108108108109, 5.555555555555555], 'bp': 1.0, 'sys_len': 39, 'ref_len': 9} Bleu: {'bleu': 0.09604819623436828, 'precisions': [0.1794871794871795, 0.10526315789473684, 0.08108108108108109, 0.05555555555555555], 'brevity_penalty': 1.0, 'length_ratio': 4.333333333333333, 'translation_length': 39, 'reference_length': 9} Rouge: {'rouge1': 0.22727272727272727, 'rouge2': 0.09523809523809525, 'rougeL': 0.22727272727272727, 'rougeLsum': 0.22727272727272727} Sari: {'sari': 44.17690732206861} Flesh Reading Ease: 75.1 ---------------------------------------- Source: ['Zum Wenden eine Zange oder einen Bratenwender benutzen, sodass die Kruste vollständig erhalten bleibt.'] Prediction: ['Die Kruste bleibt vollständig erhalten.\nZum Wenden eine Zange oder einen Bratenwender bleibt die Kruste vollständig erhalten.'] Label: [['Wenden Sie das Lebensmittel mit einer Zange oder einem Wender, dann bleibt die Kruste heil.']] Sacrebleu: {'score': 10.307386760781874, 'counts': [7, 3, 1, 0], 'totals': [19, 18, 17, 16], 'precisions': [36.8421052631579, 16.666666666666668, 5.882352941176471, 3.125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.3684210526315789, 0.16666666666666666, 0.058823529411764705, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1176470588235294, 'translation_length': 19, 'reference_length': 17} Rouge: {'rouge1': 0.35294117647058826, 'rouge2': 0.1875, 'rougeL': 0.35294117647058826, 'rougeLsum': 0.35294117647058826} Sari: {'sari': 40.669191919191924} Flesh Reading Ease: 60.35 ---------------------------------------- Source: ['und das Grillgut auf einen Rost legen bis es gebräunt ist. Den Grill vorheizen.'] Prediction: ['Das Grillgut auf einen Rost legen bis es gebräunt ist.\nEs ist das erste Mal, das erste Mal seit einem Jahr ist.\nDas ist das erste Mal, das erste Mal ist.'] Label: [['Legen Sie das Lebensmittel auf einen Rost, bis es braun ist.\nHeizen Sie den Grill vor.']] Sacrebleu: {'score': 6.132910803680852, 'counts': [10, 4, 1, 0], 'totals': [36, 35, 34, 33], 'precisions': [27.77777777777778, 11.428571428571429, 2.9411764705882355, 1.5151515151515151], 'bp': 1.0, 'sys_len': 36, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.11428571428571428, 0.029411764705882353, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.894736842105263, 'translation_length': 36, 'reference_length': 19} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.13043478260869568, 'rougeL': 0.2916666666666667, 'rougeLsum': 0.2916666666666667} Sari: {'sari': 41.88073394495413} Flesh Reading Ease: 93.65 ---------------------------------------- Source: ['Erst nach Ablauf der Garzeit den Ofen öffnen und eine Garprobe durchführen.'] Prediction: ['In der Schweiz wurde eine Garprobe gefunden.\nDer Garzeit wurde von einem öffnen Ablauf der Garzeit öffnen.\nDie Welt ist noch unklar.'] Label: [['Den Ofen erst öffnen, wenn die Garzeit vorbei ist.']] Sacrebleu: {'score': 2.1300733682208985, 'counts': [4, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [16.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.16, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.272727272727273, 'translation_length': 25, 'reference_length': 11} Rouge: {'rouge1': 0.2580645161290322, 'rouge2': 0.0, 'rougeL': 0.1935483870967742, 'rougeLsum': 0.2580645161290322} Sari: {'sari': 42.50356125356125} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ['Gebäck sollte weiter unten im Ofen gebacken werden je größer es ist.'] Prediction: ['Im Ofen wurde ein gebäcktes Gebäck gebacken.\nEs handelt sich um einen Gebäck, der in der Schweiz gebacken wurde.\nDie Welt ist noch unklar.'] Label: [['Je größer das Lebensmittel, desto weiter unten stellen Sie es in den Ofen.']] Sacrebleu: {'score': 1.8884748972625875, 'counts': [4, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [14.285714285714286, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8666666666666667, 'translation_length': 28, 'reference_length': 15} Rouge: {'rouge1': 0.14634146341463417, 'rouge2': 0.0, 'rougeL': 0.0975609756097561, 'rougeLsum': 0.14634146341463417} Sari: {'sari': 47.94999686304034} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Den Ofen anstellen, das Gargut auf ein Blech, Rost oder in eine Form legen und bei 160 bis 275 Grad Celsius\xa0gemäß den Angaben im Rezept garen.'] Prediction: ['Den Ofen anstellen, das Gargut auf ein Blech, Rost oder in eine Form legen und bei 160 bis 275 Grad Celsius\xa0gemäß den Angaben im Rezept.\nDas Gargut auf ein Blech, Rost oder in eine Form legen den Angaben im Rezept.'] Label: [['Backen Sie es zwischen 160 und 275 Grad Hitze, je nach Rezept.\nLegen Sie das Lebensmittel auf ein Blech oder ein Rost oder in eine Form.\nStellen Sie den Ofen an.']] Sacrebleu: {'score': 13.610589878725502, 'counts': [21, 8, 4, 2], 'totals': [46, 45, 44, 43], 'precisions': [45.65217391304348, 17.77777777777778, 9.090909090909092, 4.651162790697675], 'bp': 1.0, 'sys_len': 46, 'ref_len': 35} Bleu: {'bleu': 0.13610589878725501, 'precisions': [0.45652173913043476, 0.17777777777777778, 0.09090909090909091, 0.046511627906976744], 'brevity_penalty': 1.0, 'length_ratio': 1.3142857142857143, 'translation_length': 46, 'reference_length': 35} Rouge: {'rouge1': 0.5277777777777778, 'rouge2': 0.2285714285714286, 'rougeL': 0.3888888888888889, 'rougeLsum': 0.4166666666666667} Sari: {'sari': 47.841026576658756} Flesh Reading Ease: 77.6 ---------------------------------------- Source: ['Geeignet für: Brot, Kuchen, Aufläufe, Pizza oder Fischgerichte.'] Prediction: ['Das Restaurant in der Schweiz veröffentlicht Brot, Kuchen, Aufläufe, Pizza oder Fischgerichte.\nDie Welt ist das erste Restaurant in der Schweiz.'] Label: [['Auflauf, Pizza, Fischgerichte, Brot und Kuchen']] Sacrebleu: {'score': 3.951744928978941, 'counts': [7, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [26.923076923076923, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.2692307692307692, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.888888888888889, 'translation_length': 26, 'reference_length': 9} Rouge: {'rouge1': 0.27586206896551724, 'rouge2': 0.0, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.13793103448275862} Sari: {'sari': 41.410256410256416} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['In Pfannen mit Beschichtung kann mit weniger Fett gebraten werden und die Lebensmittel brennen nicht so schnell an.'] Prediction: ['In Pfannen kann man mit weniger Fett gebraten werden.\nDas ist nicht das erste Mal.'] Label: [['Die Lebensmittel brennen darin nicht so schnell an.\nIn einer Pfanne mit Beschichtung brauchen Sie weniger Fett.']] Sacrebleu: {'score': 5.56175040497305, 'counts': [7, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 0.8890097654027757, 'sys_len': 17, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.4117647058823529, 0.0625, 0.0, 0.0], 'brevity_penalty': 0.8890097654027757, 'length_ratio': 0.8947368421052632, 'translation_length': 17, 'reference_length': 19} Rouge: {'rouge1': 0.3125, 'rouge2': 0.06666666666666667, 'rougeL': 0.25, 'rougeLsum': 0.3125} Sari: {'sari': 23.49719523632567} Flesh Reading Ease: 84.75 ---------------------------------------- Source: ['Das Lebensmittel in die heiße Pfanne geben und auf beiden Seiten braten.'] Prediction: ['In Pfanne brannte ein Lebensmittel.\nDas Lebensmittel brannte auf beiden Seiten.'] Label: [['Legen Sie das Lebensmittel in die Pfanne und braten Sie es auf beiden Seiten.']] Sacrebleu: {'score': 18.349818317455792, 'counts': [6, 3, 2, 1], 'totals': [13, 12, 11, 10], 'precisions': [46.15384615384615, 25.0, 18.181818181818183, 10.0], 'bp': 0.8574039191604413, 'sys_len': 13, 'ref_len': 15} Bleu: {'bleu': 0.18349818317455793, 'precisions': [0.46153846153846156, 0.25, 0.18181818181818182, 0.1], 'brevity_penalty': 0.8574039191604413, 'length_ratio': 0.8666666666666667, 'translation_length': 13, 'reference_length': 15} Rouge: {'rouge1': 0.56, 'rouge2': 0.2608695652173913, 'rougeL': 0.4, 'rougeLsum': 0.56} Sari: {'sari': 43.96860206070732} Flesh Reading Ease: 57.5 ---------------------------------------- Source: ['KurzbratenWenig Fett in eine Pfanne geben und erhitzen.'] Prediction: ['In der Nähe von Pfanne wurde ein Mann mit einem Pfanne-Fett gefunden.\nDie Frau wurde dabei verletzt.'] Label: [['Geben Sie ein wenig Fett in eine Pfanne und erhitzen sie diese.']] Sacrebleu: {'score': 2.6643211213888947, 'counts': [3, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4615384615384615, 'translation_length': 19, 'reference_length': 13} Rouge: {'rouge1': 0.2580645161290323, 'rouge2': 0.0, 'rougeL': 0.12903225806451615, 'rougeLsum': 0.12903225806451615} Sari: {'sari': 23.923761423761427} Flesh Reading Ease: 77.9 ---------------------------------------- Source: ['Geeignet für: Fleisch, Fisch, Gemüse, Kartoffel-, Reis- und Nudelgerichte.'] Prediction: ['Der Schweizer Kartoffel-Pilot hat seinen neuen Kartoffel-Piloten veröffentlicht.\nDer Fleisch, Fisch, Gemüse, Kartoffel und Reis-Piloten werden für die Schweizer Kartoffel geschickt.\nDer Schweizer Kartoffel-Pilot hat seinen neuen Chef-Kollegen aufgefordert.'] Label: [['Fleisch, Fisch und Gemüse, Kartoffel-, Reis- und Nudelgerichte']] Sacrebleu: {'score': 5.376437540689003, 'counts': [7, 3, 1, 0], 'totals': [35, 34, 33, 32], 'precisions': [20.0, 8.823529411764707, 3.0303030303030303, 1.5625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.08823529411764706, 0.030303030303030304, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1818181818181817, 'translation_length': 35, 'reference_length': 11} Rouge: {'rouge1': 0.30434782608695654, 'rouge2': 0.13636363636363638, 'rougeL': 0.26086956521739135, 'rougeLsum': 0.26086956521739135} Sari: {'sari': 26.219891219891217} Flesh Reading Ease: 29.9 ---------------------------------------- Source: ['Geeignet für: Kleine, in Stücke zerteilte Mengen von allen Lebensmitteln'] Prediction: ['In Stücke zerteilte Mengen von allen Lebensmitteln.\nDie Polizei hatte die Mengen in den letzten Tagen geschützt.\nDie Polizei hatte die Mengen in den letzten Tagen verlassen.'] Label: [['Alle Lebensmittel, vor allem in kleinen Mengen oder kleinen Stücken.']] Sacrebleu: {'score': 1.633898440122165, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 30, 'reference_length': 12} Rouge: {'rouge1': 0.15, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.1} Sari: {'sari': 35.98039215686274} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Keinesfalls sollten Gefäße oder Besteck aus Metall in die Mikrowelle gelangen.'] Prediction: ['Keinesfalls sollten Gefäße oder Besteck aus Metall in die Mikrowelle gelangen.\nKeinesfalls sollten Gefäße oder Besteck aus Metall gelangen.'] Label: [['Keinen Topf, kein Besteck und keine Teller mit Goldrand.\nAufgepasst: Niemals Metall in die Mikrowelle stellen!']] Sacrebleu: {'score': 12.58220555845937, 'counts': [6, 3, 2, 1], 'totals': [21, 20, 19, 18], 'precisions': [28.571428571428573, 15.0, 10.526315789473685, 5.555555555555555], 'bp': 1.0, 'sys_len': 21, 'ref_len': 20} Bleu: {'bleu': 0.1258220555845937, 'precisions': [0.2857142857142857, 0.15, 0.10526315789473684, 0.05555555555555555], 'brevity_penalty': 1.0, 'length_ratio': 1.05, 'translation_length': 21, 'reference_length': 20} Rouge: {'rouge1': 0.27027027027027023, 'rouge2': 0.17142857142857143, 'rougeL': 0.27027027027027023, 'rougeLsum': 0.27027027027027023} Sari: {'sari': 46.9047619047619} Flesh Reading Ease: 47.65 ---------------------------------------- Source: ['Zu Garzeiten und Leistungsstufe die Angaben des Herstellers beachten.'] Prediction: ['Am Mittwochabend wurde in der Nähe des Schweizer Grenze gefunden.\nDie Polizei verhaftete den Mann.'] Label: [['Wie lange und auf welcher Leistungsstufe die Mikrowelle laufen muss, finden Sie in der Bedienungs-Anleitung des Herstellers.']] Sacrebleu: {'score': 4.835617971180587, 'counts': [4, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [23.529411764705884, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 0.8890097654027757, 'sys_len': 17, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.0625, 0.0, 0.0], 'brevity_penalty': 0.8890097654027757, 'length_ratio': 0.8947368421052632, 'translation_length': 17, 'reference_length': 19} Rouge: {'rouge1': 0.23529411764705882, 'rouge2': 0.0625, 'rougeL': 0.17647058823529413, 'rougeLsum': 0.23529411764705882} Sari: {'sari': 51.93515974765975} Flesh Reading Ease: 55.5 ---------------------------------------- Source: ['Damit das Gargut nicht austrocknet oder spritzt, eine Abdeckhaube darüber stellen.'] Prediction: ['Eine Abdeckhaube in der Nähe von Gargut ist austrocknet.\nDas Gargut ist nicht austrocknet oder spritzt.\nDas Gargut ist nicht austrocknet.'] Label: [['Damit das Essen nicht spritzt oder austrocknet, sollten Sie es mit einer Haube abdecken.']] Sacrebleu: {'score': 2.352622489487909, 'counts': [5, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [20.833333333333332, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.20833333333333334, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 24, 'reference_length': 16} Rouge: {'rouge1': 0.2777777777777778, 'rouge2': 0.0, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 33.858543417366946} Flesh Reading Ease: 73.55 ---------------------------------------- Source: ['Das Lebensmittel mit etwas Wasser in einem Gefäß aus Glas, Keramik oder hitzebeständigem Kunststoff in die Mikrowelle stellen.'] Prediction: ['Ein Lebensmittel ist in der Mikrowelle oft mit hitzebeständigem Kunststoff in die Mikrowelle.\nDas Lebensmittel ist mit etwas Wasser in einem Gefäß aus Glas, Keramik oder hitzebeständigem Kunststoff in die Mikrowelle geworden.'] Label: [['Stellen Sie es in die Mikrowelle.\nLegen Sie das Lebensmittel mit etwas Wasser in das Gefäß.\nNehmen Sie ein Gefäß aus Glas, Keramik oder hitzefestem Plastik.']] Sacrebleu: {'score': 27.358384246243787, 'counts': [16, 11, 8, 5], 'totals': [35, 34, 33, 32], 'precisions': [45.714285714285715, 32.35294117647059, 24.242424242424242, 15.625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 30} Bleu: {'bleu': 0.2735838424624378, 'precisions': [0.45714285714285713, 0.3235294117647059, 0.24242424242424243, 0.15625], 'brevity_penalty': 1.0, 'length_ratio': 1.1666666666666667, 'translation_length': 35, 'reference_length': 30} Rouge: {'rouge1': 0.5, 'rouge2': 0.3448275862068965, 'rougeL': 0.4666666666666667, 'rougeLsum': 0.5} Sari: {'sari': 39.24345755091549} Flesh Reading Ease: 41.15 ---------------------------------------- Source: ['Geeignet für: Zartes, bindegewebsarmes Gargut wie Fisch, zartes Gemüse, Geflügelteilstücke oder Tajine.'] Prediction: ['Der Schweizer Weltkriegszeit ist eine neue Weltkriegszeit.\nDie Weltkriegszeit ist eine neue Weltkriegszeit.\nDie Weltkriegszeit ist eine neue Weltkriegszeit.'] Label: [['Fisch, Geflügelstücke, zartes Gemüse']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 22, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6666666666666665, 'translation_length': 22, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 37.51869658119658} Flesh Reading Ease: 68.4 ---------------------------------------- Source: ['Den Topfinhalt nicht umrühren oder wenden, sondern bei geschlossenem Deckel den Topf ab und zu vorsichtig rütteln, um Wasserdampfverluste zu vermeiden.'] Prediction: ['Wasserdampfverluste wird bei den Topfern abgebrochen.\nDas ist bei geschlossenen Deckel den Topf abgebrochen.'] Label: [['Sie können den Topf ab und zu vorsichtig rütteln, damit nichts festklebt.']] Sacrebleu: {'score': 5.412989186545263, 'counts': [3, 1, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 6.666666666666667, 3.5714285714285716, 1.9230769230769231], 'bp': 1.0, 'sys_len': 16, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 16, 'reference_length': 14} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.07692307692307693, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 28.74779541446208} Flesh Reading Ease: 50.15 ---------------------------------------- Source: ['Nach dem Ankochen die Lebensmittel auf der Fortkochstufe bei mittlerer Hitze zu Ende garen. Den Topf mit einem Deckel gut verschließen und vor Ende der Garzeit nicht wieder öffnen.'] Prediction: ['Ein Sprecher auf der Fortkochstufe hatte bei einer Garzeit einen Deckel geschlagen.\nDer Sprecher hatte dabei eine Garzeit geschlagen.\nDer Sprecher war mit einem Deckel gut verschließt.'] Label: [['Nehmen Sie den Deckel nicht vom Topf, sonst entweicht der Dampf.\nLegen Sie einen Deckel auf den Topf und schalten Sie den Herd auf mittlere Hitze zurück.']] Sacrebleu: {'score': 3.3961882197738325, 'counts': [7, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [23.333333333333332, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.23333333333333334, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 30, 'reference_length': 30} Rouge: {'rouge1': 0.17857142857142858, 'rouge2': 0.037037037037037035, 'rougeL': 0.10714285714285714, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 35.18841763758644} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['In einem flachen, breiten Topf ein bis zwei Teelöffel Fett erwärmen, das Lebensmittel kurz darin andünsten und anschließend wenig Wasser zugegeben.'] Prediction: ['In den letzten Tagen ist es in der Schweiz zu einem grossen Lebensmittel gekommen.\nIn den letzten Tagen wurden auch die Lebensmittel-Fälle geschickt.\nDie Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schwe'] Label: [['Geben Sie ein bisschen Wasser dazu.\nBraten Sie das Lebensmittel kurz an.\nNehmen Sie einen flachen, breiten Topf und geben Sie ein bis zwei Teelöffel Fett hinein.']] Sacrebleu: {'score': 0.21102422269882726, 'counts': [3, 0, 0, 0], 'totals': [222, 221, 220, 219], 'precisions': [1.3513513513513513, 0.22624434389140272, 0.11363636363636363, 0.05707762557077625], 'bp': 1.0, 'sys_len': 222, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.013513513513513514, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.161290322580645, 'translation_length': 222, 'reference_length': 31} Rouge: {'rouge1': 0.008, 'rouge2': 0.0, 'rougeL': 0.008, 'rougeLsum': 0.008} Sari: {'sari': 22.881190129473882} Flesh Reading Ease: -10.31 ---------------------------------------- Source: ['Geeignet für: Gemüse, Fisch oder Teigtaschen.'] Prediction: ['Geeignet für Gemüse, Fisch oder Teigtaschen: Gemüse, Fisch oder Teigtaschen.\nGemüse, Fisch oder Teigtaschen: Gemüse, Fisch oder Teigtaschen.'] Label: [['Gemüse, Fisch, Teigtaschen']] Sacrebleu: {'score': 6.109833740738946, 'counts': [5, 2, 1, 0], 'totals': [26, 25, 24, 23], 'precisions': [19.23076923076923, 8.0, 4.166666666666667, 2.1739130434782608], 'bp': 1.0, 'sys_len': 26, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.19230769230769232, 0.08, 0.041666666666666664, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.2, 'translation_length': 26, 'reference_length': 5} Rouge: {'rouge1': 0.29629629629629634, 'rouge2': 0.16, 'rougeL': 0.29629629629629634, 'rougeLsum': 0.29629629629629634} Sari: {'sari': 53.276353276353284} Flesh Reading Ease: 54.0 ---------------------------------------- Source: ['Während des ganzen Garprozesses den Topf nicht öffnen, damit kein Dampf entweicht!'] Prediction: ['Der Schweizer Garprozess ist seit Sonntagabend in den USA gewonnen.\nDas erste Mal seit Sonntagabend gewann er den Topf.\nWährend des ganzen Garprozesses während des ganzen Garprozesses während des Topf kein Dampf entweicht, während des ganzen Garprozesses den Topf nicht öffnen.'] Label: [['Nehmen Sie den Deckel nicht vom Topf, sonst entweicht der Dampf.']] Sacrebleu: {'score': 1.3224637682882356, 'counts': [7, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [15.555555555555555, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15555555555555556, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4615384615384617, 'translation_length': 45, 'reference_length': 13} Rouge: {'rouge1': 0.2142857142857143, 'rouge2': 0.0, 'rougeL': 0.10714285714285715, 'rougeLsum': 0.10714285714285715} Sari: {'sari': 40.4040404040404} Flesh Reading Ease: 61.0 ---------------------------------------- Source: ['Beginnt das Wasser zu sieden, auf geringere Wärmezufuhr zurückschalten und das Lebensmittel im Wasserdampf fertig garen.'] Prediction: ['Ein Wasserdampf wurde in den USA geräumt.\nDer Lebensmittel war im Wasserdampf fertig.'] Label: [['Wenn das Wasser kocht, schalten Sie den Herd auf niedrige Hitze zurück.']] Sacrebleu: {'score': 3.1251907639724417, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0714285714285714, 'translation_length': 15, 'reference_length': 14} Rouge: {'rouge1': 0.07407407407407408, 'rouge2': 0.0, 'rougeL': 0.07407407407407408, 'rougeLsum': 0.07407407407407408} Sari: {'sari': 41.32761437908496} Flesh Reading Ease: 68.2 ---------------------------------------- Source: ['Das Gargut in den Einsatz füllen, den Topf mit dem Deckel verschließen und auf höchster Stufe ankochen.'] Prediction: ['Das Gargut ist auf den Deckel verschließen.\nDer Deckel ist auf höchster Stufe ankochen.\nDas Gargut ist auf die Suche nach seinem Topf gekommen.'] Label: [['Bringen Sie das Wasser zum Kochen.\nLegen Sie das Lebensmittel in das Sieb und legen Sie den Deckel auf den Topf.']] Sacrebleu: {'score': 4.344109103419242, 'counts': [6, 2, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [22.22222222222222, 7.6923076923076925, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.07692307692307693, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.173913043478261, 'translation_length': 27, 'reference_length': 23} Rouge: {'rouge1': 0.25531914893617025, 'rouge2': 0.08888888888888889, 'rougeL': 0.21276595744680848, 'rougeLsum': 0.25531914893617025} Sari: {'sari': 35.466269841269835} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['In den Topf etwa einen fingerbreit Wasser geben und einen Siebeinsatz einlegen.'] Prediction: ['In den Topf wurden etwa einen fingerbreit Wasser geben und einen Siebeinsatz einlegen.\nDie Wasser-Päääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääääää'] Label: [['Legen Sie ein Sieb oder Dampfkorb in den Topf.\nGeben Sie einen fingerbreit Wasser in einen Topf.']] Sacrebleu: {'score': 10.322774777212688, 'counts': [7, 3, 1, 0], 'totals': [16, 15, 14, 13], 'precisions': [43.75, 20.0, 7.142857142857143, 3.8461538461538463], 'bp': 0.8290291181804004, 'sys_len': 16, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.4375, 0.2, 0.07142857142857142, 0.0], 'brevity_penalty': 0.8290291181804004, 'length_ratio': 0.8421052631578947, 'translation_length': 16, 'reference_length': 19} Rouge: {'rouge1': 0.48484848484848486, 'rouge2': 0.2580645161290323, 'rougeL': 0.42424242424242425, 'rougeLsum': 0.42424242424242425} Sari: {'sari': 47.474747474747474} Flesh Reading Ease: 59.7 ---------------------------------------- Source: ['Geeignet für: Stärkehaltige Lebensmittel wie Reis, Couscous, Hirse oder Grieß.'] Prediction: ['Die Schweizer Schweizer Lebensmittel wie Reis, Couscous, Hirse oder Grieß sind geeignet.\nDie Schweizer Lebensmittel wie Reis, Couscous, Hirse oder Grieß sind geeignet.'] Label: [['Reis, Couscous, Bulgur, Hirse']] Sacrebleu: {'score': 9.57937167497228, 'counts': [6, 4, 2, 1], 'totals': [29, 28, 27, 26], 'precisions': [20.689655172413794, 14.285714285714286, 7.407407407407407, 3.8461538461538463], 'bp': 1.0, 'sys_len': 29, 'ref_len': 7} Bleu: {'bleu': 0.09579371674972276, 'precisions': [0.20689655172413793, 0.14285714285714285, 0.07407407407407407, 0.038461538461538464], 'brevity_penalty': 1.0, 'length_ratio': 4.142857142857143, 'translation_length': 29, 'reference_length': 7} Rouge: {'rouge1': 0.22222222222222218, 'rouge2': 0.08, 'rougeL': 0.22222222222222218, 'rougeLsum': 0.22222222222222218} Sari: {'sari': 49.73544973544974} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['Während der Garzeit saugt das Lebensmittel die gesamte Flüssigkeit auf.'] Prediction: ['Immer mehr Menschen wurden bei einem Lebensmittel in der Schweiz geschickt.\nDie Garzeit wurde aufgefunden.\nDie Polizei ermittelt.'] Label: [['Das Lebensmittel saugt die gesamte Flüssigkeit auf.']] Sacrebleu: {'score': 2.159701133933343, 'counts': [2, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [9.523809523809524, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.09523809523809523, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.625, 'translation_length': 21, 'reference_length': 8} Rouge: {'rouge1': 0.15384615384615383, 'rouge2': 0.0, 'rougeL': 0.15384615384615383, 'rougeLsum': 0.15384615384615383} Sari: {'sari': 21.207264957264957} Flesh Reading Ease: 57.0 ---------------------------------------- Source: ['Den Deckel auf den Topf legen und abgedeckt stehen lassen.'] Prediction: ['Der Schweizer Top-20-Pilot hat sich mit seinem Deckel abgedeckt.\nWeil er auf den Topf legen lassen, steht er ab.'] Label: [['Legen Sie den Deckel auf den Topf und lassen Sie ihn abgedeckt stehen.']] Sacrebleu: {'score': 7.238177794755686, 'counts': [7, 2, 1, 0], 'totals': [24, 23, 22, 21], 'precisions': [29.166666666666668, 8.695652173913043, 4.545454545454546, 2.380952380952381], 'bp': 1.0, 'sys_len': 24, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.2916666666666667, 0.08695652173913043, 0.045454545454545456, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7142857142857142, 'translation_length': 24, 'reference_length': 14} Rouge: {'rouge1': 0.41176470588235287, 'rouge2': 0.125, 'rougeL': 0.2941176470588235, 'rougeLsum': 0.35294117647058826} Sari: {'sari': 31.184210526315788} Flesh Reading Ease: 88.6 ---------------------------------------- Source: ['Dazu die genau abgemessene Menge Wasser in einen Topf geben, erwärmen und das Lebensmittel zugeben.'] Prediction: ['Das Lebensmittel ist in der Schweiz aufgeboten.\nDie Wasser-Menge wurde in den Topf geborgen.\nDas Lebensmittel ist aufgeboten.'] Label: [['Jetzt geben Sie das Lebensmittel dazu – das Wasser darf nicht mehr kochen.\nErhitzen Sie den Topf bis kurz vor dem Kochen.\nGeben Sie eine genau abgemessene Menge Wasser in einen Topf.']] Sacrebleu: {'score': 2.5506655090988777, 'counts': [7, 1, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [33.333333333333336, 5.0, 2.6315789473684212, 1.3888888888888888], 'bp': 0.513417119032592, 'sys_len': 21, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.05, 0.0, 0.0], 'brevity_penalty': 0.513417119032592, 'length_ratio': 0.6, 'translation_length': 21, 'reference_length': 35} Rouge: {'rouge1': 0.31999999999999995, 'rouge2': 0.08333333333333334, 'rougeL': 0.24000000000000002, 'rougeLsum': 0.28} Sari: {'sari': 27.415282323818914} Flesh Reading Ease: 57.0 ---------------------------------------- Source: ['KochenHier gibt es zwei Verfahren: 1. Wasser in einen Topf geben, den Deckel auflegen, auf den Herd stellen und auf der höchsten Stufe zum Kochen bringen.'] Prediction: ['Der Schweizer Kochen-Kochen ist ein grosser Rekord.\nDie Verfahren werden auf der höchsten Stufe zum Kochen bringen.'] Label: [['Bringen Sie alles auf der höchsten Stufe zum Kochen.\nLegen Sie den Deckel auf den Topf.\nStellen Sie den Topf auf den Herd.\nDas Essen muss vollständig unter Wasser stehen.\nLegen Sie die Lebensmittel in einen Topf und geben Sie Wasser dazu.']] Sacrebleu: {'score': 6.139720995152, 'counts': [8, 5, 4, 3], 'totals': [19, 18, 17, 16], 'precisions': [42.10526315789474, 27.77777777777778, 23.529411764705884, 18.75], 'bp': 0.2290799498154876, 'sys_len': 19, 'ref_len': 47} Bleu: {'bleu': 0.06139720995152002, 'precisions': [0.42105263157894735, 0.2777777777777778, 0.23529411764705882, 0.1875], 'brevity_penalty': 0.2290799498154876, 'length_ratio': 0.40425531914893614, 'translation_length': 19, 'reference_length': 47} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.19672131147540986, 'rougeL': 0.22222222222222218, 'rougeLsum': 0.25396825396825395} Sari: {'sari': 48.33266682740294} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['Und schließlich bilden sich beim Garen auch Geruchs- oder Geschmacksstoffe, die Appetit machen.'] Prediction: ['Einige Appetit-Gäste sind bei Geruchs und Geschmacksstoffen verfügbar.\nSie bilden sich auch Geruchs und Geschmacksstoffe.'] Label: [['Die machen Appetit!\nUnd das Beste kommt zuletzt: beim Garen bilden sich Geruchs- und Geschmacksstoffe.']] Sacrebleu: {'score': 10.093029251593194, 'counts': [5, 3, 1, 0], 'totals': [17, 16, 15, 14], 'precisions': [29.41176470588235, 18.75, 6.666666666666667, 3.5714285714285716], 'bp': 0.9428731438548749, 'sys_len': 17, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.29411764705882354, 0.1875, 0.06666666666666667, 0.0], 'brevity_penalty': 0.9428731438548749, 'length_ratio': 0.9444444444444444, 'translation_length': 17, 'reference_length': 18} Rouge: {'rouge1': 0.42424242424242425, 'rouge2': 0.1935483870967742, 'rougeL': 0.42424242424242425, 'rougeLsum': 0.3636363636363636} Sari: {'sari': 55.94799483924656} Flesh Reading Ease: 49.65 ---------------------------------------- Source: ['Das Erhitzen macht einige Nährstoffe wie Vitamine und sekundäre Pflanzenstoffe besser verfügbar.'] Prediction: ['Der Erhitzen ist einige Nährstoffe wie Vitamine und sekundäre Pflanzenstoffe verfügbar.\nDas Erhitzen macht einige Nährstoffe wie Vitamine und sekundäre Pflanzenstoffe besser verfügbar.'] Label: [['Das ist gesund.\nBeim Garen werden außerdem Nährstoffe und Vitamine frei.']] Sacrebleu: {'score': 2.449932250423938, 'counts': [7, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [28.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.28, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9230769230769231, 'translation_length': 25, 'reference_length': 13} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.05, 'rougeL': 0.23809523809523808, 'rougeLsum': 0.23809523809523808} Sari: {'sari': 39.81481481481482} Flesh Reading Ease: 28.1 ---------------------------------------- Source: ['Vor allem bei tierischen Produkten wie Hühnerfleisch, Fisch, Meeresfrüchten und Fleisch, die roh mit krankheitserregenden Keimen behaftet sein können, werden diese beim Durchgaren abgetötet.'] Prediction: ['Der Fleisch ist in den Schweizer Produkten auf die krankheitserregenden Keimen gekommen.\nDie roh mit Keimen kann man nicht behaftet werden.\nDie Rolle werden beim Durchgaren abgetötet.'] Label: [['Beim Garen werden diese Bakterien getötet.\nWenn sie roh sind, können sie Bakterien enthalten, die Menschen krank machen.\nDas gilt vor allem für tierische Lebensmittel, wie Fleisch, Fisch und Meeresfrüchte.\nViele Lebensmittel kann man erst sicher essen, wenn sie gegart sind.']] Sacrebleu: {'score': 1.8567276888898403, 'counts': [9, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [30.0, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 0.513417119032592, 'sys_len': 30, 'ref_len': 50} Bleu: {'bleu': 0.0, 'precisions': [0.3, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 0.513417119032592, 'length_ratio': 0.6, 'translation_length': 30, 'reference_length': 50} Rouge: {'rouge1': 0.2191780821917808, 'rouge2': 0.028169014084507043, 'rougeL': 0.0821917808219178, 'rougeLsum': 0.2191780821917808} Sari: {'sari': 30.881324557795146} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['So wird durch Garen zum Beispiel die unverdauliche Stärke der Kartoffel aufgeschlossen. Außerdem werden manche Lebensmittel durch Garen erst genießbar.'] Prediction: ['Der Kartoffel ist in den letzten Tagen in der Schweiz erstmals unverdaulich.\nDie Unverdauliche Stärke der Kartoffel wird aufgeschlossen.\nDie Lebensmittel werden erst genießbar.'] Label: [['Rohe Kartoffeln haben viel Stärke, erst nach dem Kochen oder Backen kann man sie genießen.\nKartoffeln zum Beispiel.\nManche Lebensmittel kann man nur essen, wenn sie gegart sind.']] Sacrebleu: {'score': 1.7392453207295933, 'counts': [6, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [22.22222222222222, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 0.800737402916808, 'sys_len': 27, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8007374029168082, 'length_ratio': 0.8181818181818182, 'translation_length': 27, 'reference_length': 33} Rouge: {'rouge1': 0.17857142857142855, 'rouge2': 0.03703703703703704, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.17857142857142855} Sari: {'sari': 32.103041885650576} Flesh Reading Ease: 55.0 ---------------------------------------- Source: ['Während des Garens werden Lebensmittel erhitzt und verändern sich damit in Geschmack, Zusammensetzung, Konsistenz und Aussehen.'] Prediction: ['Der Lebensmittel ist in den Schweizer Lebenszahlen gekommen.\nDie Lebensmittel werden in Geschmack, Zusammensetzung, Konsistenz und Aussehen verändert.'] Label: [['Gegarte Lebensmittel verändern sich auch in ihrer Festigkeit.\nGegarte Lebensmittel sehen anders aus als rohe Lebensmittel und sie schmecken anders.\nDurch diese Hitze verändert ein Lebensmittel sich.\nBeim Garen wird Essen erhitzt.']] Sacrebleu: {'score': 1.4868046397998633, 'counts': [7, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [31.818181818181817, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 0.5292133415000503, 'sys_len': 22, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.3181818181818182, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5292133415000504, 'length_ratio': 0.6111111111111112, 'translation_length': 22, 'reference_length': 36} Rouge: {'rouge1': 0.22641509433962262, 'rouge2': 0.0392156862745098, 'rougeL': 0.22641509433962262, 'rougeLsum': 0.22641509433962262} Sari: {'sari': 32.92589763177999} Flesh Reading Ease: 36.45 ---------------------------------------- Source: ['So schmecken zum Beispiel Zwiebeln nach dem Braten weniger scharf, sind weicher und je nach Bratdauer leicht gebräunt.'] Prediction: ['Zwiebeln sind nach dem Braten weniger scharf.\nWeicher und je nach Bratdauer leicht gebräunt.'] Label: [['Eine gebratene Zwiebel ist viel weicher als eine rohe.\nSie werden glasig und schmecken viel süßer als rohe Zwiebeln.\nDenken Sie zum Beispiel an gebratene Zwiebeln:']] Sacrebleu: {'score': 1.5347409473007245, 'counts': [4, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [25.0, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 0.44374731008107987, 'sys_len': 16, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0, 0.0, 0.0], 'brevity_penalty': 0.44374731008107987, 'length_ratio': 0.5517241379310345, 'translation_length': 16, 'reference_length': 29} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.0, 'rougeL': 0.09523809523809523, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 30.46626984126984} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['„Wenn der Joghurt seine Farbe verändert hat, unangenehm riecht oder schmeckt, wird er besser entsorgt. “'] Prediction: ['Ein Joghurt hat seine Farbe verändert.\nDer Joghurt wird besser entsorgt.'] Label: [['Dieses Lebensmittel sollten Sie wegwerfen.\nDann ist es nicht mehr in Ordnung.\nOder ist die Verpackung aufgebläht?\nRiecht es komisch?\nSehen Sie Schimmel?\nHat es sich verfärbt?']] Sacrebleu: {'score': 0.7887471949677209, 'counts': [2, 0, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [15.384615384615385, 4.166666666666667, 2.272727272727273, 1.25], 'bp': 0.2147111723416973, 'sys_len': 13, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 0.2147111723416972, 'length_ratio': 0.3939393939393939, 'translation_length': 13, 'reference_length': 33} Rouge: {'rouge1': 0.04878048780487805, 'rouge2': 0.0, 'rougeL': 0.04878048780487805, 'rougeLsum': 0.04878048780487805} Sari: {'sari': 41.964285714285715} Flesh Reading Ease: 69.2 ---------------------------------------- Source: ['„Viele Lebensmittel sind auch nach Ablauf der Mindesthaltbarkeit noch völlig in Ordnung“, erklärt Harald Seitz, Ernährungswissenschaftler am Bundeszentrum für Ernährung (BZfE).'] Prediction: ['Viele Lebensmittel sind noch völlig in Ordnung.\nDas ist der erste Mal in der Schweiz.'] Label: [['Das bedeutet: Lebensmittel sind nach Ablauf des Mindest-Haltbarkeitsdatums oft noch in Ordnung.']] Sacrebleu: {'score': 11.64394847706997, 'counts': [7, 3, 1, 0], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 18.75, 6.666666666666667, 3.5714285714285716], 'bp': 1.0, 'sys_len': 17, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.4117647058823529, 0.1875, 0.06666666666666667, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2142857142857142, 'translation_length': 17, 'reference_length': 14} Rouge: {'rouge1': 0.41379310344827586, 'rouge2': 0.14814814814814814, 'rougeL': 0.3448275862068966, 'rougeLsum': 0.41379310344827586} Sari: {'sari': 54.05853405853406} Flesh Reading Ease: 84.75 ---------------------------------------- Source: ['Im Gegensatz zum Mindesthaltbarkeitsdatum („mindestens haltbar bis. . . ") sollte das Verbrauchsdatum („zu verbrauchen bis. . . “) auf der Verpackung unbedingt eingehalten werden.'] Prediction: ['Im Gegensatz zum Mindesthaltbarkeitsdatum sollte das Verbrauchsdatum auf der Verpackung unbedingt eingehalten werden.\nDas Verbrauchsdatum sollte auf der Verpackung unbedingt eingehalten werden.'] Label: [['Diese Produkte sind leicht verderblich.\nDanach geht das nicht mehr.\nDiese Produkte müssen Sie bis zum angegebenen Datum essen.\nAuf dem Etikett steht „zu verbrauchen bis“ – oder die Abkürzung VD – und ein Datum.\nViele frische Produkte haben ein Verbrauchsdatum.\nBis zu diesem Datum kann man sie essen, danach nicht mehr.\nDie meisten frischen Waren haben ein Verbrauchsdatum.']] Sacrebleu: {'score': 0.4104276481734003, 'counts': [6, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [25.0, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 0.16668213447794655, 'sys_len': 24, 'ref_len': 67} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0, 0.0, 0.0], 'brevity_penalty': 0.1666821344779465, 'length_ratio': 0.3582089552238806, 'translation_length': 24, 'reference_length': 67} Rouge: {'rouge1': 0.12345679012345677, 'rouge2': 0.0, 'rougeL': 0.07407407407407408, 'rougeLsum': 0.12345679012345677} Sari: {'sari': 32.62382075471698} Flesh Reading Ease: 22.75 ---------------------------------------- Source: ['Reis und Nudeln sind sogar noch Jahre länger haltbar, und bei Kaffee ist mit der Zeit höchstens ein Aromaverlust zu befürchten.'] Prediction: ['In der Schweiz sind sich die Nudeln noch Jahre länger haltbar.\nAuch in der Schweiz ist es zu einem Aromaverlust gekommen.'] Label: [['Aber auch verpackte Nudeln, Mehl oder Konserven (viele Monate).']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7692307692307692, 'translation_length': 23, 'reference_length': 13} Rouge: {'rouge1': 0.1290322580645161, 'rouge2': 0.0, 'rougeL': 0.06451612903225805, 'rougeLsum': 0.1290322580645161} Sari: {'sari': 35.882635882635874} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['Milch und Milchprodukte werden nach Ablauf der Mindesthaltbarkeit mit allen Sinnen geprüft.'] Prediction: ['Milch und Milchprodukte werden mit allen Sinnen geprüft.\nDie Veranstalter werden mit allen Sinnen geprüft.'] Label: [['Doch auch nach diesem Datum kann man sie oft noch essen, denn sie sind immer noch in Ordnung.\nZum Beispiel Käse oder andere Milchprodukte (einige Wochen).']] Sacrebleu: {'score': 1.3209427368910835, 'counts': [3, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [17.647058823529413, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.4388799297915549, 'sys_len': 17, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 0.43887992979155477, 'length_ratio': 0.5483870967741935, 'translation_length': 17, 'reference_length': 31} Rouge: {'rouge1': 0.04545454545454545, 'rouge2': 0.0, 'rougeL': 0.04545454545454545, 'rougeLsum': 0.04545454545454545} Sari: {'sari': 34.02777777777777} Flesh Reading Ease: 61.35 ---------------------------------------- Source: ['Es handelt sich um leicht verderbliche Produkte wie Hackfleisch und Geflügel, in denen sich Krankheitserreger vermehren können.'] Prediction: ['Hackfleisch und Geflügel sind leicht verderbliche Produkte.\nEs handelt sich um leicht verderbliche Produkte wie Hackfleisch und Geflügel, in denen sich Krankheitserreger vermehren können.'] Label: [['Diese Waren können leicht verderben.\nZum Beispiel Fleisch oder Fisch, aber auch vorgeschnittene Salate.\nManche Lebensmittel bleiben nur wenige Tage haltbar.']] Sacrebleu: {'score': 2.0752738657056446, 'counts': [5, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [18.51851851851852, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.18518518518518517, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.08, 'translation_length': 27, 'reference_length': 25} Rouge: {'rouge1': 0.12244897959183673, 'rouge2': 0.0425531914893617, 'rougeL': 0.08163265306122448, 'rougeLsum': 0.12244897959183673} Sari: {'sari': 36.36363636363636} Flesh Reading Ease: 51.0 ---------------------------------------- Source: ['Viele Verbraucher sind verunsichert, ob Lebensmittel nach Ablauf des Mindesthaltbarkeitsdatums weiterhin genießbar sind.'] Prediction: ['Mit einem Verunsicherungsdelikt werden Lebensmittel nach Ablauf des Mindesthaltbarkeitsdatums weiterhin genießbar gemacht.\nDie Verbraucher sind verunsichert, ob Lebensmittel nach Ablauf des Mindesthaltbarkeitsdatums weiterhin genießbar sind.'] Label: [['Kann ich das noch essen?']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.666666666666667, 'translation_length': 28, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.33333333333333} Flesh Reading Ease: 3.7 ---------------------------------------- Source: ['Das Siegel informiert über die Produktionsmethode, sagt aber nichts über die gesamte Ökobilanz aus. Doch das Bio-Siegel auf dem Apfel oder dem Salatkopf sagt nichts darüber aus, ob es sich um ein saisonales Angebot handelt.'] Prediction: ['Ein saisonales Angebot auf einem Bio-Siegel aus dem Apfel oder dem Salatkopf ist informiert über die Produktionsmethode.\nDas Bio-Siegel informiert über die Produktionsmethode, sagt aber nichts über die gesamte Ökobilanz aus.'] Label: [['Auch Obst und Gemüse mit dem Bio-Siegel haben nicht immer Saison.\nEs sagt etwas über die Produktion – nicht über den Transport.\nDas Bio-Siegel steht auch auf Ware, die aus anderen Kontinenten kommt.\nAber aufgepasst!']] Sacrebleu: {'score': 5.524442895034022, 'counts': [14, 3, 1, 0], 'totals': [34, 33, 32, 31], 'precisions': [41.1764705882353, 9.090909090909092, 3.125, 1.6129032258064515], 'bp': 0.8382234324229999, 'sys_len': 34, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.4117647058823529, 0.09090909090909091, 0.03125, 0.0], 'brevity_penalty': 0.8382234324229999, 'length_ratio': 0.85, 'translation_length': 34, 'reference_length': 40} Rouge: {'rouge1': 0.4000000000000001, 'rouge2': 0.11764705882352941, 'rougeL': 0.2571428571428572, 'rougeLsum': 0.3142857142857143} Sari: {'sari': 37.54480476518828} Flesh Reading Ease: 47.5 ---------------------------------------- Source: ['Biologisch angebautes Obst und Gemüse wird grundsätzlich ohne chemisch-synthetische Pflanzenschutzmittel und chemisch-synthetische Dünger erzeugt.'] Prediction: ['Biologisch angebautes Obst und Gemüse wird grundsätzlich ohne Pflanzenschutzmittel und chemisch-synthetische Dünger erzeugt.\nDas hat eine Biologie entwickelt.'] Label: [['Normale Landwirte benutzen Dünger und Pflanzenschutz mit vielen chemischen Stoffen.\nDas kommt weil Öko-Bauern anderen Dünger und Pflanzenschutz benutzen.\nSie sind besser fürs Klima als ‚normales’Obst und Gemüse.\nBio-Obst und Bio-Gemüse sind gut für den Boden und das Wasser und für Menschen sehr gesund.']] Sacrebleu: {'score': 1.5359284387792596, 'counts': [7, 2, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 10.526315789473685, 2.7777777777777777, 1.4705882352941178], 'bp': 0.2465969639416065, 'sys_len': 20, 'ref_len': 48} Bleu: {'bleu': 0.0, 'precisions': [0.35, 0.10526315789473684, 0.0, 0.0], 'brevity_penalty': 0.2465969639416065, 'length_ratio': 0.4166666666666667, 'translation_length': 20, 'reference_length': 48} Rouge: {'rouge1': 0.2077922077922078, 'rouge2': 0.10666666666666667, 'rougeL': 0.15584415584415584, 'rougeLsum': 0.2077922077922078} Sari: {'sari': 39.33994110464698} Flesh Reading Ease: 30.6 ---------------------------------------- Source: ['Hier sollte man vor dem Kauf die Qualität testen (wenn möglich probieren! ), denn trotz ansprechender roter Farbe sind die Früchte manchmal recht geschmacksarm.'] Prediction: ['Ein Schweizer Farbe-Kauffteam testet die Qualität.\nDer Grund: Die Früchte ist manchmal recht geschmacksarm.'] Label: [['Die Ware sieht vielleicht lecker aus, aber sie schmeckt nicht so gut wie in der Hauptsaison.']] Sacrebleu: {'score': 2.5642993454084824, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.9428731438548749, 'sys_len': 17, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9428731438548749, 'length_ratio': 0.9444444444444444, 'translation_length': 17, 'reference_length': 18} Rouge: {'rouge1': 0.12121212121212122, 'rouge2': 0.0, 'rougeL': 0.12121212121212122, 'rougeLsum': 0.06060606060606061} Sari: {'sari': 36.344007050528795} Flesh Reading Ease: 61.85 ---------------------------------------- Source: ['Der sicherste Weg, saisonale und regionale Produkte zu bekommen, ist der Kauf direkt beim Erzeuger, also ab-Hof oder auf Wochenmärkten.'] Prediction: ['Der sicherste Weg, saisonale und regionale Produkte zu bekommen, ist der Kauf direkt beim Erzeuger.\nDer Kauf ist direkt beim Erzeuger, also ab-Hof oder auf Wochenmärkten.'] Label: [['Das bedeutet: Hier finden Sie Produkte, die gerade Saison haben.\nAuf dem Wochenmarkt und beim Bauern gibt es viel frisches Obst und Gemüse aus der Region.']] Sacrebleu: {'score': 1.9508315563589549, 'counts': [7, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [22.580645161290324, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.22580645161290322, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0333333333333334, 'translation_length': 31, 'reference_length': 30} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.0, 'rougeL': 0.10909090909090909, 'rougeLsum': 0.14545454545454545} Sari: {'sari': 36.95652173913044} Flesh Reading Ease: 55.85 ---------------------------------------- Source: ['Einige Händler sind mit ihrer Ware schon vor der Hauptsaison am Markt, die dann meist teurer ist, aber nicht unbedingt eine gute Qualität aufweist.'] Prediction: ['Einige Händler sind vor der Hauptsaison am Markt.\nDie Qualität ist nicht bekannt.'] Label: [['Sie verkaufen teure Ware, die oft noch nicht optimal reif ist.\nManche Händler möchten Obst und Gemüse als Erste anbieten.']] Sacrebleu: {'score': 2.305354994989551, 'counts': [5, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [33.333333333333336, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.5866462195100317, 'sys_len': 15, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5866462195100318, 'length_ratio': 0.6521739130434783, 'translation_length': 15, 'reference_length': 23} Rouge: {'rouge1': 0.26315789473684204, 'rouge2': 0.05555555555555555, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.2105263157894737} Sari: {'sari': 36.12179487179487} Flesh Reading Ease: 79.9 ---------------------------------------- Source: ['Bei den meisten frischen Obst- und Gemüsearten muss das Ursprungsland angegeben werden.'] Prediction: ['Immer mehr Obst und Gemüsearten muss das Ursprungsland angegeben werden.\nDie meisten frischen Obst und Gemüsearten muss das Ursprungsland angegeben werden.'] Label: [['Bei frischem Obst und Gemüse steht das Land auf dem Etikett oder auf dem Schild daneben.']] Sacrebleu: {'score': 3.9164496650022476, 'counts': [4, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [17.391304347826086, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3529411764705883, 'translation_length': 23, 'reference_length': 17} Rouge: {'rouge1': 0.19999999999999998, 'rouge2': 0.10526315789473685, 'rougeL': 0.19999999999999998, 'rougeLsum': 0.19999999999999998} Sari: {'sari': 36.03174603174603} Flesh Reading Ease: 46.65 ---------------------------------------- Source: ['Für saisonales Obst und Gemüse gibt es kein verbindliches einheitliches Siegel, an dem man sich beim Einkauf orientieren könnte.'] Prediction: ['Manchmal sind saisonale Obst und Gemüse einig.\nEs ist ein verbindliches einheitliches Siegel.'] Label: [['Für Obst und Gemüse, das gerade Saison hat, gibt es kein einheitliches Siegel.']] Sacrebleu: {'score': 15.39089487088446, 'counts': [6, 4, 2, 0], 'totals': [15, 14, 13, 12], 'precisions': [40.0, 28.571428571428573, 15.384615384615385, 4.166666666666667], 'bp': 0.9355069850316178, 'sys_len': 15, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.4, 0.2857142857142857, 0.15384615384615385, 0.0], 'brevity_penalty': 0.9355069850316178, 'length_ratio': 0.9375, 'translation_length': 15, 'reference_length': 16} Rouge: {'rouge1': 0.4827586206896552, 'rouge2': 0.29629629629629634, 'rougeL': 0.4827586206896552, 'rougeLsum': 0.4827586206896552} Sari: {'sari': 54.99124547137403} Flesh Reading Ease: 56.5 ---------------------------------------- Source: ['Zitronen, Apfelsinen oder Honigmelonen aus Europa haben wegen der kürzeren Transportwege immer eine bessere Ökobilanz als Obst aus Übersee oder Flugware.'] Prediction: ['Aus Europa haben zitronen, Apfelsinen oder Honigmelonen eine bessere Ökobilanz.\nZitronen, Apfelsinen oder Honigmelonen aus Europa haben wegen der kürzeren Transportwege immer eine bessere Ökobilanz.'] Label: [['Zitronen, Melonen und Apfelsinen aus Südeuropa haben kürzere Wege als die gleichen Früchte aus anderen Kontinenten.']] Sacrebleu: {'score': 3.3868193354396166, 'counts': [6, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [20.689655172413794, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.20689655172413793, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6111111111111112, 'translation_length': 29, 'reference_length': 18} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.0, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 36.483283433133735} Flesh Reading Ease: 9.55 ---------------------------------------- Source: ['Bei Früchten, die auch in Südeuropa wachsen, lohnt sich immer ein Blick auf das Ursprungsland.'] Prediction: ['In Südeuropa wurde ein Blick auf das Ursprungsland gefunden.\nDie Ursprungsparatoren sind in Früchten, die auch in Südeuropa wachsen.'] Label: [['Achten Sie beim Einkauf immer auf das Ursprungsland.\nManche exotische Früchte wachsen auch in Südeuropa.']] Sacrebleu: {'score': 11.966557505142486, 'counts': [9, 4, 2, 0], 'totals': [22, 21, 20, 19], 'precisions': [40.90909090909091, 19.047619047619047, 10.0, 2.6315789473684212], 'bp': 1.0, 'sys_len': 22, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.4090909090909091, 0.19047619047619047, 0.1, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2941176470588236, 'translation_length': 22, 'reference_length': 17} Rouge: {'rouge1': 0.46153846153846156, 'rouge2': 0.27027027027027023, 'rougeL': 0.41025641025641024, 'rougeLsum': 0.41025641025641024} Sari: {'sari': 42.04395141895142} Flesh Reading Ease: 47.65 ---------------------------------------- Source: ['Litchis oder Karambolen kommen dagegen meistens per Flugzeug zu uns, so dass sie eine schlechtere Ökobilanz aufweisen.'] Prediction: ['Eine schlechtere Ökobilanz kommt auf den Flugzeug zu uns.\nLitchis oder Karambolen kommen meistens per Flugzeug zu uns.'] Label: [['Das ist nicht klimafreundlich.\nDieser Transport ist teuer und kostet viel Energie.\nSie halten sich nicht lange genug für längere Transporte.\nAndere Früchte kommen immer mit dem Flugzeug nach Deutschland, zum Beispiel Brombeeren aus Mexiko oder Litschis aus Thailand.']] Sacrebleu: {'score': 0.8623188376772921, 'counts': [5, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 0.301194211912202, 'sys_len': 20, 'ref_len': 44} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0, 0.0, 0.0], 'brevity_penalty': 0.301194211912202, 'length_ratio': 0.45454545454545453, 'translation_length': 20, 'reference_length': 44} Rouge: {'rouge1': 0.1, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.06666666666666667} Sari: {'sari': 34.06432748538011} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Wer die Umwelt weniger belasten möchte, sollte sich möglichst an Früchte halten, die überwiegend mit dem Schiff transportiert werden, wie z. B. Bananen und Ananas.'] Prediction: ['Die Umwelt weniger belasteten sich weniger an Früchte.\nDie Früchte sollte sich möglichst an Früchte halten, die überwiegend mit dem Schiff transportiert werden.'] Label: [['Der Transport ist nicht so teuer und kostet nicht so viel Energie.\nManche Früchte kommen aus anderen Kontinenten mit dem Schiff nach Deutschland, zum Beispiel Bananen und Ananas.']] Sacrebleu: {'score': 5.483315458294918, 'counts': [7, 2, 1, 0], 'totals': [26, 25, 24, 23], 'precisions': [26.923076923076923, 8.0, 4.166666666666667, 2.1739130434782608], 'bp': 0.825052966980536, 'sys_len': 26, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.2692307692307692, 0.08, 0.041666666666666664, 0.0], 'brevity_penalty': 0.825052966980536, 'length_ratio': 0.8387096774193549, 'translation_length': 26, 'reference_length': 31} Rouge: {'rouge1': 0.17857142857142858, 'rouge2': 0.11111111111111112, 'rougeL': 0.17857142857142858, 'rougeLsum': 0.17857142857142858} Sari: {'sari': 33.34466087095072} Flesh Reading Ease: 63.2 ---------------------------------------- Source: ['Vor allem bei Apfelsinen, Mandarinen, Litschis und Feigen gibt es große jahreszeitliche Schwankungen beim Angebot.'] Prediction: ['Bei Apfelsinen, Mandarinen, Litschis und Feigen gibt es große jahreszeitliche Schwankungen.\nAuch bei Apfelsinen, Mandarinen, Litschis und Feigen gibt es große jahreszeitliche Schwankungen.'] Label: [['Sie schmecken aber nur in ihrer Hauptsaison richtig gut.\nDiese Früchte liegen das ganze Jahr im Laden.\nAchten Sie zum Beispiel auf die Saisonzeiten für Orangen, Mandarinen, Litschis und Feigen.']] Sacrebleu: {'score': 13.85105944861409, 'counts': [8, 5, 4, 3], 'totals': [29, 28, 27, 26], 'precisions': [27.586206896551722, 17.857142857142858, 14.814814814814815, 11.538461538461538], 'bp': 0.8131037598190377, 'sys_len': 29, 'ref_len': 35} Bleu: {'bleu': 0.1385105944861409, 'precisions': [0.27586206896551724, 0.17857142857142858, 0.14814814814814814, 0.11538461538461539], 'brevity_penalty': 0.8131037598190377, 'length_ratio': 0.8285714285714286, 'translation_length': 29, 'reference_length': 35} Rouge: {'rouge1': 0.14035087719298245, 'rouge2': 0.10909090909090909, 'rougeL': 0.14035087719298245, 'rougeLsum': 0.14035087719298245} Sari: {'sari': 51.78905030298219} Flesh Reading Ease: 33.95 ---------------------------------------- Source: ['Aber: Auch viele Exoten und Südfrüchte haben zu bestimmten Zeiten Saison, in denen das Angebot besonders groß ist und die Qualität entsprechend gut.'] Prediction: ['Viele Exoten und Südfrüchte haben zu bestimmten Zeiten Saison ein Angebot besonders groß gemacht.\nAuch viele Exoten und Südfrüchte haben zu bestimmten Zeiten Saison ein Angebot besonders groß gemacht.'] Label: [['In dieser Zeit ist das Angebot groß, die Früchte sind frisch und günstig und die Qualität ist gut.\nAuch exotische Früchte haben ihre Saisonzeiten im Ursprungsland.']] Sacrebleu: {'score': 3.392268780792677, 'counts': [8, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [25.806451612903224, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 1.0, 'sys_len': 31, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.25806451612903225, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0689655172413792, 'translation_length': 31, 'reference_length': 29} Rouge: {'rouge1': 0.253968253968254, 'rouge2': 0.03278688524590164, 'rougeL': 0.15873015873015872, 'rougeLsum': 0.15873015873015872} Sari: {'sari': 29.514661583627106} Flesh Reading Ease: 48.5 ---------------------------------------- Source: ['Die umweltschonendste Variante wäre in diesem Fall, bis zur neuen heimischen Ernte auf Äpfel zu verzichten.'] Prediction: ['Die heimische Variante wäre in diesem Fall auf Äpfel zu verzichten.\nDie heimische Variante wäre in diesem Fall auf Äpfel zu verzichten.'] Label: [['Am besten fürs Klima ist es, wenn Sie im Juli gar keine Äpfel kaufen – sondern anderes Obst, das gerade Saison hat.']] Sacrebleu: {'score': 1.7946164267667561, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 0.9591894571091382, 'sys_len': 24, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9591894571091382, 'length_ratio': 0.96, 'translation_length': 24, 'reference_length': 25} Rouge: {'rouge1': 0.043478260869565216, 'rouge2': 0.0, 'rougeL': 0.043478260869565216, 'rougeLsum': 0.043478260869565216} Sari: {'sari': 34.523809523809526} Flesh Reading Ease: 52.0 ---------------------------------------- Source: ['Deshalb kann ein im Herbst eingelagerter heimischer Apfel im Juni/Juli des Folgejahres eine ungünstigere Ökobilanz haben, als ein Apfel aus Neuseeland.'] Prediction: ['Deshalb kann ein heimischer Apfel im Juni/Juli des Folgejahres eine ungünstigere Ökobilanz haben.\nDas ist ein heimischer Apfel aus Neuseeland.'] Label: [['Sie wurden zwar eingeflogen, aber sie sind frisch und wurden nicht monatelang gelagert.\nMan kann auch Äpfel aus Neuseeland wählen.\nDie deutschen Äpfel waren seit dem letzten Herbst im Kühlhaus.\nWenn Sie im Juli Äpfel essen möchten, finden Sie deutsche und neuseeländische Früchte im Laden.']] Sacrebleu: {'score': 1.3972543095791679, 'counts': [7, 1, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [29.166666666666668, 4.3478260869565215, 2.272727272727273, 1.1904761904761905], 'bp': 0.32465246735834974, 'sys_len': 24, 'ref_len': 51} Bleu: {'bleu': 0.0, 'precisions': [0.2916666666666667, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 0.32465246735834974, 'length_ratio': 0.47058823529411764, 'translation_length': 24, 'reference_length': 51} Rouge: {'rouge1': 0.1388888888888889, 'rouge2': 0.02857142857142857, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.1388888888888889} Sari: {'sari': 33.01742919389979} Flesh Reading Ease: 41.3 ---------------------------------------- Source: ['Auch die Lagerung kostet viel Energie.'] Prediction: ['Die Schweizer Grenze kostet viel Energie.\nDie Lagerung kostet viel Energie.'] Label: [['Die Lagerung von Obst und Gemüse kostet viel Energie.']] Sacrebleu: {'score': 22.997519112894437, 'counts': [6, 4, 2, 1], 'totals': [13, 12, 11, 10], 'precisions': [46.15384615384615, 33.333333333333336, 18.181818181818183, 10.0], 'bp': 1.0, 'sys_len': 13, 'ref_len': 10} Bleu: {'bleu': 0.22997519112894443, 'precisions': [0.46153846153846156, 0.3333333333333333, 0.18181818181818182, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 1.3, 'translation_length': 13, 'reference_length': 10} Rouge: {'rouge1': 0.47619047619047616, 'rouge2': 0.3157894736842105, 'rougeL': 0.47619047619047616, 'rougeLsum': 0.47619047619047616} Sari: {'sari': 58.79629629629629} Flesh Reading Ease: 75.05 ---------------------------------------- Source: ['Diese Ware wurde in der Regel mit besonderem Aufwand (Anzucht unter Glas, Folientunnel) erzeugt und hat deshalb eine schlechtere Ökobilanz als echte Freilandware.'] Prediction: ['In der Ökobilanz in der Schweiz wurde eine schlechtere Ökobilanz gefunden.\nDie Ware wurde in der Regel mit besonderem Aufwand erzeugt.\nDie Ware wurde in der Regel mit besonderem Aufwand erzeugt.'] Label: [['Das verursacht Treibgase und ist schlecht für die Umwelt.\nObst und Gemüse, das aus beheizten und beleuchteten Glashäusern kommt, braucht viel Energie.\nWare aus dem Gewächshaus oder Tunnelanbau ist auch gut, wenn die Bauern dafür keine extra Beheizung brauchen.']] Sacrebleu: {'score': 1.1138759672569611, 'counts': [4, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [11.764705882352942, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 0.7235906755307153, 'sys_len': 34, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7235906755307153, 'length_ratio': 0.7555555555555555, 'translation_length': 34, 'reference_length': 45} Rouge: {'rouge1': 0.08, 'rouge2': 0.0, 'rougeL': 0.08, 'rougeLsum': 0.05333333333333334} Sari: {'sari': 34.593837535013996} Flesh Reading Ease: 64.4 ---------------------------------------- Source: ['Hier schneidet der Freilandanbau mit Abstand am besten ab.'] Prediction: ['Ein Mann schneidet mit Abstand am besten ab.\nDer Mann war mit Abstand am besten abgestiegen.'] Label: [['Am besten wählen Sie Obst und Gemüse, das im Freiland gewachsen ist.']] Sacrebleu: {'score': 2.5540496664715904, 'counts': [2, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [11.11111111111111, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2857142857142858, 'translation_length': 18, 'reference_length': 14} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.07142857142857144, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 40.65656565656566} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Zudem kosten lange Transporte viel Energie und verursachen klimaschädliches CO2.'] Prediction: ['Die Schweiz kostet mit einem CO2-Co2-Virus aus.\nDie Transporte kosten lange Energie und verursachen klimaschädliches CO2.'] Label: [['Außerdem ist der Transport teuer und ist schlecht für die Umwelt.']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 22, 'reference_length': 12} Rouge: {'rouge1': 0.125, 'rouge2': 0.0, 'rougeL': 0.0625, 'rougeLsum': 0.125} Sari: {'sari': 37.3440285204991} Flesh Reading Ease: 55.0 ---------------------------------------- Source: ['Importierte Ware aus weit entfernten Ländern wird dagegen aufgrund längerer Transportwege oftmals nicht mit optimaler Reife geerntet und entpuppt sich deshalb manchmal als geschmacksarm, trotz ansprechender Optik.'] Prediction: ['Ein Import-Ware aus weit entfernten Ländern wird nicht mit optimaler Reife geerntet.\nImportierte Ware aus weit entfernten Ländern wird nicht mit optimaler Reife geerntet.'] Label: [['Deswegen wird es früher geerntet als Obst aus Deutschland.\nEs muss lange Wege zurücklegen.\nImportiertes Obst ist oft nicht optimal reif.']] Sacrebleu: {'score': 2.2608914449138346, 'counts': [6, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [23.076923076923077, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0833333333333333, 'translation_length': 26, 'reference_length': 24} Rouge: {'rouge1': 0.15999999999999998, 'rouge2': 0.0, 'rougeL': 0.15999999999999998, 'rougeLsum': 0.12} Sari: {'sari': 37.1984649122807} Flesh Reading Ease: 51.0 ---------------------------------------- Source: ['Denn viele Früchte wie Erdbeeren, Kirschen oder Himbeeren reifen nach dem Pflücken nicht mehr nach. Das garantiert optimale Frische und oft einen besseren Geschmack, vor allem bei leicht verderblichem Obst.'] Prediction: ['Frische reisen nicht mehr nach dem Pflücken.\nDas garantiert optimale Frische und oft einen besseren Geschmack.'] Label: [['Das gilt vor allem für Früchte, die leicht verderben: zum Beispiel Erdbeeren, Kirschen und Himbeeren.\nDann ist es besonders frisch und schmeckt es am besten.']] Sacrebleu: {'score': 1.5593987533296287, 'counts': [4, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [22.22222222222222, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 0.513417119032592, 'sys_len': 18, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.0, 0.0, 0.0], 'brevity_penalty': 0.513417119032592, 'length_ratio': 0.6, 'translation_length': 18, 'reference_length': 30} Rouge: {'rouge1': 0.0909090909090909, 'rouge2': 0.0, 'rougeL': 0.0909090909090909, 'rougeLsum': 0.0909090909090909} Sari: {'sari': 29.803178847296497} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Wenn heimisches Obst und Gemüse Saison hat, stammt das Angebot bestenfalls sogar direkt aus der Region.'] Prediction: ['Die Schweizer Nati hat ihr erstes Schweizer Team ausgegeben.\nDas Angebot war für die heimisches Obst und Gemüse Saison bestenfalls direkt aus der Region.'] Label: [['Wenn das Obst und Gemüse in Deutschland gewachsen ist, kommt es in der Saison meistens aus Ihrer Region.']] Sacrebleu: {'score': 7.6047020452233385, 'counts': [8, 3, 1, 0], 'totals': [26, 25, 24, 23], 'precisions': [30.76923076923077, 12.0, 4.166666666666667, 2.1739130434782608], 'bp': 1.0, 'sys_len': 26, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.3076923076923077, 0.12, 0.041666666666666664, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3, 'translation_length': 26, 'reference_length': 20} Rouge: {'rouge1': 0.39999999999999997, 'rouge2': 0.13953488372093023, 'rougeL': 0.35555555555555557, 'rougeLsum': 0.35555555555555557} Sari: {'sari': 41.71428571428571} Flesh Reading Ease: 62.7 ---------------------------------------- Source: ['Den Großteil seiner Gemüseimporte bezieht Deutschland aus EU-Ländern, von denen die Niederlande und Spanien mit Abstand die wichtigsten Handelspartner sind.'] Prediction: ['Deutschland hat seine Gemüseimporte in der Schweiz aus EU-Ländern gesprochen.\nDie wichtigsten Handelspartner sind die wichtigsten Handelspartner.'] Label: [['Das meiste Importgemüse kommt aus anderen Ländern in Europa.']] Sacrebleu: {'score': 2.6643211213888947, 'counts': [3, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9, 'translation_length': 19, 'reference_length': 10} Rouge: {'rouge1': 0.25806451612903225, 'rouge2': 0.06896551724137931, 'rougeL': 0.19354838709677416, 'rougeLsum': 0.19354838709677416} Sari: {'sari': 37.55411255411256} Flesh Reading Ease: 31.1 ---------------------------------------- Source: ['Dagegen werden Tomaten und Paprika fast vollständig importiert.'] Prediction: ['Trotz Ausbruch der Pandemie steht die Ausbruch der Pandemie in den USA.\nTomaten und Paprika werden fast vollständig importiert.'] Label: [['Andere Arten kommen fast immer aus dem Ausland: zum Beispiel Paprika und Tomaten.']] Sacrebleu: {'score': 2.7156804039319287, 'counts': [5, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [23.80952380952381, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.23809523809523808, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 21, 'reference_length': 15} Rouge: {'rouge1': 0.24242424242424246, 'rouge2': 0.0, 'rougeL': 0.060606060606060615, 'rougeLsum': 0.060606060606060615} Sari: {'sari': 39.743589743589745} Flesh Reading Ease: 65.2 ---------------------------------------- Source: ['So liegt der Selbstversorgungsgrad bei Kohlgemüse bei rund 89 %, bei Karotten und Zwiebelgemüse sind es 74 %.'] Prediction: ['Bei Kohlgemüse sind es 74 % geschlossen.\nSo liegt der Selbstversorgungsgrad bei 89 % geschlossen.'] Label: [['Manche Gemüsearten kommen oft aus Deutschland: zum Beispiel Kohl, Karotten und Zwiebeln.']] Sacrebleu: {'score': 2.2869567780619007, 'counts': [1, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [5.882352941176471, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1333333333333333, 'translation_length': 17, 'reference_length': 15} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 29.375} Flesh Reading Ease: 68.2 ---------------------------------------- Source: ['Transporte mit dem Flugzeug belasten die Umwelt grundsätzlich am stärksten.'] Prediction: ['Am stärksten kam es in der Schweiz zu einem Unfall.\nDie Umwelt belastet die Schweiz.'] Label: [['Vor allem der Flugzeug-Transport ist teuer und ist schlecht für die Umwelt.']] Sacrebleu: {'score': 3.2342452920962157, 'counts': [4, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [23.529411764705884, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3076923076923077, 'translation_length': 17, 'reference_length': 13} Rouge: {'rouge1': 0.19999999999999998, 'rouge2': 0.07142857142857144, 'rougeL': 0.19999999999999998, 'rougeLsum': 0.19999999999999998} Sari: {'sari': 62.731481481481474} Flesh Reading Ease: 90.6 ---------------------------------------- Source: ['Mango, Ananas und andere exotische Früchte/'] Prediction: ['Mango, Ananas und andere exotische Früchte.\nDie exotische Früchte wird von der 20-Minuten-App auf Spotify veröffentlicht.\nHier gibts die besten Früchte, die auf Spotify gibts zu finden.'] Label: [['Bekannte exotische Früchte sind Bananen, Mangos und Ananas.']] Sacrebleu: {'score': 2.8650960345947087, 'counts': [6, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [17.647058823529413, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4, 'translation_length': 34, 'reference_length': 10} Rouge: {'rouge1': 0.2380952380952381, 'rouge2': 0.1, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.14285714285714288} Sari: {'sari': 43.45238095238095} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Der größte Teil der Zitrusfrüchte kommt aus Spanien und Italien zu uns, während andere Südfrüchte und Exoten hauptsächlich aus Süd- und Mittelamerika stammen**.'] Prediction: ['Der größte Teil der Zitrusfrüchte kommt aus Spanien und Italien zu uns.\nDer größte Teil der Zitrusfrüchte kommt aus Spanien und Italien zu uns.'] Label: [['Doch Südfrüchte und exotische Früchte kommen auch oft aus Süd- und Mittelamerika.']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 26, 'reference_length': 13} Rouge: {'rouge1': 0.22727272727272727, 'rouge2': 0.0, 'rougeL': 0.22727272727272727, 'rougeLsum': 0.13636363636363635} Sari: {'sari': 28.958670676227932} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Der größte Teil der importierten Früchte (ohne Südfrüchte) kommt bei uns aus Italien, Spanien, Polen und den Niederlanden**.'] Prediction: ['Der größte Teil der importierten Früchte ist bei uns aus Italien, Spanien, Polen und den Niederlanden.\nDer größte Teil der importierten Früchte kommt bei uns aus Italien, Spanien, Polen und den Niederlanden**.'] Label: [['Unser Obst kommt vor allem aus Ländern in Europa: Italien, Spanien, Polen und den Niederlanden.']] Sacrebleu: {'score': 20.260749678530928, 'counts': [11, 8, 7, 6], 'totals': [40, 39, 38, 37], 'precisions': [27.5, 20.512820512820515, 18.42105263157895, 16.216216216216218], 'bp': 1.0, 'sys_len': 40, 'ref_len': 19} Bleu: {'bleu': 0.2026074967853093, 'precisions': [0.275, 0.20512820512820512, 0.18421052631578946, 0.16216216216216217], 'brevity_penalty': 1.0, 'length_ratio': 2.1052631578947367, 'translation_length': 40, 'reference_length': 19} Rouge: {'rouge1': 0.30769230769230765, 'rouge2': 0.2, 'rougeL': 0.30769230769230765, 'rougeLsum': 0.30769230769230765} Sari: {'sari': 54.96382193321553} Flesh Reading Ease: 58.7 ---------------------------------------- Source: ['Das liegt vor allem am Klima hierzulande, das den Anbau vieler beliebter Obstarten wie Zitrusfrüchte oder Bananen unmöglich oder unrentabel macht.'] Prediction: ['Der Anbau ist in den Klima oft beliebt.\nDas liegt vor allem am Klima hierzulande.'] Label: [['In Deutschland ist es nicht warm genug für beliebtes Obst wie Orangen, Zitronen und Bananen.\nDas liegt an unserem Klima.\nWenn etwas nicht in Deutschland wächst, holen wir es aus dem Ausland.']] Sacrebleu: {'score': 3.244462625795063, 'counts': [7, 2, 1, 0], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 12.5, 6.666666666666667, 3.5714285714285716], 'bp': 0.3083651678965815, 'sys_len': 17, 'ref_len': 37} Bleu: {'bleu': 0.0, 'precisions': [0.4117647058823529, 0.125, 0.06666666666666667, 0.0], 'brevity_penalty': 0.3083651678965815, 'length_ratio': 0.4594594594594595, 'translation_length': 17, 'reference_length': 37} Rouge: {'rouge1': 0.20408163265306123, 'rouge2': 0.0425531914893617, 'rougeL': 0.163265306122449, 'rougeLsum': 0.163265306122449} Sari: {'sari': 38.797711003593356} Flesh Reading Ease: 84.75 ---------------------------------------- Source: ['Das gilt ebenso für die meisten exotischen Früchte aus dem Ausland. Doch auch Importe und aufwändige Anbautechniken ändern nichts daran, dass fast alle Obst- und Gemüsearten in bestimmten Monaten besonders reichlich verfügbar sind, sprich „Saison haben“.'] Prediction: ['Der Ausland hat seine Früchte besonders reichlich verfügbar.\nDas gilt ebenso für die meisten exotischen Früchte aus dem Ausland.\nAuch Importe und aufwändige Anbautechniken ändern nichts daran, dass fast alle Obst und Gemüsearten in bestimmten Monaten besonders reichlich verfügbar sind.'] Label: [['Auch Obst und Gemüse aus anderen Ländern hat seine Saison.']] Sacrebleu: {'score': 2.70720374647584, 'counts': [7, 2, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [15.909090909090908, 4.651162790697675, 1.1904761904761905, 0.6097560975609756], 'bp': 1.0, 'sys_len': 44, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1590909090909091, 0.046511627906976744, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 44, 'reference_length': 11} Rouge: {'rouge1': 0.2711864406779661, 'rouge2': 0.10526315789473684, 'rougeL': 0.13559322033898305, 'rougeLsum': 0.23728813559322032} Sari: {'sari': 40.894660894660895} Flesh Reading Ease: 49.7 ---------------------------------------- Source: ['Schließlich findet man beinahe jedes Obst oder Gemüse ganzjährig im Handel - Unterglas- oder Tunnelanbau, schnelle Transportmittel und eine ausgefeilte Lagertechnik machen es möglich.'] Prediction: ['Ganzjährige Handel und Lagertechnik machen es möglich.\nSie machen es möglich.'] Label: [['Fast alle Obst- und Gemüsearten liegen das ganze Jahr im Laden.\nHeute ist das anders.']] Sacrebleu: {'score': 2.988662868962178, 'counts': [3, 0, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [23.076923076923077, 4.166666666666667, 2.272727272727273, 1.25], 'bp': 0.7351414805916845, 'sys_len': 13, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7351414805916845, 'length_ratio': 0.7647058823529411, 'translation_length': 13, 'reference_length': 17} Rouge: {'rouge1': 0.06666666666666667, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.06666666666666667} Sari: {'sari': 36.20370370370371} Flesh Reading Ease: 57.5 ---------------------------------------- Source: ['Erdbeeren, Spargel oder Apfelsinen hatten feste Angebotszeiten, die mehr oder weniger klar begrenzt waren.'] Prediction: ['Erdbeeren, Spargel oder Apfelsinen wurden feste Angebotszeiten gefunden.\nSie waren mehr oder weniger klar begrenzt.'] Label: [['Früher gab es Erdbeeren und Spargel nur im Frühsommer.\nJede Art hatte ihre eigene Saison zu einer bestimmten Zeit.']] Sacrebleu: {'score': 2.571013894117821, 'counts': [4, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [22.22222222222222, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 0.846481724890614, 'sys_len': 18, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.0, 0.0, 0.0], 'brevity_penalty': 0.846481724890614, 'length_ratio': 0.8571428571428571, 'translation_length': 18, 'reference_length': 21} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.0, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 36.45833333333333} Flesh Reading Ease: 43.8 ---------------------------------------- Source: ['Es ist noch gar nicht so lange her, als man sich beim Kauf von frischem Obst- und Gemüse ganz selbstverständlich am Kalender orientiert hat:'] Prediction: ['Ein frischer Obst und Gemüse-Kauf ist in der Schweiz ganz selbstverständlich orientiert.\nDas ist noch nicht so lange her, als man sich beim Kauf von frischem Obst und Gemüse ganz selbstverständlich am Kalender orientiert hat.'] Label: [['Der Kalender gibt eine deutliche Übersicht mit der besten Einkaufszeit für 75 Obst- und Gemüsearten.']] Sacrebleu: {'score': 1.3705063051209185, 'counts': [4, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [10.526315789473685, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.375, 'translation_length': 38, 'reference_length': 16} Rouge: {'rouge1': 0.17543859649122806, 'rouge2': 0.07272727272727274, 'rougeL': 0.14035087719298245, 'rougeLsum': 0.10526315789473684} Sari: {'sari': 32.78174603174603} Flesh Reading Ease: 68.9 ---------------------------------------- Source: ['Klima-Tipp 2: Saisonal essenSaisonale Freilandware, dazu gehört auch Ware aus Folientunnel und unbeheizten Gewächshäusern, ist nicht zu toppen, was die Klimafreundlichkeit angeht!'] Prediction: ['Klima-Tipp 2: Saisonal essenSaisonale Freilandware, dazu gehört auch Ware aus Folientunnel und unbeheizten Gewächshäusern.\nDie Klimafreundlichkeit ist nicht zu toppen, was die Klimafreundlichkeit angeht.'] Label: [['Darum ist der zweite Klima-Tipp: Kaufen Sie Obst und Gemüse immer in der richtigen Jahreszeit.']] Sacrebleu: {'score': 1.9240848598265397, 'counts': [5, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [17.24137931034483, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7058823529411764, 'translation_length': 29, 'reference_length': 17} Rouge: {'rouge1': 0.17777777777777778, 'rouge2': 0.046511627906976744, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.17777777777777778} Sari: {'sari': 36.996336996337} Flesh Reading Ease: 27.6 ---------------------------------------- Source: ['Bio-Fleisch muss dagegen nicht immer die klimaschonendere Alternative darstellen – die bisher vorhandenen Studien sind in Sachen CO2-Ausstoß nicht eindeutig.'] Prediction: ['Bio-Fleisch ist nicht immer die klimaschonendere Alternative in CO2-Ausstoß.\nDas ist nicht das erste Mal, dass Bio-Fleisch nicht immer die klimaschonendere Alternative darstellen muss.'] Label: [['Viehzucht braucht immer viel Energie und verursacht viele Treibhausgase.\nDoch Bio-Fleisch ist nicht unbedingt besser für das Klima als normales Fleisch.']] Sacrebleu: {'score': 5.919720809373671, 'counts': [7, 2, 1, 0], 'totals': [29, 28, 27, 26], 'precisions': [24.137931034482758, 7.142857142857143, 3.7037037037037037, 1.9230769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.2413793103448276, 0.07142857142857142, 0.037037037037037035, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2608695652173914, 'translation_length': 29, 'reference_length': 23} Rouge: {'rouge1': 0.27999999999999997, 'rouge2': 0.12499999999999997, 'rougeL': 0.24, 'rougeLsum': 0.27999999999999997} Sari: {'sari': 39.55143540669856} Flesh Reading Ease: 51.0 ---------------------------------------- Source: ['sind im Vergleich zu den konventionell angebauten Sorten oft die klimafreundlicheren Varianten. Klima-Tipp 8: Bio ist gut fürs KlimaBio-Obst und Bio-Gemüse'] Prediction: ['Klima-Tipp 8 ist ein neues Bio-Klima-Sort.\nBio ist gut fürs KlimaBio-Obst und Bio-Gemüse'] Label: [['Bio-Obst und Bio-Gemüse sind gesünder und besser fürs Klima als ‚normales’Obst und Gemüse.']] Sacrebleu: {'score': 6.754312828675707, 'counts': [4, 1, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [28.571428571428573, 7.6923076923076925, 4.166666666666667, 2.272727272727273], 'bp': 1.0, 'sys_len': 14, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.07692307692307693, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 14, 'reference_length': 14} Rouge: {'rouge1': 0.45, 'rouge2': 0.2631578947368421, 'rougeL': 0.4000000000000001, 'rougeLsum': 0.45} Sari: {'sari': 39.22008547008547} Flesh Reading Ease: 62.35 ---------------------------------------- Source: ['Und übrigens: So leisten Sie auch einen Beitrag zur Erhaltung von Streuobstwiesen und schönen Kulturlandschaften in Ihrer Nähe!'] Prediction: ['Eine Frau leistet auf einen Beitrag zur Erhaltung von Streuobstwiesen und schönen Kulturlandschaften in Ihrer Nähe.\nSie hatte sich mit Streuobstwiesen und schönen Kulturlandschaften in Ihrer Nähe.'] Label: [['Das ist gut für die Natur.\nSie helfen dabei, Äcker und Wiesen zu erhalten.']] Sacrebleu: {'score': 3.0603367373678014, 'counts': [4, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7058823529411764, 'translation_length': 29, 'reference_length': 17} Rouge: {'rouge1': 0.08695652173913043, 'rouge2': 0.0, 'rougeL': 0.08695652173913043, 'rougeLsum': 0.08695652173913043} Sari: {'sari': 36.45607266296921} Flesh Reading Ease: 49.5 ---------------------------------------- Source: ['einkaufenRegionale Lebensmittel fördern kurze Wege und stärken die Wirtschaft vor Ort.'] Prediction: ['Die Schweiz hat sich mit einem grossen Ausbau auf den Markt geäussert.\nDie Schweiz hat sich mit einem grossen Ausbau aufgeboten.'] Label: [['Sie unterstützen Bauern und Betriebe aus der direkten Umgebung.\nWenn Sie regionale Produkte kaufen, helfen Sie also dem Klima.\nWas man von nah holt, ist frisch und klimafreundlich.']] Sacrebleu: {'score': 1.2677653154738413, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 0.6474053920839111, 'sys_len': 23, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6474053920839111, 'length_ratio': 0.696969696969697, 'translation_length': 23, 'reference_length': 33} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 61.66666666666667} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['Und wenn Sie dann noch auf Ökostrom umsteigen, freut sich das Klima richtig.'] Prediction: ['Die Schweizerin hat sich auf Ökostrom umsteigen.\nIhre Klima ist auf Ökostrom zu bekommen.\nWenn sie dann noch auf Ökostrom umsteigen, freut sich das Klima richtig.'] Label: [['Wechseln Sie zu einem Stromanbieter mit Ökostrom.']] Sacrebleu: {'score': 1.633898440122165, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.75, 'translation_length': 30, 'reference_length': 8} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.0, 'rougeL': 0.12121212121212123, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 37.66339869281046} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['Klima-Tipp 6: Klimafreundliche Küchengeräte nutzenKühl- und Gefriergeräte, Geschirrspüler und Elektroherde und -backöfen tragen das EU-Label – hier ist die niedrigste Energieverbrauchsklasse einfach zu erkennen.'] Prediction: ['Klima-Tipp 6: Klimafreundliche Küchengeräte nutzen Kühl und Gefriergeräte, Geschirrspüler und Elektroherde.\nIm Juli 2020 ist die niedrigste Energieverbrauchsklasse einfach zu erkennen.'] Label: [['Bald haben die richtig guten nur noch ein A.\nDie niedrigste Verbrauchsklasse hat im Moment noch einen grünen Pfeil mit dem Buchstaben A+++.\nGeräte mit wenig Verbrauch erkennen Sie an einem Aufkleber:']] Sacrebleu: {'score': 1.4014714232951142, 'counts': [6, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [24.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.5945205479701944, 'sys_len': 25, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.24, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5945205479701945, 'length_ratio': 0.6578947368421053, 'translation_length': 25, 'reference_length': 38} Rouge: {'rouge1': 0.1639344262295082, 'rouge2': 0.03389830508474576, 'rougeL': 0.09836065573770492, 'rougeLsum': 0.13114754098360654} Sari: {'sari': 38.47454830459533} Flesh Reading Ease: 23.25 ---------------------------------------- Source: ['Kaufen Sie Mehrwegprodukte und überlegen Sie bei Großpackungen zunächst, ob Sie so viel auch sinnvoll verbrauchen können oder teilen Sie rechtzeitig mit Nachbarn oder Freunden.'] Prediction: ['Mehrwegprodukte überlegen sich bei Großpackungen zunächst, ob Sie so viel auch sinnvoll verbrauchen können oder teilen Sie rechtzeitig mit Nachbarn oder Freunden.\nDas ist ein neuer Problem: Wer so viel auch sinnvoll verbrauchen kann, kannst du rechtzeitig mit Nachbarn oder Freunden teilen.'] Label: [['Wenn Sie bestimmte Lebensmittel viel essen, ist es besser eine große Verpackung zu kaufen statt viele kleine.\nWählen Sie Mehrweg-Verpackungen.\nWenn sie Lebensmittel übrig haben, können Sie sie einfrieren oder verschenken.']] Sacrebleu: {'score': 1.382212405645661, 'counts': [10, 0, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [21.27659574468085, 1.0869565217391304, 0.5555555555555556, 0.2840909090909091], 'bp': 1.0, 'sys_len': 47, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.2127659574468085, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3055555555555556, 'translation_length': 47, 'reference_length': 36} Rouge: {'rouge1': 0.2, 'rouge2': 0.02564102564102564, 'rougeL': 0.15, 'rougeLsum': 0.15} Sari: {'sari': 31.4919798431456} Flesh Reading Ease: 59.55 ---------------------------------------- Source: ['Das geht bei vielen Produkten, bei manchen ist die Verpackung aber aus hygienischen Gründen nötig.'] Prediction: ['Viele hygienische Produkte gehen aus hygienischen Gründen nötig.\nDas geht bei vielen Produkten, bei manchen ist die Verpackung aber aus hygienischen Gründen nötig.'] Label: [['Sie sind wegen der Hygiene in Plastik oder Folie verpackt.\nBei manchen Lebensmitteln, wie Fleisch oder Aufschnitt, ist das sinnvoll:']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0833333333333333, 'translation_length': 26, 'reference_length': 24} Rouge: {'rouge1': 0.1702127659574468, 'rouge2': 0.044444444444444446, 'rougeL': 0.12765957446808512, 'rougeLsum': 0.12765957446808512} Sari: {'sari': 38.57729138166895} Flesh Reading Ease: 51.5 ---------------------------------------- Source: ['Lassen Sie Produkte mit zu viel Verpackung links liegen, denn auch dieser Müll verschlechtert die CO2-Bilanz.'] Prediction: ['Lassen Sie Produkte mit zu viel Verpackung links liegen, denn auch dieser Müll verschlechtert die CO2-Bilanz.\nDie Produkte verschlechtert die Bilanz.'] Label: [['Verpackungsmüll verursacht Treibhausgase und ist schlecht für unser Klima.\nDoch viele Produkte haben unnötige Verpackungen, zum Beispiel manches Gemüse und Obst.']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0833333333333333, 'translation_length': 26, 'reference_length': 24} Rouge: {'rouge1': 0.08333333333333333, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.08333333333333333} Sari: {'sari': 35.507246376811594} Flesh Reading Ease: 64.2 ---------------------------------------- Source: ['Lassen Sie das Auto so oft wie möglich stehen. Radfahrer'] Prediction: ['Ein Radfahrer hat in der Nacht auf Sonntag in Zürich einen Auto gefahren.\nDie Polizei hat den Fahrern überraschend überrascht.'] Label: [['Der vierte Klima-Tipp ist einfach: Lassen Sie das Auto stehen!']] Sacrebleu: {'score': 1.727223799216787, 'counts': [1, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [4.545454545454546, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.045454545454545456, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 22, 'reference_length': 12} Rouge: {'rouge1': 0.125, 'rouge2': 0.0, 'rougeL': 0.125, 'rougeLsum': 0.125} Sari: {'sari': 26.581119162640903} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Einkaufen zu Fuß, mit dem Fahrrad oder dem öffentlichen Nahverkehr ist klimafreundlicher und schont die natürlichen Lebensgrundlagen.'] Prediction: ['Einkaufen zu Fuß, mit dem Fahrrad oder dem öffentlichen Nahverkehr ist klimafreundlicher.\nDas schont die natürlichen Lebensgrundlagen.'] Label: [['Öffentliche Verkehrsmittel kosten viel weniger Energie als Autos.\nNehmen Sie Bus und Bahn für die größeren Einkäufe.\nDas schont die Umwelt und ist prima für die Gesundheit.\nGehen Sie zu Fuß oder fahren Sie mit dem Rad.\nWer immer mit dem Auto einkaufen geht, verbraucht eine Menge Benzin.']] Sacrebleu: {'score': 3.340480670420997, 'counts': [13, 5, 2, 1], 'totals': [20, 19, 18, 17], 'precisions': [65.0, 26.31578947368421, 11.11111111111111, 5.882352941176471], 'bp': 0.1826835240527346, 'sys_len': 20, 'ref_len': 54} Bleu: {'bleu': 0.033404806704209984, 'precisions': [0.65, 0.2631578947368421, 0.1111111111111111, 0.058823529411764705], 'brevity_penalty': 0.1826835240527346, 'length_ratio': 0.37037037037037035, 'translation_length': 20, 'reference_length': 54} Rouge: {'rouge1': 0.3142857142857143, 'rouge2': 0.11764705882352941, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 36.05572290695716} Flesh Reading Ease: 48.65 ---------------------------------------- Source: ['Die meisten Produkte tragen aber ein Mindesthaltbarkeitsdatum und sind oft noch lange nach dessen Ablauf ohne Gefahr essbar. Besonders leicht verderbliche tierische Produkte tragen ein Verbrauchsdatum und müssen dann auch wirklich gegessen sein.'] Prediction: ['Verderbliche tierische Produkte tragen ein Verbrauchsdatum.\nDie meisten Produkte tragen aber ein Mindesthaltbarkeitsdatum.'] Label: [['Was schnell verdirbt, sollten Sie zuerst essen.\nAchten Sie auf die Haltbarkeit von Lebensmitteln.\nIst das Essen noch frisch?']] Sacrebleu: {'score': 1.8333813469321008, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.5866462195100317, 'sys_len': 15, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5866462195100318, 'length_ratio': 0.6521739130434783, 'translation_length': 15, 'reference_length': 23} Rouge: {'rouge1': 0.0625, 'rouge2': 0.0, 'rougeL': 0.0625, 'rougeLsum': 0.0625} Sari: {'sari': 35.33376123234916} Flesh Reading Ease: 21.4 ---------------------------------------- Source: ['Machen Sie sich einen Einkaufszettel und planen Sie, was Sie sinnvoll verarbeiten bzw. zubereiten können!'] Prediction: ['Immer mehr Einkaufszettel werden kannst du bzw.\nzubereiten.\nAber wenn du sinnvoll verarbeiten kannst, wannst du sich einkaufen?\nWir haben euch die besten Einkaufszettel für die Welt.'] Label: [['Dabei hilft ein guter Einkaufszettel.\nPlanen Sie, wie viel Essen Sie einkaufen.']] Sacrebleu: {'score': 1.7345617945636578, 'counts': [5, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [15.625, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.15625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1333333333333333, 'translation_length': 32, 'reference_length': 15} Rouge: {'rouge1': 0.1, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.1} Sari: {'sari': 42.42261904761905} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Auch bei Wurst, Eiern und Käse darf es etwas weniger sein. Steaks und Gulasch gibt es nicht mehr häufiger als zwei- bis dreimal die Woche.'] Prediction: ['Steaks und Gulasch sind nicht mehr häufiger als zwei bis dreimal die Woche.\nDas steht nicht mehr häufiger als zwei bis dreimal die Woche.'] Label: [['Das gilt auch für Wurst, Eier, Milch und Käse.\nDarum ist der erste Klima-Tipp: Bringen Sie nicht mehr als zwei- oder dreimal pro Woche Fleisch auf den Tisch.']] Sacrebleu: {'score': 3.214767614342822, 'counts': [9, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [34.61538461538461, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 0.7639669352423403, 'sys_len': 26, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.34615384615384615, 0.04, 0.0, 0.0], 'brevity_penalty': 0.76396693524234, 'length_ratio': 0.7878787878787878, 'translation_length': 26, 'reference_length': 33} Rouge: {'rouge1': 0.2807017543859649, 'rouge2': 0.07272727272727272, 'rougeL': 0.2456140350877193, 'rougeLsum': 0.2807017543859649} Sari: {'sari': 35.370792180255094} Flesh Reading Ease: 86.1 ---------------------------------------- Source: ['Mehr Gemüse, Getreide und Hülsenfrüchte schmecken nicht nur dem Klima, sondern nutzen auch der Gesundheit.'] Prediction: ['Der Klima nutzt Gemüse, Getreide und Hülsenfrüchte.\nGemüse, Getreide und Hülsenfrüchte schmecken nicht nur dem Klima, sondern nutzen auch der Gesundheit.'] Label: [['Außerdem sind sie gut für die Gesundheit.\nGetreide und Hülsenfrüchte (wie Erbsen und Linsen) sind ein prima Ersatz für tierische Lebensmittel.\nDer Anbau von Gemüse und Obst braucht viel weniger Energie als Viehzucht.']] Sacrebleu: {'score': 4.936586218945192, 'counts': [9, 3, 1, 0], 'totals': [26, 25, 24, 23], 'precisions': [34.61538461538461, 12.0, 4.166666666666667, 2.1739130434782608], 'bp': 0.6303131865967199, 'sys_len': 26, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.34615384615384615, 0.12, 0.041666666666666664, 0.0], 'brevity_penalty': 0.6303131865967199, 'length_ratio': 0.6842105263157895, 'translation_length': 26, 'reference_length': 38} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.15625, 'rougeL': 0.24242424242424246, 'rougeLsum': 0.30303030303030304} Sari: {'sari': 42.07904271548436} Flesh Reading Ease: 52.5 ---------------------------------------- Source: ['Das Schöne daran: Ganz nebenbei tun Sie auch Ihrer Gesundheit und Ihrem Geldbeutel etwas Gutes.'] Prediction: ['Die Schweizer Welt ist ein Paar.\nIm Interview mit 20 Minuten spricht er über die Gesundheit und Geldbeutel.'] Label: [['Einfach, praktisch und gut für die Gesundheit!']] Sacrebleu: {'score': 4.237713199752784, 'counts': [3, 1, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [15.0, 5.2631578947368425, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2222222222222223, 'translation_length': 20, 'reference_length': 9} Rouge: {'rouge1': 0.23076923076923078, 'rouge2': 0.08333333333333333, 'rougeL': 0.15384615384615383, 'rougeLsum': 0.15384615384615383} Sari: {'sari': 56.99023199023199} Flesh Reading Ease: 83.25 ---------------------------------------- Source: ['Wir geben Ihnen acht konkrete Tipps, wie Sie durch kleine Veränderungen einfach und wirksam helfen können, das Klima zu schonen. Mit vielen kleinen Schritten – vom Einkauf über die Zubereitung und Lagerung bis zur Verwertung der Lebensmittel – können wir gemeinsam viel für den Klimaschutz tun.'] Prediction: ['Ihnen geben acht konkrete Tipps, wie Sie durch kleine Veränderungen helfen können, das Klima zu schonen.\nMit vielen kleinen Schritten können wir gemeinsam viel für den Klimaschutz tun.'] Label: [['In diesem Artikel finden Sie Tipps für klimafreundliches Einkaufen, Kochen und Essen.']] Sacrebleu: {'score': 1.7345617945636578, 'counts': [5, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [15.625, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.15625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2857142857142856, 'translation_length': 32, 'reference_length': 14} Rouge: {'rouge1': 0.17777777777777778, 'rouge2': 0.046511627906976744, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 35.04530325443787} Flesh Reading Ease: 60.7 ---------------------------------------- Source: ['Wir Verbraucher können durch unser Konsumverhalten an vielen Stellen dazu beitragen, das Klima zu schützen.'] Prediction: ['Die Schweizer Konsumverhalten können durch einen Klima schützen.\nDas Klima kann durch einen Verbraucher zu schützen.'] Label: [['Das ist gut möglich.\nMöchten Sie klimabewusster leben?\nWeltweit verändert sich das Klima, das merken wir auch in Deutschland.']] Sacrebleu: {'score': 2.3006443165326433, 'counts': [4, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [22.22222222222222, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 0.7574651283969664, 'sys_len': 18, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7574651283969664, 'length_ratio': 0.782608695652174, 'translation_length': 18, 'reference_length': 23} Rouge: {'rouge1': 0.0975609756097561, 'rouge2': 0.05128205128205128, 'rougeL': 0.0975609756097561, 'rougeLsum': 0.0975609756097561} Sari: {'sari': 45.23809523809524} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Allergien vorbeugen?'] Prediction: ['Die Schweizer Schweizerinnen und Schweizer haben sich in den letzten Tagen zu Gast gefeiert.\nSie sind nicht mehr gefragt, sondern auch nach der Krise.'] Label: [['Wie kann man Allergien vorbeugen?']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 27, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.5, 'translation_length': 27, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 16.666666666666664} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['Hier geht’s zum Risiko-Check für werdende Eltern.'] Prediction: ['Ein Risiko-Check für werdende Eltern geht auf die Welt.\nDie Welt ist vor allem für die Schweizer.'] Label: [['Hier geht’s zum Check für werdende Eltern']] Sacrebleu: {'score': 7.535838128770539, 'counts': [3, 2, 1, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 11.11111111111111, 5.882352941176471, 3.125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.1111111111111111, 0.058823529411764705, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7142857142857144, 'translation_length': 19, 'reference_length': 7} Rouge: {'rouge1': 0.41379310344827586, 'rouge2': 0.2962962962962963, 'rougeL': 0.3448275862068966, 'rougeLsum': 0.3448275862068966} Sari: {'sari': 32.22402597402598} Flesh Reading Ease: 89.6 ---------------------------------------- Source: ['Die LMIDV regelt außerdem, welche Sanktionen die amtliche Überwachung verhängen darf, wenn gegen diese Informationspflichten verstoßen wird. Das hat Deutschland mit der Lebensmittelinformations-Durchführungs-Verordnung (LMIDV) getan.'] Prediction: ['Deutschland hat die Lebensmittelinformations-Durchführungs-Verordnung (LMIDV) getan.\nDie Verordnung regelt für die amtliche Überwachung.\nDie Sanktionen darf verhängen, wenn gegen diese Informationspflichten verstoßen wird.'] Label: [['Hier steht auch, welche Strafe ein Hersteller bekommt, der nicht über Allergene informiert.\nIn Deutschland stehen die Regeln dafür in einer Verordnung.']] Sacrebleu: {'score': 2.01381482546679, 'counts': [6, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [20.689655172413794, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.20689655172413793, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1153846153846154, 'translation_length': 29, 'reference_length': 26} Rouge: {'rouge1': 0.15384615384615385, 'rouge2': 0.0, 'rougeL': 0.11538461538461538, 'rougeLsum': 0.15384615384615385} Sari: {'sari': 32.231790981075875} Flesh Reading Ease: 14.35 ---------------------------------------- Source: ['Die Art und Weise der Allergeninformationen bei loser Ware dürfen die Nationalstaaten individuell regeln.'] Prediction: ['Die USA haben sich mit einem grossen Aufgebot gegen die Schweizer Grenze gesprochen.\nDie Art und Weise der Allergeninformationen bei loser Ware dürfen die Nationalstaaten individuell regeln.'] Label: [['Bei unverpackten Lebensmitteln darf jedes Land selbst entscheiden, wie Allergen-Informationen gezeigt werden.']] Sacrebleu: {'score': 1.286713095960916, 'counts': [1, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [3.4482758620689653, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.034482758620689655, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0714285714285716, 'translation_length': 29, 'reference_length': 14} Rouge: {'rouge1': 0.04878048780487805, 'rouge2': 0.0, 'rougeL': 0.04878048780487805, 'rougeLsum': 0.04878048780487805} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 37.8 ---------------------------------------- Source: ['Wie Allergene auf dem Etikett verpackter Lebensmittel angegeben werden müssen, regelt die LMIV EU-weit einheitlich.'] Prediction: ['Der LMIV-EU-weit will mit Allergene auf dem Etikett verpackter Lebensmittel angegeben werden.\nDer Grund: Allergene müssen auf dem Etikett verpackter Lebensmittel angegeben werden.'] Label: [['Das gilt für die ganze EU.\nBei verpackten Lebensmitteln müssen die Allergen-Informationen auf dem Etikett stehen.']] Sacrebleu: {'score': 6.394766688900896, 'counts': [6, 2, 1, 0], 'totals': [26, 25, 24, 23], 'precisions': [23.076923076923077, 8.0, 4.166666666666667, 2.1739130434782608], 'bp': 1.0, 'sys_len': 26, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.08, 0.041666666666666664, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4444444444444444, 'translation_length': 26, 'reference_length': 18} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.13953488372093023, 'rougeL': 0.26666666666666666, 'rougeLsum': 0.26666666666666666} Sari: {'sari': 43.43584656084656} Flesh Reading Ease: 33.95 ---------------------------------------- Source: ['Eine Allergenkennzeichnung von verpackten und unverpackten Lebensmitteln ist in allen EU-Mitgliedsländern verpflichtend, das schreibt die EU-Lebensmittel-Informationsverordnung (LMIV) vor.'] Prediction: ['In allen EU-Mitgliedsländern ist eine Allergenkennzeichnung von verpackten und unverpackten Lebensmitteln verpflichtend.\nDie Allergenkennzeichnung von verpackten und unverpackten Lebensmitteln ist in allen EU-Mitgliedsländern verpflichtend, das schreibt die EU-Lebensmittel-Informationsverordnung (LMIV) vor.'] Label: [['Das ist in einer Verordnung festgelegt, der sogenannten europäischen Lebensmittel-Informations-Verordnung (LMIV).\nIn der ganzen Europäischen Union (EU) müssen die Hersteller von Lebensmitteln melden, ob ihre Produkte Allergene enthalten.']] Sacrebleu: {'score': 5.978703176319623, 'counts': [12, 3, 1, 0], 'totals': [35, 34, 33, 32], 'precisions': [34.285714285714285, 8.823529411764707, 3.0303030303030303, 1.5625], 'bp': 0.9718328750329812, 'sys_len': 35, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.34285714285714286, 0.08823529411764706, 0.030303030303030304, 0.0], 'brevity_penalty': 0.971832875032981, 'length_ratio': 0.9722222222222222, 'translation_length': 35, 'reference_length': 36} Rouge: {'rouge1': 0.28985507246376807, 'rouge2': 0.02985074626865672, 'rougeL': 0.14492753623188404, 'rougeLsum': 0.2608695652173913} Sari: {'sari': 41.76587301587302} Flesh Reading Ease: 1.2 ---------------------------------------- Source: ['Eine mündliche Information ist ebenfalls möglich, allerdings nur unter folgenden Voraussetzungen:'] Prediction: ['Eine mündliche Information ist ebenfalls möglich, allerdings nur unter folgenden Voraussetzungen.'] Label: [['die Mitarbeiter gut über Allergene informiert sind.\nDas ist aber nur erlaubt, wenn Manchmal werden Kunden auch mündlich über Allergene informiert.']] Sacrebleu: {'score': 1.874393360516508, 'counts': [4, 0, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [30.76923076923077, 4.166666666666667, 2.272727272727273, 1.25], 'bp': 0.42906200094310865, 'sys_len': 13, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.3076923076923077, 0.0, 0.0, 0.0], 'brevity_penalty': 0.42906200094310865, 'length_ratio': 0.5416666666666666, 'translation_length': 13, 'reference_length': 24} Rouge: {'rouge1': 0.1714285714285714, 'rouge2': 0.0, 'rougeL': 0.1142857142857143, 'rougeLsum': 0.1142857142857143} Sari: {'sari': 37.592592592592595} Flesh Reading Ease: 16.9 ---------------------------------------- Source: ['Die Allergeninformation kann an verschiedenen Stellen gegeben werden:'] Prediction: ['Die Allergeninformation von Stellen kann an verschiedenen Stellen gegeben werden.\nDie Allergeninformation kann an verschiedenen Stellen gegeben werden.'] Label: [['Informationen über Allergene findet man zum Beispiel:']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 20, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 20, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 25.0} Flesh Reading Ease: 13.05 ---------------------------------------- Source: ['Bei unverpackten Lebensmitteln in Restaurants, Bäckereien, Metzgereien, in der Gemeinschaftsverpflegung oder auf dem Wochenmarkt müssen schriftliche Informationen über Allergene vor Kaufabschluss in deutscher Sprache zugänglich sein.'] Prediction: ['In Deutschland werden unverpackte Lebensmitteln unverpackt.\nDie Gemeinschaftsverpflegung und der Wochenmarkt müssen schriftliche Informationen über Allergene vor Kaufabschluss in deutscher Sprache zugänglich sein.'] Label: [['Auch bei unverpackten Lebensmitteln muss sofort klar sein, ob sie Allergene enthalten.\nZum Beispiel im Restaurant, beim Bäcker oder Metzger, in der Betriebskantine oder im Krankenhaus.\nUnverpackte Lebensmittel findet man an vielen Stellen.']] Sacrebleu: {'score': 1.399423507257678, 'counts': [7, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [28.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.5712090638488149, 'sys_len': 25, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.28, 0.0, 0.0, 0.0], 'brevity_penalty': 0.571209063848815, 'length_ratio': 0.6410256410256411, 'translation_length': 25, 'reference_length': 39} Rouge: {'rouge1': 0.20338983050847456, 'rouge2': 0.0, 'rougeL': 0.10169491525423728, 'rougeLsum': 0.13559322033898305} Sari: {'sari': 29.89018883415435} Flesh Reading Ease: 16.4 ---------------------------------------- Source: ['Sie sind von der Kennzeichnungspflicht befreit. Einige Zutaten werden durch industrielle Verarbeitungsprozesse jedoch so stark verändert oder aufgereinigt, dass sie ihr allergenes Potential verlieren.'] Prediction: ['Einige Zutaten werden durch industrielle Verarbeitungsprozesse jedoch so stark verändert oder aufgereinigt, dass sie ihr allergenes Potential verlieren.\nEinige Zutaten werden durch industrielle Verarbeitungsprozesse jedoch so stark verändert oder aufgereinigt, dass sie ihr allergenes Potential verlieren.'] Label: [['Wenn ein Lebensmittel keine Allergie auslösen kann, müssen die Allergene in den Zutaten auch nicht auf der Verpackung stehen.\nZum Beispiel, wenn sie stark gereinigt wurden.\nManche Zutaten enthalten zwar Allergene, doch die sind durch die Verarbeitung ungefährlich geworden.']] Sacrebleu: {'score': 1.4042723472694683, 'counts': [9, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [22.5, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 0.8824969025845955, 'sys_len': 40, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.225, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8824969025845955, 'length_ratio': 0.8888888888888888, 'translation_length': 40, 'reference_length': 45} Rouge: {'rouge1': 0.125, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.1} Sari: {'sari': 33.38610378188214} Flesh Reading Ease: 4.05 ---------------------------------------- Source: ['Bei Lebensmitteln ohne Zutatenliste, wie zum Beispiel Wein muss ein zusätzlicher Hinweis gegeben werden, etwa "enthält Schwefel".'] Prediction: ['Zum Beispiel Wein muss ein zusätzlicher Hinweis gegeben werden.\n"enthält Schwefel" ist derzeit nicht bekannt.'] Label: [[': Auf dem Etikett steht ‚enthält Schwefel’.\nZum Beispiel bei einer Flasche Wein Dann werden die Allergene einzeln auf dem Etikett genannt.\nManche verpackten Lebensmittel haben keine Zutatenliste.']] Sacrebleu: {'score': 2.8335136661154863, 'counts': [6, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [31.57894736842105, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 0.5317515301305707, 'sys_len': 19, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.3157894736842105, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 0.5317515301305707, 'length_ratio': 0.6129032258064516, 'translation_length': 19, 'reference_length': 31} Rouge: {'rouge1': 0.3111111111111111, 'rouge2': 0.13953488372093023, 'rougeL': 0.17777777777777778, 'rougeLsum': 0.3111111111111111} Sari: {'sari': 36.50793650793651} Flesh Reading Ease: 67.2 ---------------------------------------- Source: ['Im Zutatenverzeichnis müssen die "Allergenen Vierzehn" unter konkreter Benennung des jeweiligen Lebensmittels optisch hervorgehoben werden, beispielsweise durch Fettdruck oder Unterstreichung.'] Prediction: ['Im Zutatenverzeichnis müssen die "Allergenen Vierzehn" unter konkreter Benennung des jeweiligen Lebensmittels optisch hervorgehoben werden.\nDie Benennung des jeweiligen Lebensmittels wird optisch hervorgehoben.'] Label: [['Die Allergene müssen deutlich sichtbar sein, darum werden sie oft groß geschrieben, fett gedruckt oder unterstrichen.\nMeistens stehen die Allergene in der Liste mit Zutaten.']] Sacrebleu: {'score': 2.0169761684760625, 'counts': [6, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [22.22222222222222, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 0.9286029058931802, 'sys_len': 27, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9286029058931802, 'length_ratio': 0.9310344827586207, 'translation_length': 27, 'reference_length': 29} Rouge: {'rouge1': 0.2, 'rouge2': 0.041666666666666664, 'rougeL': 0.16, 'rougeLsum': 0.2} Sari: {'sari': 33.45410628019324} Flesh Reading Ease: 10.55 ---------------------------------------- Source: ['Die vierzehn Lebensmittel – die sogenannten „Allergenen Vierzehn“ –, die in Europa etwa 90 Prozent aller Lebensmittelallergien und -unverträglichkeiten auslösen, müssen für Verbraucher*innen immer erkennbar sein.'] Prediction: ['In Europa müssen in der Schweiz alle Lebensmittelallergien und -unverträglichkeiten auslösen.\nFür Verbraucher*innen ist derzeit eine grosse Vierzehn-Vierzehn-Möglichkeit.'] Label: [['Wenn ein Lebensmittel eins dieser Allergene enthält, muss der Hersteller das deutlich auf der Verpackung zeigen.\nDie meisten Lebensmittel-Allergien werden durch 14 Allergene ausgelöst.']] Sacrebleu: {'score': 1.8110299635881513, 'counts': [3, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [13.636363636363637, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 0.7967034698934615, 'sys_len': 22, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.13636363636363635, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7967034698934615, 'length_ratio': 0.8148148148148148, 'translation_length': 22, 'reference_length': 27} Rouge: {'rouge1': 0.03773584905660377, 'rouge2': 0.0, 'rougeL': 0.03773584905660377, 'rougeLsum': 0.03773584905660377} Sari: {'sari': 33.95171957671958} Flesh Reading Ease: 7.2 ---------------------------------------- Source: ['Vom Koffeingehalt abgesehen bewerten Ernährungsexperten Energy-Drinks generell skeptisch - wegen ihres hohen Zuckergehaltes, teilweise aber auch\xa0wegen ihres Gehaltes an\xa0anderen typischen Zutaten wie Taurin, Glucuronolacton und Inosit, deren Wechselwirkungen untereinander und in Verbindung mit Alkohol noch nicht ganz klar sind.'] Prediction: ['Einige Ernährungsexperten Energy-Drinks werden skeptisch.\nWegen ihres hohen Zuckergehaltes, teilweise aber auch\xa0wegen ihres Gehaltes an\xa0anderen typischen Zutaten wie Taurin, Glucuronolacton und Inosit, deren Wechselwirkungen untereinander sind.'] Label: [['Zu viel Koffein ist nicht gut für den Körper.\nIn den meisten Energy-Drinks steckt viel Zucker, das ist schlecht für die Zähne und kann dick machen.']] Sacrebleu: {'score': 1.6794256847485503, 'counts': [5, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [15.151515151515152, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.15151515151515152, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1379310344827587, 'translation_length': 33, 'reference_length': 29} Rouge: {'rouge1': 0.09836065573770492, 'rouge2': 0.03389830508474576, 'rougeL': 0.09836065573770492, 'rougeLsum': 0.09836065573770492} Sari: {'sari': 33.458781362007166} Flesh Reading Ease: 13.9 ---------------------------------------- Source: ['Denn für Kinder bewerten die Risikobewerter eine Einzeldosis von höchstens 3 mg Koffein pro kg Körpergewicht als sicher, was also einem Höchstwert von circa 90 mg Koffein entspräche. Für einen 10jährigen aber, der rund 30 Kilo wiegt, wäre selbst eine 250-ml-Dose pro Tag nach dem EFSA-Gutachten schon kritisch.'] Prediction: ['Eine Einzeldosis von höchstens 3 mg Koffein pro kg Körpergewicht ist für Kinder schon kritisch.\nEs ist eine 250-ml-Dose pro Tag nach dem EFSA-Gutachten.'] Label: [['So kann viel Koffein für Kinder noch schlimmere Folgen haben als für Erwachsene.\nSie sind kleiner und wiegen weniger als Erwachsene – dadurch wirkt das Koffein schneller und stärker.\nKinder reagieren noch empfindlicher auf Koffein.']] Sacrebleu: {'score': 2.3496655215401363, 'counts': [5, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [17.857142857142858, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 0.6996725373751302, 'sys_len': 28, 'ref_len': 38} Bleu: {'bleu': 0.0, 'precisions': [0.17857142857142858, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 0.6996725373751302, 'length_ratio': 0.7368421052631579, 'translation_length': 28, 'reference_length': 38} Rouge: {'rouge1': 0.11940298507462686, 'rouge2': 0.061538461538461535, 'rougeL': 0.11940298507462686, 'rougeLsum': 0.11940298507462686} Sari: {'sari': 35.58154482450257} Flesh Reading Ease: 62.7 ---------------------------------------- Source: ['Koffein steigert die Herzfrequenz und stimuliert das zentrale Nervensystem, was die Konzentrationsfähigkeit und Wachsamkeit erhöht.'] Prediction: ['Die Herzfrequenz von Koffein ist eine zentrale Nervensystem.\nKoffein stimuliert die Konzentrationsfähigkeit und Wachsamkeit.'] Label: [['Koffein ist ein Stoff, der das Herz schneller schlagen lässt und die Nerven anregt.']] Sacrebleu: {'score': 6.150343144231885, 'counts': [5, 1, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [31.25, 6.666666666666667, 3.5714285714285716, 1.9230769230769231], 'bp': 1.0, 'sys_len': 16, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.3125, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 16, 'reference_length': 16} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.07142857142857142, 'rougeL': 0.20000000000000004, 'rougeLsum': 0.20000000000000004} Sari: {'sari': 34.94052122740647} Flesh Reading Ease: 20.9 ---------------------------------------- Source: ['Galt die 250-ml-Dose noch vor wenigen Jahren praktisch als Standard, kommen die koffeinreichen Getränke heute auch in 500-ml-Dosen oder in Flaschengrößen von einem oder eineinhalb Litern in den Handel.'] Prediction: ['Die Getränke in den Schweizer Handel sind ganz wie in der Schweiz.\nDas ist die erste Welle.\nDie Getränke sind in 500-ml-Dosen und in Flaschengrößen von einem oder eineinhalb Litern.'] Label: [['Denn viele Drinks werden in großen Dosen verkauft, manche sogar in Literflaschen.']] Sacrebleu: {'score': 1.389736936231864, 'counts': [3, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [8.571428571428571, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.08571428571428572, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 35, 'reference_length': 14} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.0, 'rougeL': 0.12500000000000003, 'rougeLsum': 0.12500000000000003} Sari: {'sari': 34.45604048070841} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Außerdem enthalten die vermeintlichen Muntermacher in der Regel noch die Stoffe Taurin, Inosit und Glucuronolacton.'] Prediction: ['Muntermacher enthalten in der Regel noch die Stoffe Taurin, Inosit und Glucuronolacton.\nSie enthalten die Stoffe Taurin, Inosit und Glucuronolacton.'] Label: [['Energy-Drinks enthalten meistens noch andere Stoffe, die den Körper munter machen – so behaupten die Hersteller.']] Sacrebleu: {'score': 2.559082301052818, 'counts': [7, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [29.166666666666668, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.2916666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 24, 'reference_length': 18} Rouge: {'rouge1': 0.27027027027027023, 'rouge2': 0.0, 'rougeL': 0.2162162162162162, 'rougeLsum': 0.16216216216216214} Sari: {'sari': 38.33333333333333} Flesh Reading Ease: 41.3 ---------------------------------------- Source: ['Das EU-Parlament hat aus diesem Grund verhindert, dass Energydrinks mit positiven gesundheitlichen Wirkungen werben dürfen.'] Prediction: ['Das EU-Parlament hat aus diesem Grund verhindert, dass Energydrinks mit positiven gesundheitlichen Wirkungen werben dürfen.\nDie EU-Parlament hat aus diesem Grund verhindert, dass Energydrinks mit positiven gesundheitlichen Wirkungen werben dürfen.'] Label: [['Hersteller dürfen mit dem Koffein in ihren Energy-Drinks keine Werbung machen.\nDarum hat das EU-Parlament entschieden:']] Sacrebleu: {'score': 1.6276888006478718, 'counts': [5, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [14.705882352941176, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.14705882352941177, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8888888888888888, 'translation_length': 34, 'reference_length': 18} Rouge: {'rouge1': 0.2641509433962264, 'rouge2': 0.11764705882352942, 'rougeL': 0.1509433962264151, 'rougeLsum': 0.18867924528301885} Sari: {'sari': 38.6615515771526} Flesh Reading Ease: 30.45 ---------------------------------------- Source: ['Denn Wachheit ist nicht unbedingt eine positive gesundheitliche Wirkung. In höheren Dosen können allerdings Symptome wie Schlafstörungen oder allgemeine Verhaltensänderungen auftreten.'] Prediction: ['Wachheit ist nicht unbedingt eine positive gesundheitliche Wirkung.\nIn höheren Dosen können allerdings Symptome wie Schlafstörungen oder allgemeine Verhaltensänderungen auftreten.'] Label: [['Der Stoff kann auch dazu führen, dass Menschen sich anders verhalten.\nViele Menschen schlafen schlecht durch Koffein.\nAber wer viel Koffein trinkt, bekommt oft Beschwerden.']] Sacrebleu: {'score': 1.4278442804983642, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 0.6951439283988788, 'sys_len': 22, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6951439283988786, 'length_ratio': 0.7333333333333333, 'translation_length': 22, 'reference_length': 30} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.090909090909086} Flesh Reading Ease: 12.05 ---------------------------------------- Source: ['Und tatsächlich fördert Koffein - je nach Konzentration – die Wachheit und die Aufmerksamkeit.'] Prediction: ['Die Wachheit und die Aufmerksamkeit fördert Koffein.\nDas fördert aber nach Konzentration.'] Label: [['Es kann auch die Konzentration fördern.\nKoffein kann dafür sorgen, dass man länger wach bleibt.']] Sacrebleu: {'score': 3.1911854274745144, 'counts': [5, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [35.714285714285715, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 0.7514772930752859, 'sys_len': 14, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.35714285714285715, 0.0, 0.0, 0.0], 'brevity_penalty': 0.751477293075286, 'length_ratio': 0.7777777777777778, 'translation_length': 14, 'reference_length': 18} Rouge: {'rouge1': 0.25, 'rouge2': 0.0, 'rougeL': 0.1875, 'rougeLsum': 0.25} Sari: {'sari': 38.00000000000001} Flesh Reading Ease: 57.0 ---------------------------------------- Source: ['Der Koffeingehalt dieser koffeinhaltigen Erfrischungsgetränke liegt mit 32 Milligramm pro 100 Milliliter mehr als doppelt so hoch wie bei handelsüblichen Cola-Getränken.'] Prediction: ['Die Erfrischungsgetränke in der Schweiz sind so hoch wie bei Cola-Getränken.\nDie Koffeingehalt liegt mit 32 Milligramm pro 100 Milliliter mehr als doppelt so hoch wie bei handelsüblichen Cola-Getränken.'] Label: [['In kleinen Dosen ist so viel Koffein wie in einer Tasse Kaffee, oder doppelt so viel wie in einer Cola.']] Sacrebleu: {'score': 3.2808945250121395, 'counts': [7, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [22.580645161290324, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 1.0, 'sys_len': 31, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.22580645161290322, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4090909090909092, 'translation_length': 31, 'reference_length': 22} Rouge: {'rouge1': 0.2545454545454545, 'rouge2': 0.03773584905660377, 'rougeL': 0.2545454545454545, 'rougeLsum': 0.2545454545454545} Sari: {'sari': 38.13316993464053} Flesh Reading Ease: 54.35 ---------------------------------------- Source: ['Kein Wunder, denn sie versprechen ihren Kund*innen den besonderen „Kick“:'] Prediction: ['Die Schweizerin ärgert sich über ihren Kund*innen und Kund*innen.\nDie Welt ist eine neue Single, die von Kund*innen und Kund*innen veröffentlicht werden.\nDie Single ist auf dem Cover der 20-Minuten-App veröffentlicht.'] Label: [['Weil die Hersteller in ihrer Werbung große Versprechen machen.\nWarum?']] Sacrebleu: {'score': 0.9668670750672484, 'counts': [2, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [4.444444444444445, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.044444444444444446, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.75, 'translation_length': 45, 'reference_length': 12} Rouge: {'rouge1': 0.04, 'rouge2': 0.0, 'rougeL': 0.04, 'rougeLsum': 0.04} Sari: {'sari': 33.417508417508415} Flesh Reading Ease: 58.55 ---------------------------------------- Source: ['Kaum eine Trendsportart, die nicht Werbung macht für "Energy".'] Prediction: ['Eine Trendsportart, die nicht Werbung macht für "Energy".\nDie Werbung von "Energy" ist nicht ganz so viel.'] Label: [['Und manche Energy-Drinks machen Werbung mit bekannten Sportlern.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 24, 'reference_length': 9} Rouge: {'rouge1': 0.14814814814814814, 'rouge2': 0.0, 'rougeL': 0.14814814814814814, 'rougeLsum': 0.07407407407407407} Sari: {'sari': 35.8974358974359} Flesh Reading Ease: 89.6 ---------------------------------------- Source: ['Zwar mögen auch manche Kinder die „süße Koffeinbrause“. Energydrinks sind vor allem unter Jugendlichen und jungen Erwachsenen beliebt.'] Prediction: ['Ein Energydrinks sind vor allem unter Jugendlichen und jungen Erwachsenen beliebt.\nDas ist eine Energydrinks-Kette.\nDie Kinder möchten die Koffeinbrause auf Energydrinks machen.'] Label: [['Die Getränke werden viel verkauft – auch an Kinder.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6, 'translation_length': 26, 'reference_length': 10} Rouge: {'rouge1': 0.11764705882352941, 'rouge2': 0.0, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.11764705882352941} Sari: {'sari': 34.49546485260771} Flesh Reading Ease: 49.45 ---------------------------------------- Source: ['Man ist angeblich länger wach, soll sich besser konzentrieren können und leistungsfähiger sein.'] Prediction: ['Ein grosser Abo soll besser konzentrieren können und leistungsfähiger sein.\nAuch der Abo soll besser konzentrieren können und leistungsfähiger sein.'] Label: [['Mehr Leistung!\nBessere Konzentration!\nLänger wach bleiben!']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 22, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2, 'translation_length': 22, 'reference_length': 10} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 29.910714285714285} Flesh Reading Ease: 53.0 ---------------------------------------- Source: ['Kate Darling vom MIT Media Lab in Boston forscht dazu.'] Prediction: ['Die MIT-Forscherin Kate Darling hat sich mit ihrem Partnerinnen und -Forschern in einem Video-Interview veröffentlicht.\nDie beiden waren in den letzten Tagen zu Gast.'] Label: [['Kate Darling vom MIT Media Lab in Boston forscht über Roboter und Ethik.']] Sacrebleu: {'score': 3.632928877985223, 'counts': [5, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [19.23076923076923, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.19230769230769232, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 26, 'reference_length': 14} Rouge: {'rouge1': 0.25, 'rouge2': 0.05263157894736842, 'rougeL': 0.2, 'rougeLsum': 0.2} Sari: {'sari': 15.340909090909092} Flesh Reading Ease: 56.85 ---------------------------------------- Source: ['Darling sieht dies als Beweis, dass Menschen zu Robotern emotionale Beziehungen aufbauen können.'] Prediction: ['Die Schweizerin und die Schweizerin sind eine Beweise für Menschen zu Robotern.\nSie wollen sich zu Menschen zu Robotern emotionale Beziehungen aufbauen.'] Label: [['Sie hat mit Testpersonen herausgefunden, dass Menschen zu Robotern emotionale Beziehungen aufbauen können.']] Sacrebleu: {'score': 20.828838183973037, 'counts': [8, 5, 4, 3], 'totals': [24, 23, 22, 21], 'precisions': [33.333333333333336, 21.73913043478261, 18.181818181818183, 14.285714285714286], 'bp': 1.0, 'sys_len': 24, 'ref_len': 15} Bleu: {'bleu': 0.20828838183973028, 'precisions': [0.3333333333333333, 0.21739130434782608, 0.18181818181818182, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 24, 'reference_length': 15} Rouge: {'rouge1': 0.3783783783783784, 'rouge2': 0.2857142857142857, 'rougeL': 0.3783783783783784, 'rougeLsum': 0.3783783783783784} Sari: {'sari': 43.57901493930906} Flesh Reading Ease: 52.0 ---------------------------------------- Source: ['Digitalisierung bedeutet unter anderem, dass Computer und Gegenstände miteinander kommunizieren.'] Prediction: ['Die Computer-Gegenstände kommunizieren miteinander.\nDas bedeutet unter anderem, dass Computer und Gegenstände miteinander kommunizieren.'] Label: [['Ein wichtiges Thema der Digitalisierung ist, dass Computer und Gegenstände miteinander kommunizieren.']] Sacrebleu: {'score': 41.41238765665519, 'counts': [8, 7, 6, 5], 'totals': [17, 16, 15, 14], 'precisions': [47.05882352941177, 43.75, 40.0, 35.714285714285715], 'bp': 1.0, 'sys_len': 17, 'ref_len': 14} Bleu: {'bleu': 0.41412387656655203, 'precisions': [0.47058823529411764, 0.4375, 0.4, 0.35714285714285715], 'brevity_penalty': 1.0, 'length_ratio': 1.2142857142857142, 'translation_length': 17, 'reference_length': 14} Rouge: {'rouge1': 0.4666666666666667, 'rouge2': 0.42857142857142855, 'rougeL': 0.4666666666666667, 'rougeLsum': 0.4666666666666667} Sari: {'sari': 51.606334841628964} Flesh Reading Ease: -8.36 ---------------------------------------- Source: ['Computer untereinander sind vernetzt, aber auch Geräte wie Heizung, Kühlschrank oder Kaffeemaschine sind mit dem Smartphone über das Internet vernetzt.'] Prediction: ['Auf der Internet wird der Smartphone vernetzt.\nDas ist auch für Geräte wie Heizung, Kühlschrank oder Kaffeemaschine.'] Label: [['Geräte wie Kühlschrank oder Kaffeemaschine sind mit dem Smartphone über das Internet vernetzt.']] Sacrebleu: {'score': 11.154288433080788, 'counts': [9, 4, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [45.0, 21.05263157894737, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.45, 0.21052631578947367, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4285714285714286, 'translation_length': 20, 'reference_length': 14} Rouge: {'rouge1': 0.6285714285714286, 'rouge2': 0.30303030303030304, 'rougeL': 0.4, 'rougeLsum': 0.5142857142857143} Sari: {'sari': 26.139944769330736} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['Das aber nur, wenn diese ähnlich wie Menschen handeln und reagieren.'] Prediction: ['Die Schweiz reagiert ähnlich wie Menschen.\nDas ist nicht bekannt, wenn diese ähnlich wie Menschen handeln und reagieren.'] Label: [['Das tun sie aber nur, wenn Roboter ähnlich wie Menschen handeln und reagieren.']] Sacrebleu: {'score': 31.420504922717058, 'counts': [10, 7, 5, 4], 'totals': [21, 20, 19, 18], 'precisions': [47.61904761904762, 35.0, 26.31578947368421, 22.22222222222222], 'bp': 1.0, 'sys_len': 21, 'ref_len': 15} Bleu: {'bleu': 0.3142050492271706, 'precisions': [0.47619047619047616, 0.35, 0.2631578947368421, 0.2222222222222222], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 21, 'reference_length': 15} Rouge: {'rouge1': 0.5161290322580646, 'rouge2': 0.3448275862068966, 'rougeL': 0.5161290322580646, 'rougeLsum': 0.5161290322580646} Sari: {'sari': 35.950080515297905} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['In der Industrie wie im Privatbereich werden Roboter als Assistenten arbeiten.'] Prediction: ['Robot ist in der Industrie wie im Privatbereich.\nIn der Schweiz werden Roboter als Assistenten arbeiten.'] Label: [['In der Industrie und im Privatbereich werden Roboter als Assistenten arbeiten.']] Sacrebleu: {'score': 34.62843085732929, 'counts': [11, 8, 4, 3], 'totals': [18, 17, 16, 15], 'precisions': [61.111111111111114, 47.05882352941177, 25.0, 20.0], 'bp': 1.0, 'sys_len': 18, 'ref_len': 12} Bleu: {'bleu': 0.34628430857329295, 'precisions': [0.6111111111111112, 0.47058823529411764, 0.25, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 18, 'reference_length': 12} Rouge: {'rouge1': 0.7407407407407406, 'rouge2': 0.56, 'rougeL': 0.7407407407407406, 'rougeLsum': 0.7407407407407406} Sari: {'sari': 36.20067956452396} Flesh Reading Ease: 60.85 ---------------------------------------- Source: ['Zahlreiche Studien über die Arbeitsplätze kommen zu dem Ergebnis, dass die Hälfte der Jobs wegfällt.'] Prediction: ['Die Hälfte der Jobs wegfällt weg.\nZahlreiche Studien über die Arbeitsplätze kommen zu dem Ergebnis, dass die Hälfte der Jobs wegfällt.'] Label: [['Zahlreiche Studien kommen zu dem Ergebnis, dass die Hälfte der Arbeitsplätze wegfällt.']] Sacrebleu: {'score': 38.967188124490924, 'counts': [14, 10, 7, 6], 'totals': [24, 23, 22, 21], 'precisions': [58.333333333333336, 43.47826086956522, 31.818181818181817, 28.571428571428573], 'bp': 1.0, 'sys_len': 24, 'ref_len': 14} Bleu: {'bleu': 0.38967188124490904, 'precisions': [0.5833333333333334, 0.43478260869565216, 0.3181818181818182, 0.2857142857142857], 'brevity_penalty': 1.0, 'length_ratio': 1.7142857142857142, 'translation_length': 24, 'reference_length': 14} Rouge: {'rouge1': 0.7317073170731707, 'rouge2': 0.5641025641025641, 'rougeL': 0.6341463414634146, 'rougeLsum': 0.6341463414634146} Sari: {'sari': 57.67373869068785} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['Aber es werden auch neue Tätigkeiten geschaffen.'] Prediction: ['Die Schweizer Welt hat neue Tätigkeiten geschaffen.\nDie Schweizer Welt hat sich mit neuen Tätigkeiten aufgezeichnet.'] Label: [['Aber es werden auch neue Jobs geschaffen.']] Sacrebleu: {'score': 4.753622060013117, 'counts': [3, 1, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [16.666666666666668, 5.882352941176471, 3.125, 1.6666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.058823529411764705, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 18, 'reference_length': 8} Rouge: {'rouge1': 0.16, 'rouge2': 0.0, 'rougeL': 0.16, 'rougeLsum': 0.16} Sari: {'sari': 12.878787878787879} Flesh Reading Ease: 60.85 ---------------------------------------- Source: ['Angriffe auf das Internet könnten ganze Bereiche lahmlegen und kaum bezifferbare Schäden verursachen.'] Prediction: ['Auf der Internet könnten ganze Bereiche lahmlegen.\nDie Schäden könnten ganze Bereiche lahmlegen.'] Label: [['Angriffe auf das Internet schädigen die Industrie massiv.']] Sacrebleu: {'score': 3.1251907639724417, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 15, 'reference_length': 9} Rouge: {'rouge1': 0.32, 'rouge2': 0.0, 'rougeL': 0.24000000000000005, 'rougeLsum': 0.24000000000000005} Sari: {'sari': 31.62393162393163} Flesh Reading Ease: 44.8 ---------------------------------------- Source: ['Nach der Roboter-Weltstatistik 2016, die von der International Federation of Robotics (IFR) veröffentlicht wurde, werden bis 2019 weltweit mehr als 1,4 Millionen neue Industrieroboter in den Fabriken installiert.'] Prediction: ['Der International Federation of Robotics (IFR) hat eine neue Weltstatistik ausgegeben.\nBis 2019 werden 1,4 Millionen neue Industrieroboter in den Fabriken installiert.'] Label: [['Die Roboter-Weltstatistik 2016 von der International Federation of Robotics (IFR) hat ausgerechnet: Bis 2019 werden weltweit mehr als 1,4 Millionen neue Industrieroboter in den Fabriken installiert.']] Sacrebleu: {'score': 52.993458682817675, 'counts': [20, 17, 14, 11], 'totals': [26, 25, 24, 23], 'precisions': [76.92307692307692, 68.0, 58.333333333333336, 47.82608695652174], 'bp': 0.8574039191604413, 'sys_len': 26, 'ref_len': 30} Bleu: {'bleu': 0.5299345868281768, 'precisions': [0.7692307692307693, 0.68, 0.5833333333333334, 0.4782608695652174], 'brevity_penalty': 0.8574039191604413, 'length_ratio': 0.8666666666666667, 'translation_length': 26, 'reference_length': 30} Rouge: {'rouge1': 0.7843137254901961, 'rouge2': 0.6530612244897959, 'rougeL': 0.7450980392156864, 'rougeLsum': 0.7450980392156864} Sari: {'sari': 56.691616010892574} Flesh Reading Ease: 28.6 ---------------------------------------- Source: ['Das betrifft vor allem Roboter, die dank KI intelligent handeln und lernen.'] Prediction: ['KI hat einen neuen Roboter.\nDas betrifft vor allem Roboter, die dank KI intelligent handeln und lernen.'] Label: [['Es bedeutet, dass die Maschinen intelligent handeln und lernen.']] Sacrebleu: {'score': 19.49624907951977, 'counts': [7, 4, 3, 2], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 21.05263157894737, 16.666666666666668, 11.764705882352942], 'bp': 1.0, 'sys_len': 20, 'ref_len': 11} Bleu: {'bleu': 0.19496249079519765, 'precisions': [0.35, 0.21052631578947367, 0.16666666666666666, 0.11764705882352941], 'brevity_penalty': 1.0, 'length_ratio': 1.8181818181818181, 'translation_length': 20, 'reference_length': 11} Rouge: {'rouge1': 0.3846153846153846, 'rouge2': 0.25, 'rougeL': 0.3846153846153846, 'rougeLsum': 0.3846153846153846} Sari: {'sari': 48.707893413775764} Flesh Reading Ease: 72.05 ---------------------------------------- Source: ['Dabei gibt es insgesamt 77 Inseln an der deutschen Küste.'] Prediction: ['Das deutsche Küste hat 77 Inseln gemeldet.\nDas ist die erste Woche.\nDas ist der erste Wochenende.'] Label: [['77 Inseln liegen an der deutschen Küste.']] Sacrebleu: {'score': 4.814971807094068, 'counts': [5, 1, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 5.2631578947368425, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 20, 'reference_length': 8} Rouge: {'rouge1': 0.3846153846153846, 'rouge2': 0.16666666666666666, 'rougeL': 0.23076923076923078, 'rougeLsum': 0.23076923076923078} Sari: {'sari': 31.71296296296296} Flesh Reading Ease: 80.7 ---------------------------------------- Source: ['Die meisten davon liegen in der Nordsee: die Nordfriesischen Inseln und die Ostfriesischen Inseln.'] Prediction: ['Die meisten Inseln in der Nordsee liegen in der Nordsee.\nDie meisten Inseln liegen in der Nordsee.'] Label: [['Die meisten davon befinden sich in der Nordsee: die Nordfriesischen Inseln und die Ostfriesischen Inseln.']] Sacrebleu: {'score': 10.657284485555579, 'counts': [8, 3, 1, 0], 'totals': [19, 18, 17, 16], 'precisions': [42.10526315789474, 16.666666666666668, 5.882352941176471, 3.125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.42105263157894735, 0.16666666666666666, 0.058823529411764705, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1176470588235294, 'translation_length': 19, 'reference_length': 17} Rouge: {'rouge1': 0.5, 'rouge2': 0.26666666666666666, 'rougeL': 0.43749999999999994, 'rougeLsum': 0.3125} Sari: {'sari': 14.385229122268003} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['Außerdem gibt es noch die Ostseeinseln.'] Prediction: ['Die Ostseeinseln ist noch nicht mehr.\nAuch die Ostseeinseln ist noch nicht mehr.'] Label: [['Außerdem gibt es noch Inseln in der Ostsee.']] Sacrebleu: {'score': 3.1251907639724417, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 15, 'reference_length': 9} Rouge: {'rouge1': 0.09090909090909093, 'rouge2': 0.0, 'rougeL': 0.09090909090909093, 'rougeLsum': 0.09090909090909093} Sari: {'sari': 18.287037037037038} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['Seit vielen Jahren sind aber Touristen die größte Einnahmequelle.'] Prediction: ['Seit vielen Jahren sind aber Touristen die größte Einnahmequelle.\nDie größte Einnahmequelle ist seit vielen Jahren unter anderem in der Schweiz.'] Label: [['Seit vielen Jahren verdienen sie ihr Geld mit Touristen.']] Sacrebleu: {'score': 6.964541799727335, 'counts': [5, 2, 1, 0], 'totals': [23, 22, 21, 20], 'precisions': [21.73913043478261, 9.090909090909092, 4.761904761904762, 2.5], 'bp': 1.0, 'sys_len': 23, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.09090909090909091, 0.047619047619047616, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3, 'translation_length': 23, 'reference_length': 10} Rouge: {'rouge1': 0.25, 'rouge2': 0.13333333333333333, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 43.77104377104377} Flesh Reading Ease: 58.35 ---------------------------------------- Source: ['Sylt ist die größte Nordseeinsel und hat eine interessante, schmale Form.'] Prediction: ['Die Schweiz hat eine schwierige Form.\nIn den USA wurde eine neue Form entwickelt.'] Label: [['Sylt ist die größte Nordseeinsel und hat eine interessante Form.']] Sacrebleu: {'score': 6.917184228205474, 'counts': [4, 2, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [25.0, 13.333333333333334, 3.5714285714285716, 1.9230769230769231], 'bp': 1.0, 'sys_len': 16, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.13333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4545454545454546, 'translation_length': 16, 'reference_length': 11} Rouge: {'rouge1': 0.32, 'rouge2': 0.08695652173913043, 'rougeL': 0.32, 'rougeLsum': 0.32} Sari: {'sari': 19.185606060606062} Flesh Reading Ease: 85.25 ---------------------------------------- Source: ['Sie ist 38,5 Kilometer lang und an der schmalsten Stelle nur knapp 600 Meter breit.'] Prediction: ['Sie ist auf der schmalsten Stelle nur knapp 600 Meter breit.\nDie Schweizerin ist 38,5 Kilometer lang und an der schmalsten Stelle nur knapp 600 Meter breit.'] Label: [['Sie ist 38,5 Kilometer lang und sehr schmal.']] Sacrebleu: {'score': 13.854202727344724, 'counts': [7, 5, 3, 2], 'totals': [29, 28, 27, 26], 'precisions': [24.137931034482758, 17.857142857142858, 11.11111111111111, 7.6923076923076925], 'bp': 1.0, 'sys_len': 29, 'ref_len': 9} Bleu: {'bleu': 0.1385420272734473, 'precisions': [0.2413793103448276, 0.17857142857142858, 0.1111111111111111, 0.07692307692307693], 'brevity_penalty': 1.0, 'length_ratio': 3.2222222222222223, 'translation_length': 29, 'reference_length': 9} Rouge: {'rouge1': 0.3783783783783784, 'rouge2': 0.34285714285714286, 'rougeL': 0.3783783783783784, 'rougeLsum': 0.3783783783783784} Sari: {'sari': 31.069195794259734} Flesh Reading Ease: 84.6 ---------------------------------------- Source: ['Mit einer Fläche von 926 km² ist die Ostseeinsel Rügen fast zehnmal so groß wie Sylt und über einen Damm mit dem deutschen Festland verbunden.'] Prediction: ['Die Ostseeinsel Rügen ist fast zehnmal so groß wie Sylt und über einen Damm mit dem deutschen Festland verbunden.\nDie Fläche ist mit 926 km² so groß wie Sylt und über einen Damm mit dem deutschen Festland verbunden.'] Label: [['Mit einer Fläche von 926 km² ist die Ostseeinsel Rügen fast zehnmal so groß wie Sylt.']] Sacrebleu: {'score': 14.93750899564942, 'counts': [13, 7, 4, 3], 'totals': [40, 39, 38, 37], 'precisions': [32.5, 17.94871794871795, 10.526315789473685, 8.108108108108109], 'bp': 1.0, 'sys_len': 40, 'ref_len': 17} Bleu: {'bleu': 0.14937508995649412, 'precisions': [0.325, 0.1794871794871795, 0.10526315789473684, 0.08108108108108109], 'brevity_penalty': 1.0, 'length_ratio': 2.3529411764705883, 'translation_length': 40, 'reference_length': 17} Rouge: {'rouge1': 0.5517241379310346, 'rouge2': 0.35714285714285715, 'rougeL': 0.3448275862068966, 'rougeLsum': 0.48275862068965514} Sari: {'sari': 23.29886441292277} Flesh Reading Ease: 79.1 ---------------------------------------- Source: ['Bekannt ist die Insel Rügen für ihre Natur mit weißen Felsen, langen Stränden, sanften Hügeln und unberührten Wäldern.'] Prediction: ['In der Schweiz werden mehrere Rügen für die Insel gekannt.\nDie Insel Rügen sind weißen Felsen, langen Stränden und unberührten Wäldern.'] Label: [['Bekannt ist die Insel Rügen für die schöne Natur.']] Sacrebleu: {'score': 7.913247271422609, 'counts': [5, 4, 1, 0], 'totals': [24, 23, 22, 21], 'precisions': [20.833333333333332, 17.391304347826086, 4.545454545454546, 2.380952380952381], 'bp': 1.0, 'sys_len': 24, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.20833333333333334, 0.17391304347826086, 0.045454545454545456, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4, 'translation_length': 24, 'reference_length': 10} Rouge: {'rouge1': 0.35000000000000003, 'rouge2': 0.3157894736842105, 'rougeL': 0.25, 'rougeLsum': 0.35000000000000003} Sari: {'sari': 35.79517704517705} Flesh Reading Ease: 64.2 ---------------------------------------- Source: ['Zusätzlich zu den 77 deutschen Inseln gibt es noch zehn Halligen im nordfriesischen Wattenmeer.'] Prediction: ['Die USA haben 77 Wettbewerbungen.\nDas ist nicht bekannt.\nDas ist ein neuer Allmädchen.'] Label: [['Zusätzlich zu den 77 deutschen Inseln gibt es noch zehn Halligen.']] Sacrebleu: {'score': 2.719665272174911, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4166666666666667, 'translation_length': 17, 'reference_length': 12} Rouge: {'rouge1': 0.07407407407407407, 'rouge2': 0.0, 'rougeL': 0.07407407407407407, 'rougeLsum': 0.07407407407407407} Sari: {'sari': 12.026862026862025} Flesh Reading Ease: 81.7 ---------------------------------------- Source: ['Das sind winzige Inselchen, die kaum durch Deiche geschützt sind.'] Prediction: ['Die Schweizerin Debi verliert eine neue Single-Mutter.\nInselchen sind die letzten Monate nach Deutschland geschützt.\nDie beiden waren in den letzten Tagen geschützt.'] Label: [['Das sind winzige Inseln, die kaum durch Deiche geschützt sind.']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1666666666666665, 'translation_length': 26, 'reference_length': 12} Rouge: {'rouge1': 0.21621621621621623, 'rouge2': 0.05714285714285714, 'rougeL': 0.21621621621621623, 'rougeLsum': 0.21621621621621623} Sari: {'sari': 11.885521885521886} Flesh Reading Ease: 61.15 ---------------------------------------- Source: ['Während früher wenige Künstler in deutscher Sprache gesungen haben, gewinnt deutschsprachige Musik seit der Jahrhundertwende immer mehr an Bedeutung.'] Prediction: ['Die deutsche Künstler haben ihren neuen Album veröffentlicht.\nDie Musik-Welt ist nicht mehr ganz äusserst.'] Label: [['Früher sangen nur wenige Künstler in deutscher Sprache.']] Sacrebleu: {'score': 2.719665272174911, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8888888888888888, 'translation_length': 17, 'reference_length': 9} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.07692307692307691, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 30.004273905202698} Flesh Reading Ease: 67.2 ---------------------------------------- Source: ['Den Anfang machten junge Bands wie Wir sind Helden, Juli, Silbermond oder die Münchner Sportfreunde Stiller.'] Prediction: ['Die Münchner Sportfreunde Stiller machten den Anfang ihren Bands.\nWir sind Helden, Juli, Silbermond oder die Münchner Sportfreunde Stiller.'] Label: [['Aber nun kamen neue, junge Bands wie Wir sind Helden, Juli, Silbermond oder die Sportfreunde Stiller dazu.']] Sacrebleu: {'score': 38.9949920580721, 'counts': [13, 9, 7, 6], 'totals': [23, 22, 21, 20], 'precisions': [56.52173913043478, 40.90909090909091, 33.333333333333336, 30.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 21} Bleu: {'bleu': 0.3899499205807209, 'precisions': [0.5652173913043478, 0.4090909090909091, 0.3333333333333333, 0.3], 'brevity_penalty': 1.0, 'length_ratio': 1.0952380952380953, 'translation_length': 23, 'reference_length': 21} Rouge: {'rouge1': 0.5263157894736842, 'rouge2': 0.38888888888888884, 'rougeL': 0.5263157894736842, 'rougeLsum': 0.4736842105263158} Sari: {'sari': 35.18641104479411} Flesh Reading Ease: 65.2 ---------------------------------------- Source: ['Erfolgreiche deutschsprachige Bands gab es schon längere Zeit, zum Beispiel Die Ärzte oder Die Toten Hosen, die ihren Ursprung in der deutsche Punkbewegung der 1980er hatten oder die Stuttgarter Hip-Hop-Band Die Fantastischen Vier, die Anfang der Neunziger große Erfolge feierten.'] Prediction: ['Die deutsche Punkbewegung der 1980er hatten einige neunzig Erfolge.\nDie Stuttgarter Hip-Hop-Band Die Fantastischen Vier feierten Anfang der Neunziger große Erfolge.'] Label: [['Deutsche Bands wie Die Ärzte, Die Toten Hosen oder Die Fantastischen Vier waren schon lange Zeit erfolgreich.']] Sacrebleu: {'score': 7.289334177359764, 'counts': [6, 2, 1, 0], 'totals': [23, 22, 21, 20], 'precisions': [26.08695652173913, 9.090909090909092, 4.761904761904762, 2.5], 'bp': 1.0, 'sys_len': 23, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.2608695652173913, 0.09090909090909091, 0.047619047619047616, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2105263157894737, 'translation_length': 23, 'reference_length': 19} Rouge: {'rouge1': 0.2926829268292683, 'rouge2': 0.10256410256410256, 'rougeL': 0.24390243902439027, 'rougeLsum': 0.24390243902439027} Sari: {'sari': 34.79353673287497} Flesh Reading Ease: 40.8 ---------------------------------------- Source: ['Auch Reggae und Dancehall wurde zu dieser Zeit deutsch mit Bands wie Seeed, Culcha Candela und Gentleman.2004 diskutierten Politiker und Musiker über die Einführung einer Quote für deutschsprachige Musik im Radio.'] Prediction: ['2004 diskutierten Politiker und Musiker über die Einführung einer Quote für deutschsprachige Musik im Radio.\nDie Reggae und Dancehall waren zu dieser Zeit deutsch mit Bands wie Seeed, Culcha Candela und Gentleman.'] Label: [['Sie fragten sich, warum deutsche Bands in englischer Sprache singen sollten.2004 dachten Musiker und Politiker darüber nach, ob im Radio ein bestimmter Anteil der Lieder deutsch sein muss.']] Sacrebleu: {'score': 3.2342452920962157, 'counts': [11, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [31.428571428571427, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.3142857142857143, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0606060606060606, 'translation_length': 35, 'reference_length': 33} Rouge: {'rouge1': 0.28125, 'rouge2': 0.03225806451612904, 'rougeL': 0.18750000000000003, 'rougeLsum': 0.21874999999999997} Sari: {'sari': 35.72563559322033} Flesh Reading Ease: 58.7 ---------------------------------------- Source: ['In Frankreich müssen 40 Prozent der gespielten Titel französischsprachig sein.'] Prediction: ['In Frankreich müssen 40 Prozent der gespielten Titel französischsprachig sein.\n40 Prozent der gespielten Titel französischsprachig sein.'] Label: [['In Frankreich müssen 40 Prozent der gespielten Titel französisch sein.']] Sacrebleu: {'score': 40.07781700028197, 'counts': [10, 8, 6, 5], 'totals': [19, 18, 17, 16], 'precisions': [52.63157894736842, 44.44444444444444, 35.294117647058826, 31.25], 'bp': 1.0, 'sys_len': 19, 'ref_len': 11} Bleu: {'bleu': 0.4007781700028195, 'precisions': [0.5263157894736842, 0.4444444444444444, 0.35294117647058826, 0.3125], 'brevity_penalty': 1.0, 'length_ratio': 1.7272727272727273, 'translation_length': 19, 'reference_length': 11} Rouge: {'rouge1': 0.6874999999999999, 'rouge2': 0.6, 'rougeL': 0.6874999999999999, 'rougeLsum': 0.6874999999999999} Sari: {'sari': 61.75417175417176} Flesh Reading Ease: 48.65 ---------------------------------------- Source: ['Doch in Deutschland erfüllte sich der Wunsch nach mehr deutschsprachiger Musik ganz ohne Quote.'] Prediction: ['Die Wunsch-Musikerin Andrea (27) ist in Deutschland mit mehreren neuen Songs veröffentlicht.\nIn der neuen Folge erfüllte sich der Wunsch nach mehr deutschsprachiger Musik ganz ohne Quote.'] Label: [['Aber in Deutschland war das nicht nötig, weil deutschsprachige Musik immer beliebter wurde.']] Sacrebleu: {'score': 2.8525466573456515, 'counts': [4, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [12.903225806451612, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 1.0, 'sys_len': 31, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.12903225806451613, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.066666666666667, 'translation_length': 31, 'reference_length': 15} Rouge: {'rouge1': 0.13636363636363638, 'rouge2': 0.04761904761904762, 'rougeL': 0.13636363636363638, 'rougeLsum': 0.13636363636363638} Sari: {'sari': 38.319088319088316} Flesh Reading Ease: 61.2 ---------------------------------------- Source: ['Selbst Künstler, die früher in englischer Sprache gesungen haben, singen mittlerweile deutschsprachige Texte. Wie zum Beispiel die Sängerin Sarah Connor, die im Jahr 2015 ihr erstes deutschsprachiges Album „Muttersprache“ nannte.'] Prediction: ['Die deutsche Schweizerin Sarah Connor hat ihr erstes deutschsprachiges Album "Muttersprache" veröffentlicht.\nDie deutsche Schweizerin hatte sich mit ihrer ersten Single veröffentlicht.\nDie deutsche Schweizerin hat sich mit ihrer ersten Single veröffentlicht.'] Label: [['Die Sängerin Sarah Connor, zum Beispiel, singt seit 2015 nicht mehr auf Englisch, sondern auf Deutsch.']] Sacrebleu: {'score': 2.369898273250278, 'counts': [4, 1, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [10.81081081081081, 2.7777777777777777, 1.4285714285714286, 0.7352941176470589], 'bp': 1.0, 'sys_len': 37, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.10810810810810811, 0.027777777777777776, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.85, 'translation_length': 37, 'reference_length': 20} Rouge: {'rouge1': 0.11538461538461539, 'rouge2': 0.039999999999999994, 'rougeL': 0.11538461538461539, 'rougeLsum': 0.11538461538461539} Sari: {'sari': 33.788059900150145} Flesh Reading Ease: 46.45 ---------------------------------------- Source: ['Weitere bekannte deutschsprachige Bands und Künstler sind Glasperlenspiel, Frida Gold, Revolverheld, Joris, Max Giesinger, Wincent Weiss, Adel Tawil, die Hamburger Hip-Hop-Formation Deichkind, sowie die Rapper Materia, Bushido und Cro.'] Prediction: ['Die deutsche Rapper und Künstler haben ihren neuen Freunden geschützt.\nDie deutsche Bands und Künstler sind Glasperlenspiel, Frida Gold, Revolverheld, Joris, Max Giesinger, Wincent Weiss, Adel Tawil, die Hamburger Hip-Hop-Formation Deichkind, sowie die Rapper Materia, Bushido und Cro.'] Label: [['Weitere bekannte deutschsprachige Bands, Sängerinnen und Sänger sind Glasperlenspiel, Frida Gold, Revolverheld, Joris, Max Giesinger, Wincent Weiss, Adel Tawil, Andreas Bourani, die Hamburger Hip-Hop-Formation Deichkind, sowie die Rapper Materia, Bushido und Cro.']] Sacrebleu: {'score': 65.58447938493836, 'counts': [35, 32, 30, 28], 'totals': [49, 48, 47, 46], 'precisions': [71.42857142857143, 66.66666666666667, 63.829787234042556, 60.869565217391305], 'bp': 1.0, 'sys_len': 49, 'ref_len': 44} Bleu: {'bleu': 0.6558447938493834, 'precisions': [0.7142857142857143, 0.6666666666666666, 0.6382978723404256, 0.6086956521739131], 'brevity_penalty': 1.0, 'length_ratio': 1.1136363636363635, 'translation_length': 49, 'reference_length': 44} Rouge: {'rouge1': 0.6835443037974683, 'rouge2': 0.5974025974025974, 'rougeL': 0.6835443037974683, 'rougeLsum': 0.6835443037974683} Sari: {'sari': 38.89552204068333} Flesh Reading Ease: 44.0 ---------------------------------------- Source: ['2017 gehörte der Sänger und Songwriter Mark Forster mit „Chöre“ zu den erfolgreichsten deutschsprachigen Musikern.'] Prediction: ['Mark Forster (43) hat 2017 die erfolgreichsten deutschsprachigen Musikern erschienen.\nDer Sänger und Songwriter hatte 2017 mit "Chöre" zu den erfolgreichsten deutschsprachigen Musikern erschienen.'] Label: [['Im Jahr 2017 gehörte der Sänger und Songwriter Mark Forster mit „Chöre“ zu den erfolgreichsten deutschsprachigen Musikern.']] Sacrebleu: {'score': 18.23990545200188, 'counts': [13, 7, 4, 2], 'totals': [30, 29, 28, 27], 'precisions': [43.333333333333336, 24.137931034482758, 14.285714285714286, 7.407407407407407], 'bp': 1.0, 'sys_len': 30, 'ref_len': 18} Bleu: {'bleu': 0.18239905452001884, 'precisions': [0.43333333333333335, 0.2413793103448276, 0.14285714285714285, 0.07407407407407407], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 30, 'reference_length': 18} Rouge: {'rouge1': 0.6956521739130435, 'rouge2': 0.5454545454545454, 'rougeL': 0.608695652173913, 'rougeLsum': 0.6521739130434783} Sari: {'sari': 21.085844139333844} Flesh Reading Ease: 45.15 ---------------------------------------- Source: ['Soll ich mich ganz der Erziehung meiner Kinder widmen oder mich lieber auf die Arbeit konzentrieren?'] Prediction: ['20 Minuten hat mit 20 Minuten eine neue Frage über die Erziehung meiner Kinder geschickt.\nWir haben sie sich bei der Erziehung zu Gast und Freude gegeben.'] Label: [['Soll ich mich ganz um die Erziehung der Kinder kümmern oder lieber um die Arbeit?']] Sacrebleu: {'score': 3.0603367373678014, 'counts': [4, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8125, 'translation_length': 29, 'reference_length': 16} Rouge: {'rouge1': 0.18604651162790697, 'rouge2': 0.04878048780487805, 'rougeL': 0.13953488372093023, 'rougeLsum': 0.13953488372093023} Sari: {'sari': 27.713463007580657} Flesh Reading Ease: 72.9 ---------------------------------------- Source: ['Sie möchten genügend Zeit mit den Kindern verbringen und einen verantwortungsvollen Job, der sie herausfordert und Spaß macht.'] Prediction: ['Eine Frau möchte sich mit ihren Kindern einen verantwortungsvollen Job herausfordert und Spaß macht.\nWie sie sich mit ihren Kindern verbringen möchte, ist noch unklar.'] Label: [['Sie möchten genügend Zeit mit den Kindern verbringen und einen guten Beruf haben, der Spaß macht.']] Sacrebleu: {'score': 7.23976807888871, 'counts': [9, 3, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [32.142857142857146, 11.11111111111111, 3.8461538461538463, 2.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.32142857142857145, 0.1111111111111111, 0.038461538461538464, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5555555555555556, 'translation_length': 28, 'reference_length': 18} Rouge: {'rouge1': 0.4, 'rouge2': 0.0930232558139535, 'rougeL': 0.26666666666666666, 'rougeLsum': 0.3555555555555555} Sari: {'sari': 19.965217531007003} Flesh Reading Ease: 68.05 ---------------------------------------- Source: ['In Deutschland versucht ein Großteil der Mütter, dieses Dilemma durch Teilzeitarbeit zu lösen.'] Prediction: ['In Deutschland versucht ein Großteil der Mütter, dieses Dilemma durch Teilzeitarbeit zu lösen.\nIn der Schweiz versucht ein Großteil der Mütter, dieses Dilemma durch Teilzeitarbeit zu lösen.'] Label: [['In Deutschland versucht ein Großteil der Mütter, dieses Problem durch Teilzeitarbeit zu lösen.']] Sacrebleu: {'score': 36.52498722696752, 'counts': [14, 12, 10, 8], 'totals': [31, 30, 29, 28], 'precisions': [45.16129032258065, 40.0, 34.48275862068966, 28.571428571428573], 'bp': 1.0, 'sys_len': 31, 'ref_len': 15} Bleu: {'bleu': 0.3652498722696752, 'precisions': [0.45161290322580644, 0.4, 0.3448275862068966, 0.2857142857142857], 'brevity_penalty': 1.0, 'length_ratio': 2.066666666666667, 'translation_length': 31, 'reference_length': 15} Rouge: {'rouge1': 0.6122448979591837, 'rouge2': 0.5531914893617021, 'rougeL': 0.6122448979591837, 'rougeLsum': 0.6122448979591837} Sari: {'sari': 62.98466151539615} Flesh Reading Ease: 55.35 ---------------------------------------- Source: ['Zwei Drittel der arbeitenden Mütter sind teilzeitbeschäftigt, bei den Vätern sind es nur sechs Prozent.'] Prediction: ['Zwei Drittel der arbeitenden Mütter sind teilzeitbeschäftigt.\nBei den Vätern sind es nur sechs Prozent.'] Label: [['Zwei Drittel der arbeitenden Mütter sind teilzeitbeschäftigt, von den Vätern nur sechs Prozent.']] Sacrebleu: {'score': 53.12583871630397, 'counts': [13, 10, 7, 5], 'totals': [17, 16, 15, 14], 'precisions': [76.47058823529412, 62.5, 46.666666666666664, 35.714285714285715], 'bp': 1.0, 'sys_len': 17, 'ref_len': 15} Bleu: {'bleu': 0.5312583871630396, 'precisions': [0.7647058823529411, 0.625, 0.4666666666666667, 0.35714285714285715], 'brevity_penalty': 1.0, 'length_ratio': 1.1333333333333333, 'translation_length': 17, 'reference_length': 15} Rouge: {'rouge1': 0.8823529411764706, 'rouge2': 0.7500000000000001, 'rougeL': 0.8823529411764706, 'rougeLsum': 0.8823529411764706} Sari: {'sari': 41.00037537537538} Flesh Reading Ease: 73.05 ---------------------------------------- Source: ['Mütter, die Vollzeit arbeiten, werden oft als Rabenmütter bezeichnet, weil sie wenig Zeit für die Kinder haben.'] Prediction: ['Rabenmütter werden oft als Rabenmütter bezeichnet, weil sie wenig Zeit für die Kinder haben.\nDie Vollzeit arbeiten oft als Rabenmütter.'] Label: [['Mütter, die Vollzeit arbeiten, werden oft als Rabenmütter beschimpft, weil sie wenig Zeit für ihre Kinder haben.']] Sacrebleu: {'score': 39.02273664485568, 'counts': [16, 11, 7, 4], 'totals': [23, 22, 21, 20], 'precisions': [69.56521739130434, 50.0, 33.333333333333336, 20.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 21} Bleu: {'bleu': 0.39022736644855677, 'precisions': [0.6956521739130435, 0.5, 0.3333333333333333, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 1.0952380952380953, 'translation_length': 23, 'reference_length': 21} Rouge: {'rouge1': 0.7727272727272727, 'rouge2': 0.5714285714285715, 'rougeL': 0.6363636363636365, 'rougeLsum': 0.7727272727272727} Sari: {'sari': 21.514838242184524} Flesh Reading Ease: 58.85 ---------------------------------------- Source: ['Hausfrauen werden von anderen arbeitenden Müttern belächelt.'] Prediction: ['In der Schweiz werden mehrere arbeitende Müttern belächelt.\nDie Schweiz hatte sich mit einem grossen Aufgebot zu kämpfen.'] Label: [['Hausfrauen werden oft von anderen arbeitenden Müttern belächelt.']] Sacrebleu: {'score': 7.658412276041004, 'counts': [4, 2, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [20.0, 10.526315789473685, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.10526315789473684, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2222222222222223, 'translation_length': 20, 'reference_length': 9} Rouge: {'rouge1': 0.3225806451612903, 'rouge2': 0.20689655172413793, 'rougeL': 0.3225806451612903, 'rougeLsum': 0.3225806451612903} Sari: {'sari': 21.38888888888889} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Dabei sollte jeder frei und ohne Druck entscheiden können, wie er oder sie sein Familien- und Berufsleben gestalten möchte.'] Prediction: ['Jeder sollte frei und ohne Druck entscheiden können, wie er oder sie sein Familien und Berufsleben gestalten möchte.\nDas sollte jeder frei und ohne Druck entscheiden können, wie er oder sie sein Familien und Berufsleben gestalten möchte.'] Label: [['Dabei sollte jeder frei entscheiden können, wie er oder sie sein Familienleben und Berufsleben gestalten möchte.']] Sacrebleu: {'score': 27.820653729326644, 'counts': [16, 13, 10, 7], 'totals': [41, 40, 39, 38], 'precisions': [39.02439024390244, 32.5, 25.641025641025642, 18.42105263157895], 'bp': 1.0, 'sys_len': 41, 'ref_len': 18} Bleu: {'bleu': 0.27820653729326633, 'precisions': [0.3902439024390244, 0.325, 0.2564102564102564, 0.18421052631578946], 'brevity_penalty': 1.0, 'length_ratio': 2.2777777777777777, 'translation_length': 41, 'reference_length': 18} Rouge: {'rouge1': 0.5423728813559323, 'rouge2': 0.456140350877193, 'rougeL': 0.5423728813559323, 'rougeLsum': 0.5423728813559323} Sari: {'sari': 49.08865955969896} Flesh Reading Ease: 56.2 ---------------------------------------- Source: ['Seit der Einführung des Elterngeldes im Jahr 2007 nehmen mehr Väter Elternzeit, aber es sind meistens maximal zwei Monate.'] Prediction: ['Seit der Einführung des Elterngeldes im Jahr 2007 nehmen mehr Väter Elternzeit.\nSeit der Einführung des Elterngeldes im Jahr 2007 nehmen mehr Väter Elternzeit.'] Label: [['Obwohl seit der Einführung des Elterngeldes im Jahr 2007 mehr Väter Elternzeit nehmen, sind es meistens nur zwei Monate.']] Sacrebleu: {'score': 28.30789070123404, 'counts': [12, 8, 6, 4], 'totals': [26, 25, 24, 23], 'precisions': [46.15384615384615, 32.0, 25.0, 17.391304347826086], 'bp': 1.0, 'sys_len': 26, 'ref_len': 21} Bleu: {'bleu': 0.2830789070123405, 'precisions': [0.46153846153846156, 0.32, 0.25, 0.17391304347826086], 'brevity_penalty': 1.0, 'length_ratio': 1.2380952380952381, 'translation_length': 26, 'reference_length': 21} Rouge: {'rouge1': 0.5714285714285715, 'rouge2': 0.46808510638297873, 'rougeL': 0.5714285714285715, 'rougeLsum': 0.5306122448979592} Sari: {'sari': 50.328433140933136} Flesh Reading Ease: 62.7 ---------------------------------------- Source: ['Im Väterreport 2016, einer Umfrage der Bundesregierung, gaben nur 14 Prozent der Paare an, dass sie sich Haushalt, Erziehung und Beruf gleich aufteilen.'] Prediction: ['Eine Umfrage der Bundesregierung gaben nur 14 Prozent der Paare an, dass sie sich Haushalt, Erziehung und Beruf gleich aufteilen.\nDie Bundesregierung gaben nur 14 Prozent der Paare an, dass sie sich Haushalt, Erziehung und Beruf gleich aufteilen.'] Label: [['Im Väterreport 2016, einer Umfrage der Bundesregierung, sagten nur 14 Prozent der Paare, dass sie sich Haushalt, Erziehung und Beruf gleich aufteilen.']] Sacrebleu: {'score': 36.4635972497571, 'counts': [22, 17, 14, 11], 'totals': [44, 43, 42, 41], 'precisions': [50.0, 39.53488372093023, 33.333333333333336, 26.829268292682926], 'bp': 1.0, 'sys_len': 44, 'ref_len': 27} Bleu: {'bleu': 0.36463597249757107, 'precisions': [0.5, 0.3953488372093023, 0.3333333333333333, 0.2682926829268293], 'brevity_penalty': 1.0, 'length_ratio': 1.6296296296296295, 'translation_length': 44, 'reference_length': 27} Rouge: {'rouge1': 0.5573770491803278, 'rouge2': 0.4745762711864407, 'rougeL': 0.5573770491803278, 'rougeLsum': 0.5573770491803278} Sari: {'sari': 31.605363488117895} Flesh Reading Ease: 55.7 ---------------------------------------- Source: ['Feiertage sind jedes Jahr wiederkehrende Tage, an denen bestimmte religiöse oder politische Ereignisse gefeiert werden.'] Prediction: ['Jedes Jahr wiederkehrende Tage sind wiederkehrende religiöse oder politische Ereignisse gefeiert.\nDie Wiederkehrenden sind jedes Jahr wiederkehrende Tage.'] Label: [['Feiertage erinnern an bestimmte religiöse oder politische Ereignisse.']] Sacrebleu: {'score': 12.673718536830808, 'counts': [5, 3, 2, 1], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 15.789473684210526, 11.11111111111111, 5.882352941176471], 'bp': 1.0, 'sys_len': 20, 'ref_len': 9} Bleu: {'bleu': 0.12673718536830808, 'precisions': [0.25, 0.15789473684210525, 0.1111111111111111, 0.058823529411764705], 'brevity_penalty': 1.0, 'length_ratio': 2.2222222222222223, 'translation_length': 20, 'reference_length': 9} Rouge: {'rouge1': 0.35714285714285715, 'rouge2': 0.30769230769230765, 'rougeL': 0.35714285714285715, 'rougeLsum': 0.35714285714285715} Sari: {'sari': 41.39985380116959} Flesh Reading Ease: 13.05 ---------------------------------------- Source: ['Es gibt Gedenktage und freudige Feste, zu denen je nach Anlass unterschiedliche Zeremonien und Bräuche gehören.'] Prediction: ['Die Schweizer Welt ist eine grosse traditionelle Welt.\nDie Schweizer Welt ist eine grosse Welt.\nDie Schweizer Welt ist eine grosse Welt.'] Label: [['Je nach Anlass gehören dazu auch Bräuche.']] Sacrebleu: {'score': 1.506189323093867, 'counts': [1, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [4.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.04, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.125, 'translation_length': 25, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 39.9422268907563} Flesh Reading Ease: 79.1 ---------------------------------------- Source: ['Wenn die Feiertage nicht auf das Wochenende fallen, freuen sich insbesondere die Arbeitnehmer und Schüler über einen zusätzlichen freien Tag.'] Prediction: ['Die Feiertage wurde nicht auf das Wochenende fallen.\nDie Arbeitnehmer und Schüler freuen sich über einen zusätzlichen freien Tag.'] Label: [['Wenn das Datum der Feiertage auf einen Samstag oder Sonntag fällt, gibt es weniger freie Tage.']] Sacrebleu: {'score': 2.7156804039319287, 'counts': [5, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [23.80952380952381, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.23809523809523808, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1666666666666667, 'translation_length': 21, 'reference_length': 18} Rouge: {'rouge1': 0.21052631578947367, 'rouge2': 0.0, 'rougeL': 0.15789473684210528, 'rougeLsum': 0.15789473684210528} Sari: {'sari': 31.111111111111107} Flesh Reading Ease: 59.35 ---------------------------------------- Source: ['Einige Feiertage haben ein festgelegtes Datum, andere sind beweglich. Sie orientieren sich oftmals am Kirchenjahr und finden immer an einem anderen Datum statt.'] Prediction: ['Die Feiertage sind am Kirchenjahr gestartet.\nEinige Feiertage haben ein festgelegtes Datum.\nSie orientieren sich oftmals am Kirchenjahr und finden immer an einem anderen Datum statt.'] Label: [['Einige Feiertage haben ein festgelegtes Datum.\nAndere finden immer an einem anderen Datum statt, das durch das Kirchenjahr bestimmt wird.']] Sacrebleu: {'score': 40.51580932372875, 'counts': [16, 12, 10, 8], 'totals': [29, 28, 27, 26], 'precisions': [55.172413793103445, 42.857142857142854, 37.03703703703704, 30.76923076923077], 'bp': 1.0, 'sys_len': 29, 'ref_len': 23} Bleu: {'bleu': 0.40515809323728763, 'precisions': [0.5517241379310345, 0.42857142857142855, 0.37037037037037035, 0.3076923076923077], 'brevity_penalty': 1.0, 'length_ratio': 1.2608695652173914, 'translation_length': 29, 'reference_length': 23} Rouge: {'rouge1': 0.608695652173913, 'rouge2': 0.5, 'rougeL': 0.5652173913043479, 'rougeLsum': 0.608695652173913} Sari: {'sari': 53.113196346015414} Flesh Reading Ease: 42.6 ---------------------------------------- Source: ['In überwiegend katholischen Bundesländern gibt es zusätzliche kirchliche Feiertage wie beispielsweise das Fest der Heiligen drei Könige am 6. Januar, Fronleichnam, Allerheiligen (1. November) und in einigen Regionen auch Mariä Himmelfahrt.'] Prediction: ['Heiligen feierten am 6.\nJanuar, Fronleichnam, Allerheiligen (1.\nNovember).\nIn katholischen Bundesländern gibt es zusätzliche kirchliche Feiertage.\nIn den katholischen Bundesländern gibt es zusätzliche Feiertage.'] Label: [['In einigen Bundesländern gibt es zusätzliche kirchliche Feiertage wie das Fest der Heiligen drei Könige am 6.\nJanuar, Fronleichnam oder Allerheiligen (1.\nNovember).']] Sacrebleu: {'score': 44.50866059065563, 'counts': [21, 16, 13, 10], 'totals': [34, 33, 32, 31], 'precisions': [61.76470588235294, 48.484848484848484, 40.625, 32.25806451612903], 'bp': 1.0, 'sys_len': 34, 'ref_len': 29} Bleu: {'bleu': 0.4450866059065563, 'precisions': [0.6176470588235294, 0.48484848484848486, 0.40625, 0.3225806451612903], 'brevity_penalty': 1.0, 'length_ratio': 1.1724137931034482, 'translation_length': 34, 'reference_length': 29} Rouge: {'rouge1': 0.6181818181818182, 'rouge2': 0.4528301886792452, 'rougeL': 0.32727272727272727, 'rougeLsum': 0.6181818181818182} Sari: {'sari': 46.2442724512686} Flesh Reading Ease: 21.6 ---------------------------------------- Source: ['Noch mehr Feiertage hat die Stadt Augsburg in Bayern.'] Prediction: ['Die meisten Schweizer wurden in Bayern am Sonntag verletzt.\nSie sind noch nie mehr.'] Label: [['Noch besser haben es die Menschen in der Stadt Augsburg.']] Sacrebleu: {'score': 2.908317710573757, 'counts': [2, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [12.5, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4545454545454546, 'translation_length': 16, 'reference_length': 11} Rouge: {'rouge1': 0.25, 'rouge2': 0.0, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.25} Sari: {'sari': 50.34722222222222} Flesh Reading Ease: 91.1 ---------------------------------------- Source: ['Dort gibt es mit dem Augsburger Friedensfest am 8. August, den einzigen gesetzlichen Feiertag in Deutschland, der nur in einer Stadt gilt.'] Prediction: ['Am 8.\nAugust findet in Deutschland ein Feiertag statt.\nDas feierten in einer Stadt.\nDas feiert am 8.\nAugust in Deutschland.'] Label: [['Sie haben mit dem Augsburger Friedensfest als einzige Stadt in Deutschland einen zusätzlichen Feiertag.']] Sacrebleu: {'score': 3.632928877985223, 'counts': [5, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [19.23076923076923, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.19230769230769232, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7333333333333334, 'translation_length': 26, 'reference_length': 15} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.058823529411764705, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 34.246045810373296} Flesh Reading Ease: 81.1 ---------------------------------------- Source: ['1918 wurde Max Planck für seine Erkenntnisse schließlich der Nobelpreis für Physik verliehen.'] Prediction: ['Der Nobelpreis für Physik wurde von Max Planck verliehen.\nEr wurde von der Erkenntnisse schließlich der Nobelpreis für Physik verliehen.'] Label: [['1918 wurde Max Planck dafür der Nobelpreis für Physik verliehen.']] Sacrebleu: {'score': 24.648321974767605, 'counts': [9, 6, 4, 3], 'totals': [22, 21, 20, 19], 'precisions': [40.90909090909091, 28.571428571428573, 20.0, 15.789473684210526], 'bp': 1.0, 'sys_len': 22, 'ref_len': 11} Bleu: {'bleu': 0.24648321974767612, 'precisions': [0.4090909090909091, 0.2857142857142857, 0.2, 0.15789473684210525], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 22, 'reference_length': 11} Rouge: {'rouge1': 0.5714285714285714, 'rouge2': 0.3636363636363636, 'rougeL': 0.5142857142857143, 'rougeLsum': 0.4} Sari: {'sari': 45.95712560386473} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Erst mit weiteren Deutungen von Albert Einstein und dem Atommodell von Niels Bohr gelang ihr zehn Jahre später der Durchbruch.'] Prediction: ['Ein zehn Jahre später der Durchbruch.\nErst mit weiteren Deutungen von Albert Einstein und dem Atommodell von Niels Bohr gelang ihr zehn Jahre später der Durchbruch.'] Label: [['Erst nach weiteren Forschungen von Albert Einstein und Niels Bohr gewann die Quantentheorie zehn Jahre später an Bedeutung.']] Sacrebleu: {'score': 14.479536157777419, 'counts': [12, 6, 3, 1], 'totals': [28, 27, 26, 25], 'precisions': [42.857142857142854, 22.22222222222222, 11.538461538461538, 4.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 19} Bleu: {'bleu': 0.1447953615777742, 'precisions': [0.42857142857142855, 0.2222222222222222, 0.11538461538461539, 0.04], 'brevity_penalty': 1.0, 'length_ratio': 1.4736842105263157, 'translation_length': 28, 'reference_length': 19} Rouge: {'rouge1': 0.5106382978723404, 'rouge2': 0.3111111111111111, 'rougeL': 0.5106382978723404, 'rougeLsum': 0.5106382978723404} Sari: {'sari': 46.41406351932667} Flesh Reading Ease: 73.4 ---------------------------------------- Source: ['Er hatte erkannt, dass elektromagnetische Strahlung nicht kontinuierlich ausgesendet wird, sondern in kleinen Energiepaketen, den sogenannten Quanten.'] Prediction: ['Ein Experte hatte sich in der Nacht auf Sonntag in Genf gefeiert, dass elektromagnetische Strahlung nicht kontinuierlich ausgesendet wird.\nDie Strahlung wird in kleinen Energiepaketen, den sogenannten Quanten.'] Label: [['Sie besteht aus kleinen Energiepaketen, den Quanten.\nMax Planck fand während seiner Forschung heraus, dass elektromagnetische Strahlung nicht konstant ist.']] Sacrebleu: {'score': 20.210771490685058, 'counts': [12, 8, 5, 3], 'totals': [32, 31, 30, 29], 'precisions': [37.5, 25.806451612903224, 16.666666666666668, 10.344827586206897], 'bp': 1.0, 'sys_len': 32, 'ref_len': 24} Bleu: {'bleu': 0.20210771490685076, 'precisions': [0.375, 0.25806451612903225, 0.16666666666666666, 0.10344827586206896], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 32, 'reference_length': 24} Rouge: {'rouge1': 0.32653061224489793, 'rouge2': 0.2127659574468085, 'rougeL': 0.16326530612244897, 'rougeLsum': 0.32653061224489793} Sari: {'sari': 52.46897710133004} Flesh Reading Ease: 49.0 ---------------------------------------- Source: ['Für ein Jahr studierte er an der Friedrich-Wilhelms-Universität in Berlin, wo er später promovierte. Im Jahr 1875 begann er sein Studium an der Münchner Ludwig-Maximilians-Universität.'] Prediction: ['Für ein Jahr studierte er an der Friedrich-Wilhelms-Universität in Berlin, wo er später promovierte.\nIm Jahr 1875 begann er sein Studium an der Münchner Ludwig-Maximilians-Universität.'] Label: [['Er studierte an der Ludwig-Maximilians-Universität in München und der Friedrich-Wilhelms-Universität in Berlin.']] Sacrebleu: {'score': 11.002068284361833, 'counts': [9, 4, 2, 1], 'totals': [28, 27, 26, 25], 'precisions': [32.142857142857146, 14.814814814814815, 7.6923076923076925, 4.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 13} Bleu: {'bleu': 0.11002068284361832, 'precisions': [0.32142857142857145, 0.14814814814814814, 0.07692307692307693, 0.04], 'brevity_penalty': 1.0, 'length_ratio': 2.1538461538461537, 'translation_length': 28, 'reference_length': 13} Rouge: {'rouge1': 0.6037735849056604, 'rouge2': 0.3921568627450981, 'rougeL': 0.339622641509434, 'rougeLsum': 0.45283018867924524} Sari: {'sari': 41.30890296144534} Flesh Reading Ease: 38.8 ---------------------------------------- Source: ['1867 zog die Familie nach München, wo Max das angesehene Maximiliansgymnasium besuchte.'] Prediction: ['Die Familie von Maximilians (1860-1867) wurde von München von der Familie gesucht.\nSie war eine Frau, die das angesehene Maximiliansgymnasium besuchte.\nDie Familie wurde von der Familie nach München besucht.'] Label: [['1867 zog die Familie Planck nach München, wo Max das Gymnasium besuchte.']] Sacrebleu: {'score': 3.357041136813362, 'counts': [9, 2, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [23.68421052631579, 5.405405405405405, 1.3888888888888888, 0.7142857142857143], 'bp': 1.0, 'sys_len': 38, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.23684210526315788, 0.05405405405405406, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7142857142857144, 'translation_length': 38, 'reference_length': 14} Rouge: {'rouge1': 0.34782608695652173, 'rouge2': 0.13636363636363635, 'rougeL': 0.26086956521739135, 'rougeLsum': 0.30434782608695654} Sari: {'sari': 16.359702093397747} Flesh Reading Ease: 47.15 ---------------------------------------- Source: ['Er spielte Cello und Klavier. Außerdem war er ein begeisterter Sänger.'] Prediction: ['Am Freitagabend gab es in der Schweiz einen grossen Interview mit 20 Minuten.\nIn der Folge war es zu Gast, dass es sich um den bekannten Sänger handelt.\nIn der Folge war es zu Gast, war aber nicht mehr.'] Label: [['Er sang gern, spielte Cello und Klavier.']] Sacrebleu: {'score': 0.9896324688555468, 'counts': [2, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [4.545454545454546, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.045454545454545456, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.888888888888889, 'translation_length': 44, 'reference_length': 9} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 23.892263148728667} Flesh Reading Ease: 90.95 ---------------------------------------- Source: ['Deshalb dachte er darüber nach, Musik zu studieren, entschied sich aber für das Fach Physik.'] Prediction: ['Der Schweizer Musiker Deshalb hatte sich für eine Studie gegeben.\nEr wurde darüber nachgefunden, Musik zu studieren.'] Label: [['Zuerst dachte er darüber nach, Musik zu studieren, entschied sich aber für das Fach Physik.']] Sacrebleu: {'score': 14.253911354181854, 'counts': [8, 3, 2, 1], 'totals': [20, 19, 18, 17], 'precisions': [40.0, 15.789473684210526, 11.11111111111111, 5.882352941176471], 'bp': 1.0, 'sys_len': 20, 'ref_len': 18} Bleu: {'bleu': 0.14253911354181859, 'precisions': [0.4, 0.15789473684210525, 0.1111111111111111, 0.058823529411764705], 'brevity_penalty': 1.0, 'length_ratio': 1.1111111111111112, 'translation_length': 20, 'reference_length': 18} Rouge: {'rouge1': 0.5, 'rouge2': 0.23529411764705882, 'rougeL': 0.33333333333333337, 'rougeLsum': 0.5} Sari: {'sari': 13.044744213474862} Flesh Reading Ease: 54.5 ---------------------------------------- Source: ['Max Planck war zunächst Professor in seiner Geburtsstadt Kiel und wechselte dann nach Berlin.'] Prediction: ['Der französische Präsident Max Planck hatte sich mit einer schweren Wissenschaft in Kiel zu schaffen.\nEr war zunächst Professor in seiner Geburtsstadt Kiel.'] Label: [['Später war er als Professor in Kiel und Berlin tätig.']] Sacrebleu: {'score': 4.504556737153659, 'counts': [5, 2, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [20.0, 8.333333333333334, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.272727272727273, 'translation_length': 25, 'reference_length': 11} Rouge: {'rouge1': 0.2631578947368421, 'rouge2': 0.1111111111111111, 'rougeL': 0.21052631578947367, 'rougeLsum': 0.21052631578947367} Sari: {'sari': 37.27166977902272} Flesh Reading Ease: 63.2 ---------------------------------------- Source: ['Am 14. Dezember 1900 stellte er auf der Sitzung der Deutschen Physikalischen Gesellschaft seine Quantentheorie vor.'] Prediction: ['Der Deutschen Physikalist hatte am 14.\nDezember 1900 seine Quantentheorie geschickt.\nAm 14.\nDezember 1900 stellte er auf der Sitzung der Deutschen Physikalischen Gesellschaft seine Quantentheorie vor.'] Label: [['Am 14.\nDezember 1900 stellte er seine Theorie vor.']] Sacrebleu: {'score': 20.75019892362927, 'counts': [10, 7, 5, 4], 'totals': [31, 30, 29, 28], 'precisions': [32.25806451612903, 23.333333333333332, 17.24137931034483, 14.285714285714286], 'bp': 1.0, 'sys_len': 31, 'ref_len': 11} Bleu: {'bleu': 0.20750198923629268, 'precisions': [0.3225806451612903, 0.23333333333333334, 0.1724137931034483, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 2.8181818181818183, 'translation_length': 31, 'reference_length': 11} Rouge: {'rouge1': 0.4444444444444444, 'rouge2': 0.29411764705882354, 'rougeL': 0.4444444444444444, 'rougeLsum': 0.4444444444444444} Sari: {'sari': 51.67147034252297} Flesh Reading Ease: 48.15 ---------------------------------------- Source: ['Dieser Tag gilt als Geburtsstunde der Quantenphysik und der Beginn der modernen Physik.'] Prediction: ['Der 1.\nJuni ist der erste Jahre lang in der Schweiz.\nDas Jahr 2020 ist der erste Mal in der Schweiz.\nDas Jahr 2020 ist der erste Mal in der Schweiz.'] Label: [['Dieser Tag gilt als Geburtsstunde der Quantenphysik.']] Sacrebleu: {'score': 1.2557690800697192, 'counts': [2, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [5.714285714285714, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.05714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.375, 'translation_length': 35, 'reference_length': 8} Rouge: {'rouge1': 0.052631578947368425, 'rouge2': 0.0, 'rougeL': 0.052631578947368425, 'rougeLsum': 0.052631578947368425} Sari: {'sari': 21.014957264957264} Flesh Reading Ease: 99.5 ---------------------------------------- Source: ['Nach ihrer Vorstellung wurde die Quantentheorie heftig diskutiert.'] Prediction: ['Die US-Präsidentinininininininin von Quantitative-Virus hatte am Sonntag ihre Vorstellung heftig diskutiert.\nSie wurde heftig diskutiert.'] Label: [['Die Quantentheorie wurde viel diskutiert.']] Sacrebleu: {'score': 5.439330544349821, 'counts': [4, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [23.529411764705884, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 1.0, 'sys_len': 17, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.23529411764705882, 0.0625, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8333333333333335, 'translation_length': 17, 'reference_length': 6} Rouge: {'rouge1': 0.2608695652173913, 'rouge2': 0.0, 'rougeL': 0.2608695652173913, 'rougeLsum': 0.2608695652173913} Sari: {'sari': 47.72727272727273} Flesh Reading Ease: 2.85 ---------------------------------------- Source: ['Ein Jahr nach seinem Tod wurde die Kaiser-Wilhelm-Gesellschaft zur Förderung der Wissenschaften, deren Präsident er von 1930 bis 1937 war, ihm zu Ehren in Max-Planck-Gesellschaft umbenannt.'] Prediction: ['Der Präsident von 1930 bis 1937 war zu Ehren in Max-Planck-Gesellschaft umbenannt.\nEr wurde nach seinem Tod zur Förderung der Wissenschaften geschickt.\nDer Präsident wurde zu Ehren in Max-Planck-Gesellschaft umbenannt.'] Label: [['Ein Jahr nach seinem Tod wurde die Kaiser-Wilhelm-Gesellschaft zur Förderung der Wissenschaften ihm zu Ehren in Max-Planck-Gesellschaft umbenannt.']] Sacrebleu: {'score': 25.135342075509193, 'counts': [14, 10, 7, 4], 'totals': [33, 32, 31, 30], 'precisions': [42.42424242424242, 31.25, 22.580645161290324, 13.333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 19} Bleu: {'bleu': 0.2513534207550919, 'precisions': [0.42424242424242425, 0.3125, 0.22580645161290322, 0.13333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.736842105263158, 'translation_length': 33, 'reference_length': 19} Rouge: {'rouge1': 0.5666666666666667, 'rouge2': 0.41379310344827586, 'rougeL': 0.5, 'rougeLsum': 0.5333333333333333} Sari: {'sari': 34.9278331026808} Flesh Reading Ease: 53.0 ---------------------------------------- Source: ['Die Max-Planck-Gesellschaft hat sich zur bedeutendsten Forschungseinrichtung außerhalb einer Universität entwickelt.'] Prediction: ['Die Max-Planck-Gesellschaft hat sich zur bedeutendsten Forschungseinrichtung außerhalb einer Universität entwickelt.\nDie Max-Planck-Gesellschaft hat sich zur bedeutendsten Forschungseinrichtung außerhalb einer Universität entwickelt.'] Label: [['Sie ist die bedeutendste deutsche Forschungseinrichtung außerhalb einer Universität.']] Sacrebleu: {'score': 10.414419091986518, 'counts': [5, 3, 2, 1], 'totals': [24, 23, 22, 21], 'precisions': [20.833333333333332, 13.043478260869565, 9.090909090909092, 4.761904761904762], 'bp': 1.0, 'sys_len': 24, 'ref_len': 10} Bleu: {'bleu': 0.10414419091986513, 'precisions': [0.20833333333333334, 0.13043478260869565, 0.09090909090909091, 0.047619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 2.4, 'translation_length': 24, 'reference_length': 10} Rouge: {'rouge1': 0.34146341463414637, 'rouge2': 0.25641025641025644, 'rougeL': 0.34146341463414637, 'rougeLsum': 0.34146341463414637} Sari: {'sari': 46.9047619047619} Flesh Reading Ease: 5.2 ---------------------------------------- Source: ['Sie verläuft etwa 85 Kilometer von Schweigen-Rechtenbach im Süden an der Grenze zum französischen Elsass bis nach Bockenheim im Norden des Bundeslandes Rheinland-Pfalz.'] Prediction: ['Schweigen-Rechtenbach ist in der Grenze zum französischen Elsass.\nDie Grenze hat die Schweiz auf den französischen Elsass gezogen.'] Label: [['Sie verläuft etwa 85 Kilometer von Schweigen-Rechtenbach im Süden bis nach Bockenheim im Norden des Bundeslandes Rheinland-Pfalz.']] Sacrebleu: {'score': 2.276859592073037, 'counts': [2, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [10.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1111111111111112, 'translation_length': 20, 'reference_length': 18} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.05000000000000001, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 8.43311403508772} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Neben den zahlreichen Weinbergen ist die Region auch bekannt für die Mandelbäume, die links und rechts der Straßen stehen.'] Prediction: ['Die Weinbergen stehen in der Schweiz.\nDie Mandelbäume sind die links und rechts der Straßen.\nDie Mandelbäume sind bekannt für die Mandelbäume.'] Label: [['Neben den Weinbergen ist die Region auch bekannt für Mandelbäume.']] Sacrebleu: {'score': 4.7146273684904685, 'counts': [6, 2, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [24.0, 8.333333333333334, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.24, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.272727272727273, 'translation_length': 25, 'reference_length': 11} Rouge: {'rouge1': 0.358974358974359, 'rouge2': 0.16216216216216214, 'rougeL': 0.358974358974359, 'rougeLsum': 0.358974358974359} Sari: {'sari': 23.932060003488576} Flesh Reading Ease: 79.1 ---------------------------------------- Source: ['Außerdem wachsen bedingt durch das warme Klima auch Feigen, Kiwis und andere für Deutschland nicht übliche Obstsorten.'] Prediction: ['Die Schweiz hat sich mit einem klimaischen Klima zu vermeiden.\nAuch Feigen, Kiwis und andere wollen nicht übliche Obstsorten.'] Label: [['Außerdem wachsen in der Region Südfrüchte wie Feigen oder Kiwis.']] Sacrebleu: {'score': 2.2731543567022867, 'counts': [3, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [13.636363636363637, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.13636363636363635, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 22, 'reference_length': 11} Rouge: {'rouge1': 0.125, 'rouge2': 0.0, 'rougeL': 0.125, 'rougeLsum': 0.125} Sari: {'sari': 33.541666666666664} Flesh Reading Ease: 65.2 ---------------------------------------- Source: ['Zwischen März und Oktober feiern Einheimische und Touristen die für die Region typischen Weinfeste.'] Prediction: ['In der Schweiz sind März und Oktober die besten Tage lang zu mehrfach mehrfach Einheimische und Touristen.\nEinheimische und Touristen feierten die für die Region typischen Weinfeste.'] Label: [['Zwischen März und Oktober feiern Einheimische und Touristen die typischen Weinfeste.']] Sacrebleu: {'score': 11.209528410149087, 'counts': [10, 6, 3, 0], 'totals': [29, 28, 27, 26], 'precisions': [34.48275862068966, 21.428571428571427, 11.11111111111111, 1.9230769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.3448275862068966, 0.21428571428571427, 0.1111111111111111, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4166666666666665, 'translation_length': 29, 'reference_length': 12} Rouge: {'rouge1': 0.4878048780487806, 'rouge2': 0.30769230769230765, 'rougeL': 0.4878048780487806, 'rougeLsum': 0.4878048780487806} Sari: {'sari': 18.487945492662472} Flesh Reading Ease: 55.35 ---------------------------------------- Source: ['Er ist das größte zusammenhängende Waldgebiet Deutschlands und bietet schöne Wandermöglichkeiten mit zahlreichen Hütten, um Rast zu machen und lokale Köstlichkeiten zu genießen.'] Prediction: ['In Deutschland ist ein Waldgebiet verstorben.\nEs ist das größte zusammenhängende Waldgebiet.\nEs ist das größte zusammenhängende Waldgebiet Deutschlands.'] Label: [['Er ist das größte Waldgebiet Deutschlands und bietet schöne Wanderwege.']] Sacrebleu: {'score': 8.461633959345022, 'counts': [6, 3, 1, 0], 'totals': [22, 21, 20, 19], 'precisions': [27.272727272727273, 14.285714285714286, 5.0, 2.6315789473684212], 'bp': 1.0, 'sys_len': 22, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.2727272727272727, 0.14285714285714285, 0.05, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 22, 'reference_length': 11} Rouge: {'rouge1': 0.3428571428571428, 'rouge2': 0.24242424242424246, 'rougeL': 0.3428571428571428, 'rougeLsum': 0.3428571428571428} Sari: {'sari': 38.58672672285288} Flesh Reading Ease: 39.15 ---------------------------------------- Source: ['Im Pfälzerwald liegen viele Burgen und Schlösser, darunter das Hambacher Schloss, ein Nationaldenkmal.'] Prediction: ['Im Pfälzerwald in Burgen hat es einen Nationaldenkmal geben.\nBurgen und Schlösser haben einen Nationaldenkmal gebeten.'] Label: [['Im Pfälzerwald liegen viele Burgen und Schlösser.']] Sacrebleu: {'score': 10.521495173810226, 'counts': [6, 3, 1, 0], 'totals': [18, 17, 16, 15], 'precisions': [33.333333333333336, 17.647058823529413, 6.25, 3.3333333333333335], 'bp': 1.0, 'sys_len': 18, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.17647058823529413, 0.0625, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 18, 'reference_length': 8} Rouge: {'rouge1': 0.5185185185185185, 'rouge2': 0.4, 'rougeL': 0.5185185185185185, 'rougeLsum': 0.5185185185185185} Sari: {'sari': 39.03846153846154} Flesh Reading Ease: 43.3 ---------------------------------------- Source: ['Kein Wunder, denn Sport im Freien hat einige Vorteile, die es in Sporthallen und Fitnessstudios nicht gibt.'] Prediction: ['Die Fitness-Vorschau ist ein grosser Wunder.\nIn Sporthallen und Fitnessstudios werden die Vorteile nicht veröffentlicht.'] Label: [['Sport im Freien hat einige Vorteile, die es in Sporthallen und Fitnessstudios nicht gibt.']] Sacrebleu: {'score': 10.521495173810226, 'counts': [7, 2, 1, 0], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 12.5, 6.666666666666667, 3.5714285714285716], 'bp': 1.0, 'sys_len': 17, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.4117647058823529, 0.125, 0.06666666666666667, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0625, 'translation_length': 17, 'reference_length': 16} Rouge: {'rouge1': 0.45161290322580644, 'rouge2': 0.20689655172413793, 'rougeL': 0.3870967741935484, 'rougeLsum': 0.3870967741935484} Sari: {'sari': 19.718253968253965} Flesh Reading Ease: 49.65 ---------------------------------------- Source: ['Die Probanden berichteten im Vergleich zu Sport in geschlossenen Räumen von mehr Erholung, mehr Energie, mehr Spaß, mehr Befriedigung und einer positiveren Einstellung zum Training.'] Prediction: ['Die Probanden berichteten in geschlossenen Räumen von mehr Erholung, mehr Energie, mehr Spaß, mehr Befriedigung und einer positiveren Einstellung zum Training.\nDie Probanden berichten von mehr Erholung, mehr Energie, mehr Spaß, mehr Befriedigung und einer positiveren Einstellung zum Training.'] Label: [['Die Teilnehmer hatten mehr Spaß am Sport.\nDanach hatten sie mehr Energie und fühlten sich erholter als beim Sport in einer Halle.']] Sacrebleu: {'score': 2.764424811291322, 'counts': [10, 2, 0, 0], 'totals': [47, 46, 45, 44], 'precisions': [21.27659574468085, 4.3478260869565215, 1.1111111111111112, 0.5681818181818182], 'bp': 1.0, 'sys_len': 47, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.2127659574468085, 0.043478260869565216, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9583333333333333, 'translation_length': 47, 'reference_length': 24} Rouge: {'rouge1': 0.253968253968254, 'rouge2': 0.06557377049180327, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 35.38398692810458} Flesh Reading Ease: 37.65 ---------------------------------------- Source: ['Sportgruppen werden seit einigen Jahren immer beliebter.'] Prediction: ['Die Schweizer Nationalmannschaft hat einen grossen Spiel.\nIm Training wird der 26-Jährige im Training gefeiert.'] Label: [['Deshalb werden Sportgruppen seit einigen Jahren immer beliebter.']] Sacrebleu: {'score': 2.0244462660665508, 'counts': [1, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [5.2631578947368425, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.05263157894736842, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.111111111111111, 'translation_length': 19, 'reference_length': 9} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 10.343915343915345} Flesh Reading Ease: 61.35 ---------------------------------------- Source: ['In fast allen großen deutschen Städten sieht man regelmäßig Fitnessgruppen in Parks, die unter Anleitung eines Trainers, oft mit Musik aus Lautsprechern, ihre Übungen absolvieren, zum Beispiel beim Zirkeltraining mit kleinen Geräten oder beim Yoga.'] Prediction: ['In deutschen Parks sieht man regelmäßig Fitnessgruppen.\nDiese sind oft mit Musik aus Lautsprechern, ihre Übungen absolvieren.'] Label: [['In fast allen großen deutschen Städten sieht man regelmäßig Fitnessgruppen in Parks, die angeleitet von einem Trainer ihre Übungen machen, zum Beispiel beim Zirkeltraining mit kleinen Geräten oder beim Yoga.']] Sacrebleu: {'score': 8.84912111622141, 'counts': [12, 4, 2, 1], 'totals': [20, 19, 18, 17], 'precisions': [60.0, 21.05263157894737, 11.11111111111111, 5.882352941176471], 'bp': 0.522045776761016, 'sys_len': 20, 'ref_len': 33} Bleu: {'bleu': 0.08849121116221412, 'precisions': [0.6, 0.21052631578947367, 0.1111111111111111, 0.058823529411764705], 'brevity_penalty': 0.522045776761016, 'length_ratio': 0.6060606060606061, 'translation_length': 20, 'reference_length': 33} Rouge: {'rouge1': 0.42307692307692313, 'rouge2': 0.19999999999999998, 'rougeL': 0.3461538461538462, 'rougeLsum': 0.3461538461538462} Sari: {'sari': 17.51950040511405} Flesh Reading Ease: 60.35 ---------------------------------------- Source: ['Man kann sich gegenseitig anspornen und unterstützen.'] Prediction: ['Die Polizei hat sich in den USA gegenseitig anspornen.\nDie Polizei hat sich mit einem Spital gebracht.'] Label: [['Die Teilnehmer motivieren und unterstützen sich gegenseitig.']] Sacrebleu: {'score': 2.8629993657668873, 'counts': [4, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [21.05263157894737, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.375, 'translation_length': 19, 'reference_length': 8} Rouge: {'rouge1': 0.24, 'rouge2': 0.0, 'rougeL': 0.24, 'rougeLsum': 0.24} Sari: {'sari': 49.89316239316239} Flesh Reading Ease: 72.05 ---------------------------------------- Source: ['Freunde und Bekannte treffen sich auch häufig in lockeren Gruppen für Aktivitäten im Freien wie Mountainbiken, Slacklinen – das Balancieren auf einem Spanngurt, der zwischen zwei Bäumen gespannt ist – oder in Hochseilgärten.'] Prediction: ['Freunde und Bekannte treffen sich häufig in lockeren Gruppen für Aktivitäten im Freien wie Mountainbiken, Slacklinen oder Hochseilgärten.\nSie treffen sich häufig in lockeren Gruppen für Aktivitäten im Freien wie Mountainbiken, Slacklinen oder das Balancieren auf einem Spanngurt, der zwischen zwei Bäumen gespannt ist.'] Label: [['Freunde und Bekannte treffen sich auch häufig in kleinen Gruppen für Aktivitäten im Freien wie Mountainbiken, Slacklinen – das Balancieren auf einem breiten Band, das zwischen zwei Bäumen gespannt ist – oder in Hochseilgärten.']] Sacrebleu: {'score': 37.81228056389064, 'counts': [30, 21, 15, 11], 'totals': [49, 48, 47, 46], 'precisions': [61.224489795918366, 43.75, 31.914893617021278, 23.91304347826087], 'bp': 1.0, 'sys_len': 49, 'ref_len': 37} Bleu: {'bleu': 0.37812280563890643, 'precisions': [0.6122448979591837, 0.4375, 0.3191489361702128, 0.2391304347826087], 'brevity_penalty': 1.0, 'length_ratio': 1.3243243243243243, 'translation_length': 49, 'reference_length': 37} Rouge: {'rouge1': 0.7191011235955056, 'rouge2': 0.5517241379310345, 'rougeL': 0.6292134831460674, 'rougeLsum': 0.6966292134831461} Sari: {'sari': 23.807872909774343} Flesh Reading Ease: 41.0 ---------------------------------------- Source: ['Gemeinsam macht Sport einfach mehr Spaß.'] Prediction: ['Am Sonntagmorgen fand in der Nähe von Sonntag statt.\nEin Schweizer wurde dabei verletzt.\nDer Schweizer macht einen Spaß.'] Label: [['In einer Gruppe macht der Sport meistens noch mehr Spaß.']] Sacrebleu: {'score': 4.108053662461269, 'counts': [4, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 22, 'reference_length': 11} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.0, 'rougeL': 0.2, 'rougeLsum': 0.26666666666666666} Sari: {'sari': 47.55952380952381} Flesh Reading Ease: 85.95 ---------------------------------------- Source: ['Bei 22,1 Millionen Personen war die Wirbelsäule betroffen. Laut einer im Jahr 2016 veröffentlichten Statistik der Kassenärztlichen Bundesvereinigung gingen im Jahr 2015 fast die Hälfte der Deutschen wegen einer Erkrankung von Muskeln, Skelett oder Bindegewebe zum Arzt.'] Prediction: ['Deutschland hat im Jahr 2016 22,1 Millionen Menschen während der Wirbelsäule betroffen.\nDie Hälfte der Deutschen gingen wegen einer Erkrankung von Muskeln, Skelett oder Bindegewebe zum Arzt.'] Label: [['Laut einer im Jahr 2016 veröffentlichten Statistik der Kassenärztlichen Bundesvereinigung gingen im Jahr davor 22,1 Millionen Deutsche wegen einer Erkrankung der Wirbelsäule zum Arzt.']] Sacrebleu: {'score': 12.861981016228478, 'counts': [15, 8, 3, 0], 'totals': [30, 29, 28, 27], 'precisions': [50.0, 27.586206896551722, 10.714285714285714, 1.8518518518518519], 'bp': 1.0, 'sys_len': 30, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.5, 0.27586206896551724, 0.10714285714285714, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 30, 'reference_length': 25} Rouge: {'rouge1': 0.5423728813559322, 'rouge2': 0.3157894736842105, 'rougeL': 0.3728813559322034, 'rougeLsum': 0.5423728813559322} Sari: {'sari': 28.95266172588847} Flesh Reading Ease: 55.35 ---------------------------------------- Source: ['Diese Volkskrankheiten haben oft starke wirtschaftliche Auswirkungen für die gesamte Bevölkerung eines Landes.'] Prediction: ['Die Schweizer Bevölkerung hat ihre Bevölkerung oft wirtschaftliche Auswirkungen für die gesamte Bevölkerung eines Landes.\nDie Volkskrankheiten haben oft starke wirtschaftliche Auswirkungen für die gesamte Bevölkerung eines Landes.'] Label: [['Sie haben oft starke wirtschaftliche Auswirkungen für die gesamte Bevölkerung eines Landes.']] Sacrebleu: {'score': 36.66011712333864, 'counts': [12, 11, 10, 9], 'totals': [30, 29, 28, 27], 'precisions': [40.0, 37.93103448275862, 35.714285714285715, 33.333333333333336], 'bp': 1.0, 'sys_len': 30, 'ref_len': 13} Bleu: {'bleu': 0.3666011712333863, 'precisions': [0.4, 0.3793103448275862, 0.35714285714285715, 0.3333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 2.3076923076923075, 'translation_length': 30, 'reference_length': 13} Rouge: {'rouge1': 0.5416666666666667, 'rouge2': 0.5217391304347827, 'rougeL': 0.5416666666666667, 'rougeLsum': 0.5416666666666667} Sari: {'sari': 65.13559260470015} Flesh Reading Ease: 25.6 ---------------------------------------- Source: ['Während es bei den sogenannten seltenen Erkrankungen weltweit oft nur einige Tausend Fälle gibt, sind andere Krankheiten sehr stark verbreitet.'] Prediction: ['Die Corona-Pandemie hat sich in den USA oft nur einige Tausend Fälle verbreitet.\nDie Krankheiten sind stark verbreitet.'] Label: [['Krankheiten, die sehr weit verbreitet sind, werden auch Volkskrankheiten genannt.']] Sacrebleu: {'score': 2.7076576267554477, 'counts': [4, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [20.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5384615384615385, 'translation_length': 20, 'reference_length': 13} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.0, 'rougeL': 0.2, 'rougeLsum': 0.2} Sari: {'sari': 37.128639334521694} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Sie führen in der Summe zu hohen Behandlungskosten und zu vielen Fehltagen, wenn die Patienten nicht arbeitsfähig sind.'] Prediction: ['Die Schweizer Behandlungs-Patienten sind nicht arbeitsfähig.\nSie führen zu hohen Behandlungskosten und zu vielen Fehltagen.'] Label: [['Sie führen zu hohen Behandlungskosten und zu vielen Fehltagen, wenn die Patienten nicht arbeiten können.']] Sacrebleu: {'score': 50.43545474510804, 'counts': [11, 8, 7, 6], 'totals': [17, 16, 15, 14], 'precisions': [64.70588235294117, 50.0, 46.666666666666664, 42.857142857142854], 'bp': 1.0, 'sys_len': 17, 'ref_len': 17} Bleu: {'bleu': 0.5043545474510804, 'precisions': [0.6470588235294118, 0.5, 0.4666666666666667, 0.42857142857142855], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 17, 'reference_length': 17} Rouge: {'rouge1': 0.7428571428571428, 'rouge2': 0.5454545454545455, 'rougeL': 0.5714285714285715, 'rougeLsum': 0.7428571428571428} Sari: {'sari': 48.17254137347595} Flesh Reading Ease: 37.95 ---------------------------------------- Source: ['Einige Volkskrankheiten wie zum Beispiel Herz-Kreislauf-Erkrankungen durch hohen Blutdruck oder Diabetes Typ 2 hängen mit der typischen Lebensweise in den Industrienationen zusammen und werden auch als Zivilisationskrankheiten bezeichnet.'] Prediction: ['Einige Volkskrankheiten wie Herz-Kreislauf-Erkrankungen durch hohen Blutdruck oder Diabetes Typ 2 hängen mit der typischen Lebensweise in den Industrienationen zusammen.\nEinige Zivilisationskrankheiten werden als Zivilisationskrankheiten bezeichnet.'] Label: [['Einige Volkskrankheiten wie zum Beispiel Herz-Kreislauf-Erkrankungen durch hohen Blutdruck oder Diabetes Typ 2 kommen besonders häufig in Industrieländern vor.']] Sacrebleu: {'score': 30.213753973567677, 'counts': [13, 9, 7, 5], 'totals': [28, 27, 26, 25], 'precisions': [46.42857142857143, 33.333333333333336, 26.923076923076923, 20.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 20} Bleu: {'bleu': 0.3021375397356768, 'precisions': [0.4642857142857143, 0.3333333333333333, 0.2692307692307692, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 28, 'reference_length': 20} Rouge: {'rouge1': 0.576923076923077, 'rouge2': 0.44, 'rougeL': 0.576923076923077, 'rougeLsum': 0.576923076923077} Sari: {'sari': 35.42209865485727} Flesh Reading Ease: -8.51 ---------------------------------------- Source: ['Die Menschen ernähren sich schlecht, essen zu viel oder zu fettreich und bewegen sich zu wenig.'] Prediction: ['Die Menschen sind sich schlecht.\nSie werden sich schlecht, essen zu viel oder zu fettreich.'] Label: [['Die Menschen ernähren sich ungesund und bewegen sich zu wenig.']] Sacrebleu: {'score': 5.653041175801492, 'counts': [6, 1, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [33.333333333333336, 5.882352941176471, 3.125, 1.6666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.058823529411764705, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6363636363636365, 'translation_length': 18, 'reference_length': 11} Rouge: {'rouge1': 0.3846153846153846, 'rouge2': 0.08333333333333333, 'rougeL': 0.3846153846153846, 'rougeLsum': 0.30769230769230765} Sari: {'sari': 13.483520284990872} Flesh Reading Ease: 96.45 ---------------------------------------- Source: ['Dieselbe Studie verzeichnet einen Anstieg von fast 20 Prozent seit dem Jahr 2010 bei psychischen Verhaltensstörungen.'] Prediction: ['Eine Studie von fast 20 Prozent verzeichnet einen Anstieg von fast 20 Prozent seit dem Jahr 2010 bei psychischen Verhaltensstörungen.\nDie Studie verzeichnet einen Anstieg von fast 20 Prozent seit dem Jahr 2010 bei psychischen Verhaltensstörungen.'] Label: [['Dieselbe Studie zeigt einen Anstieg von fast 20 Prozent seit dem Jahr 2010 bei psychischen Erkrankungen.']] Sacrebleu: {'score': 29.74074484950164, 'counts': [14, 11, 10, 9], 'totals': [38, 37, 36, 35], 'precisions': [36.8421052631579, 29.72972972972973, 27.77777777777778, 25.714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 17} Bleu: {'bleu': 0.29740744849501655, 'precisions': [0.3684210526315789, 0.2972972972972973, 0.2777777777777778, 0.2571428571428571], 'brevity_penalty': 1.0, 'length_ratio': 2.235294117647059, 'translation_length': 38, 'reference_length': 17} Rouge: {'rouge1': 0.4814814814814815, 'rouge2': 0.42307692307692313, 'rougeL': 0.4814814814814815, 'rougeLsum': 0.4814814814814815} Sari: {'sari': 44.74629810651316} Flesh Reading Ease: 62.55 ---------------------------------------- Source: ['Zu den häufigsten psychischen Erkrankungen gehören Depressionen, Burnout und Angstzustände.'] Prediction: ['Burnout ist eine der häufigsten psychischen Erkrankungen.\nEs gehören Depressionen, Burnout und Angstzustände.'] Label: [['Am häufigsten kommen Depressionen, Burnout und Angstzustände vor.']] Sacrebleu: {'score': 24.903286388467727, 'counts': [7, 4, 3, 2], 'totals': [16, 15, 14, 13], 'precisions': [43.75, 26.666666666666668, 21.428571428571427, 15.384615384615385], 'bp': 1.0, 'sys_len': 16, 'ref_len': 10} Bleu: {'bleu': 0.2490328638846773, 'precisions': [0.4375, 0.26666666666666666, 0.21428571428571427, 0.15384615384615385], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 16, 'reference_length': 10} Rouge: {'rouge1': 0.5384615384615384, 'rouge2': 0.4166666666666667, 'rougeL': 0.5384615384615384, 'rougeLsum': 0.5384615384615384} Sari: {'sari': 56.86274509803921} Flesh Reading Ease: 27.25 ---------------------------------------- Source: ['84 Prozent nehmen täglich eine oder mehrere Tassen zu sich. Kaffee und Tee werden ebenfalls gern getrunken:'] Prediction: ['84 Prozent nehmen täglich eine oder mehrere Tassen zu sich.\nKaffee und Tee werden ebenfalls gern getrunken.'] Label: [['Kaffee und Tee werden ebenfalls viel getrunken.']] Sacrebleu: {'score': 21.797469124036954, 'counts': [7, 5, 3, 2], 'totals': [19, 18, 17, 16], 'precisions': [36.8421052631579, 27.77777777777778, 17.647058823529413, 12.5], 'bp': 1.0, 'sys_len': 19, 'ref_len': 8} Bleu: {'bleu': 0.21797469124036953, 'precisions': [0.3684210526315789, 0.2777777777777778, 0.17647058823529413, 0.125], 'brevity_penalty': 1.0, 'length_ratio': 2.375, 'translation_length': 19, 'reference_length': 8} Rouge: {'rouge1': 0.48, 'rouge2': 0.3478260869565218, 'rougeL': 0.48, 'rougeLsum': 0.48} Sari: {'sari': 49.93363310236376} Flesh Reading Ease: 72.05 ---------------------------------------- Source: ['Das deutsche Bundesministerium für Ernährung und Landwirtschaft (BMEL) hat im Oktober 2017 eine Umfrage zum Thema „Ernährung“ in Auftrag gegeben: den Ernährungsreport 2018. Rund 1000 Deutsche ab 14 Jahren gaben einem Meinungsforschungsinstitut Antworten zu ihren Essgewohnheiten.'] Prediction: ['Der deutsche Bundesministerium für Ernährung und Landwirtschaft hat eine Umfrage zum Thema "Ernährung" in Auftrag gegeben.\n1000 Deutsche ab 14 Jahren gaben einem Meinungsforschungsinstitut Antworten zu ihren Essgewohnheiten.'] Label: [['Das deutsche Bundesministerium für Ernährung und Landwirtschaft (BMEL) hat eine Umfrage zum Thema „Ernährung“ in Auftrag gegeben: den Ernährungsreport 2018.\nRund 1000 Deutsche ab 14 Jahren gaben Antworten zu ihren Essgewohnheiten.']] Sacrebleu: {'score': 48.38704597103439, 'counts': [26, 20, 15, 10], 'totals': [32, 31, 30, 29], 'precisions': [81.25, 64.51612903225806, 50.0, 34.48275862068966], 'bp': 0.8824969025845955, 'sys_len': 32, 'ref_len': 36} Bleu: {'bleu': 0.4838704597103439, 'precisions': [0.8125, 0.6451612903225806, 0.5, 0.3448275862068966], 'brevity_penalty': 0.8824969025845955, 'length_ratio': 0.8888888888888888, 'translation_length': 32, 'reference_length': 36} Rouge: {'rouge1': 0.8484848484848486, 'rouge2': 0.7500000000000001, 'rougeL': 0.8484848484848486, 'rougeLsum': 0.8484848484848486} Sari: {'sari': 32.22332827515754} Flesh Reading Ease: 31.45 ---------------------------------------- Source: ['Auch wenn die Gewohnheiten sehr verschieden sind, am wichtigsten ist den Befragten, dass das Essen schmeckt.'] Prediction: ['Ein Essen schmeckt auch schmeckt.\nDas Essen schmeckt auch wenn die Gewohnheiten sehr verschieden sind.\nWenn die Gewohnheiten sehr verschieden sind, ist der Essen schmeckt.'] Label: [['Am wichtigsten ist den Befragten, dass das Essen schmeckt.']] Sacrebleu: {'score': 5.442133807846854, 'counts': [5, 2, 1, 0], 'totals': [29, 28, 27, 26], 'precisions': [17.24137931034483, 7.142857142857143, 3.7037037037037037, 1.9230769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.07142857142857142, 0.037037037037037035, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6363636363636362, 'translation_length': 29, 'reference_length': 11} Rouge: {'rouge1': 0.23529411764705882, 'rouge2': 0.125, 'rougeL': 0.1764705882352941, 'rougeLsum': 0.23529411764705882} Sari: {'sari': 13.793696771637945} Flesh Reading Ease: 83.95 ---------------------------------------- Source: ['Junge Menschen ernähren sich dabei nicht ganz so gesundheitsbewusst wie Ältere.'] Prediction: ['Die Polizei hat in den USA mehrere Tausend Menschen verhaftet.\nDie Polizei hatte sie nicht ganz so gesundheitsbewusst.'] Label: [['Junge Menschen ernähren sich dabei nicht ganz so gesund wie ältere.']] Sacrebleu: {'score': 8.097785064266205, 'counts': [5, 2, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 10.526315789473685, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.10526315789473684, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 20, 'reference_length': 12} Rouge: {'rouge1': 0.26666666666666666, 'rouge2': 0.14285714285714285, 'rougeL': 0.26666666666666666, 'rougeLsum': 0.26666666666666666} Sari: {'sari': 15.781590413943356} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Laut Angaben der Befragten scheint die Ernährung gesund zu sein:'] Prediction: ['Die Befragten der Befragten haben sich gegen die Ernährung gesund zu sein.\nDie Befragten scheint die Ernährung gesund zu sein.'] Label: [['Laut Angaben der Befragten ernähren sie sich gesund:']] Sacrebleu: {'score': 4.108053662461269, 'counts': [4, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4444444444444446, 'translation_length': 22, 'reference_length': 9} Rouge: {'rouge1': 0.3225806451612903, 'rouge2': 0.06896551724137931, 'rougeL': 0.2580645161290322, 'rougeLsum': 0.2580645161290322} Sari: {'sari': 20.813492063492063} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Allerdings essen auch 43 Prozent der Menschen in Deutschland regelmäßig außer Haus.'] Prediction: ['In Deutschland sind 43 Prozent der Menschen regelmäßig außer Haus.\nDie Schweiz hatte sich mit einem starken Rekord aufgeboten.'] Label: [['43 Prozent der Menschen in Deutschland essen regelmäßig außer Haus.']] Sacrebleu: {'score': 23.41812326184748, 'counts': [9, 6, 4, 2], 'totals': [21, 20, 19, 18], 'precisions': [42.857142857142854, 30.0, 21.05263157894737, 11.11111111111111], 'bp': 1.0, 'sys_len': 21, 'ref_len': 11} Bleu: {'bleu': 0.23418123261847468, 'precisions': [0.42857142857142855, 0.3, 0.21052631578947367, 0.1111111111111111], 'brevity_penalty': 1.0, 'length_ratio': 1.9090909090909092, 'translation_length': 21, 'reference_length': 11} Rouge: {'rouge1': 0.6666666666666667, 'rouge2': 0.5161290322580645, 'rougeL': 0.5454545454545454, 'rougeLsum': 0.5454545454545454} Sari: {'sari': 52.361111111111114} Flesh Reading Ease: 65.2 ---------------------------------------- Source: ['Stimmt es, dass Frauen mehr auf gesunde Ernährung achten als Männer? Ja.'] Prediction: ['Frauen mehr auf gesunde Ernährung achten als Männer.\nStimmt es, dass Frauen mehr auf gesunde Ernährung achten als Männer?\nJa.'] Label: [['Laut Umfrage achten die Frauen mehr auf eine gesunde Ernährung als Männer.']] Sacrebleu: {'score': 11.525449313283318, 'counts': [9, 5, 2, 0], 'totals': [24, 23, 22, 21], 'precisions': [37.5, 21.73913043478261, 9.090909090909092, 2.380952380952381], 'bp': 1.0, 'sys_len': 24, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.375, 0.21739130434782608, 0.09090909090909091, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8461538461538463, 'translation_length': 24, 'reference_length': 13} Rouge: {'rouge1': 0.5263157894736842, 'rouge2': 0.33333333333333337, 'rougeL': 0.5263157894736842, 'rougeLsum': 0.4736842105263159} Sari: {'sari': 47.42623117623117} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Laut Umfrage ist 96 Prozent der Frauen ein gesundes Essen wichtig.'] Prediction: ['Ein gesundes Essen ist in 96 Prozent der Frauen wichtig.\n96 Prozent der Frauen sind ein gesundes Essen.'] Label: [['96 Prozent der Frauen ist ein gesundes Essen wichtig.']] Sacrebleu: {'score': 19.83544145418288, 'counts': [10, 6, 3, 1], 'totals': [20, 19, 18, 17], 'precisions': [50.0, 31.57894736842105, 16.666666666666668, 5.882352941176471], 'bp': 1.0, 'sys_len': 20, 'ref_len': 10} Bleu: {'bleu': 0.19835441454182887, 'precisions': [0.5, 0.3157894736842105, 0.16666666666666666, 0.058823529411764705], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 20, 'reference_length': 10} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.4, 'rougeL': 0.5185185185185185, 'rougeLsum': 0.5925925925925926} Sari: {'sari': 53.64468864468864} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Er gilt als Europas erster groß angelegter Park, der für jeden frei zugänglich war.'] Prediction: ['Am Freitag gegen die Schweizer Meisterschaft gegen die Europas gilt ein Spieler.\nDer Mann gilt als Europas erster groß angelegter Park.'] Label: [['Jeder durfte sich dort aufhalten.\nEr wurde im Jahr 1789 als erster Park in Europa für alle Menschen geöffnet.']] Sacrebleu: {'score': 2.4623373672221804, 'counts': [5, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [21.73913043478261, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0952380952380953, 'translation_length': 23, 'reference_length': 21} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.0, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 35.3968253968254} Flesh Reading Ease: 64.2 ---------------------------------------- Source: ['Friedrich Ludwig von Sckell schuf ab dem Jahr 1789 in München eine der bekanntesten deutschen Parkanlagen, den Englischen Garten.'] Prediction: ['Friedrich Ludwig von Sckell schuf ab dem Jahr 1789 in München eine der bekanntesten deutschen Parkanlagen, den Englischen Garten.\nIn den Englischen Garten schuf ein ehemaliger Englischer in den Englischen Garten.'] Label: [['Der Englische Garten in München ist eine der bekanntesten deutschen Parkanlagen.']] Sacrebleu: {'score': 12.480006420394119, 'counts': [9, 5, 3, 2], 'totals': [34, 33, 32, 31], 'precisions': [26.470588235294116, 15.151515151515152, 9.375, 6.451612903225806], 'bp': 1.0, 'sys_len': 34, 'ref_len': 12} Bleu: {'bleu': 0.12480006420394119, 'precisions': [0.2647058823529412, 0.15151515151515152, 0.09375, 0.06451612903225806], 'brevity_penalty': 1.0, 'length_ratio': 2.8333333333333335, 'translation_length': 34, 'reference_length': 12} Rouge: {'rouge1': 0.4090909090909091, 'rouge2': 0.3333333333333333, 'rougeL': 0.36363636363636365, 'rougeLsum': 0.4090909090909091} Sari: {'sari': 45.60606060606061} Flesh Reading Ease: 59.2 ---------------------------------------- Source: ['Seit sie im Jahr 2010 als Park freigegeben wurde, nutzen zahlreiche Touristen und Berliner die über 300 Hektar große Freifläche.'] Prediction: ['Zahlreiche Touristen und Berliner nutzen die über 300 Hektar große Freifläche.\nSeit 2010 wurde sie als Park freigegeben.'] Label: [['Zahlreiche Touristen und Berliner nutzen die über 300 Hektar große Freifläche.\nSeit dem Jahr 2010 ist die Fläche des ehemaligen Flughafen Berlin Tempelhof für Besucher geöffnet.']] Sacrebleu: {'score': 43.05982386576959, 'counts': [15, 12, 11, 10], 'totals': [20, 19, 18, 17], 'precisions': [75.0, 63.1578947368421, 61.111111111111114, 58.8235294117647], 'bp': 0.6703200460356393, 'sys_len': 20, 'ref_len': 28} Bleu: {'bleu': 0.43059823865769603, 'precisions': [0.75, 0.631578947368421, 0.6111111111111112, 0.5882352941176471], 'brevity_penalty': 0.6703200460356393, 'length_ratio': 0.7142857142857143, 'translation_length': 20, 'reference_length': 28} Rouge: {'rouge1': 0.5882352941176471, 'rouge2': 0.5306122448979592, 'rougeL': 0.5882352941176471, 'rougeLsum': 0.5882352941176471} Sari: {'sari': 66.74195281560901} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Insbesondere die Bewohner einer Großstadt schätzen die Grünflächen.'] Prediction: ['In der Nähe von Basel ist es zu mehreren Grünflächen gekommen.\nDie Bewohner schätzen die Grünflächen.'] Label: [['Vor allem Bewohner einer Großstadt schätzen die Grünflächen.']] Sacrebleu: {'score': 14.216645907653843, 'counts': [5, 3, 2, 1], 'totals': [18, 17, 16, 15], 'precisions': [27.77777777777778, 17.647058823529413, 12.5, 6.666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 9} Bleu: {'bleu': 0.14216645907653844, 'precisions': [0.2777777777777778, 0.17647058823529413, 0.125, 0.06666666666666667], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 18, 'reference_length': 9} Rouge: {'rouge1': 0.4117647058823529, 'rouge2': 0.31249999999999994, 'rougeL': 0.4117647058823529, 'rougeLsum': 0.4117647058823529} Sari: {'sari': 31.260184014608793} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Während der Zeit des Barocks (etwa 1575 bis 1770) entstanden formal sehr strenge Barockgärten, auch französische Gärten genannt.'] Prediction: ['Barockgärten sind sehr strenge geworden.\nEs entstanden sehr strenge Barockgärten.'] Label: [['Während der Zeit des Barocks (etwa 1575 bis 1770) entstanden französische Gärten.']] Sacrebleu: {'score': 3.1364240458810366, 'counts': [2, 0, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [16.666666666666668, 4.545454545454546, 2.5, 1.3888888888888888], 'bp': 0.7788007830714049, 'sys_len': 12, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7788007830714049, 'length_ratio': 0.8, 'translation_length': 12, 'reference_length': 15} Rouge: {'rouge1': 0.14814814814814814, 'rouge2': 0.0, 'rougeL': 0.14814814814814814, 'rougeLsum': 0.14814814814814814} Sari: {'sari': 15.030959752321978} Flesh Reading Ease: 46.3 ---------------------------------------- Source: ['Der englische Landschaftsgarten war näher an der Natur, mit vielen Grünflächen und in der Regel ohne Blumenbeete.'] Prediction: ['Im englischen Landschaftsgarten ist es nicht mehr zu geben.\nDas ist nur ein Landschaftsgarten, das ohne Blumenbeete gebeten war.'] Label: [['Der englische Landschaftsgarten war näher an der Natur, mit großen Rasenflächen.']] Sacrebleu: {'score': 2.4426633221059637, 'counts': [4, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6923076923076923, 'translation_length': 22, 'reference_length': 13} Rouge: {'rouge1': 0.12121212121212122, 'rouge2': 0.0, 'rougeL': 0.12121212121212122, 'rougeLsum': 0.12121212121212122} Sari: {'sari': 20.982806001188354} Flesh Reading Ease: 65.2 ---------------------------------------- Source: ['Jährlich halten sich rund 3,5 Millionen Besucher im Englischen Garten auf.'] Prediction: ['3,5 Millionen Besucher im Englischen Garten sind aufgezeichnet.\nDie betroffene Firmen wurden durch 3,5 Millionen Besucher gefunden.'] Label: [['Der Englische Garten ist mit rund 3,5 Millionen Besucher jährlich sehr beliebt.']] Sacrebleu: {'score': 8.562365224473284, 'counts': [5, 2, 1, 0], 'totals': [19, 18, 17, 16], 'precisions': [26.31578947368421, 11.11111111111111, 5.882352941176471, 3.125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.2631578947368421, 0.1111111111111111, 0.058823529411764705, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4615384615384615, 'translation_length': 19, 'reference_length': 13} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.1935483870967742, 'rougeL': 0.30303030303030304, 'rougeLsum': 0.24242424242424243} Sari: {'sari': 38.730158730158735} Flesh Reading Ease: 31.1 ---------------------------------------- Source: ['Fast genauso groß, aber mit einer ganz anderen Geschichte: Das Tempelhofer Feld in Berlin.'] Prediction: ['Im Tempelhofer Feld in Berlin ist ein ganz anderer Geschichte.\nDas ist ein ganz anderer Feld.'] Label: [['Das Tempelhofer Feld in Berlin ist fast genauso groß.\nEs hat allerdings eine ganz andere Geschichte.']] Sacrebleu: {'score': 25.28116869739494, 'counts': [10, 5, 3, 2], 'totals': [18, 17, 16, 15], 'precisions': [55.55555555555556, 29.41176470588235, 18.75, 13.333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 18} Bleu: {'bleu': 0.25281168697394946, 'precisions': [0.5555555555555556, 0.29411764705882354, 0.1875, 0.13333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 18, 'reference_length': 18} Rouge: {'rouge1': 0.5, 'rouge2': 0.26666666666666666, 'rougeL': 0.4375, 'rougeLsum': 0.5} Sari: {'sari': 54.91090050300576} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Neben sehr viel Platz gibt es auf dem Tempelhofer Feld zum Beispiel kleine Gemüsegärten, künstlerische und soziale Projekte und verschiedene Sportprogramme.'] Prediction: ['Auf dem Tempelhofer Feld gibt es kleine Gemüsegärten, künstlerische und soziale Projekte und verschiedene Sportprogramme.\nNeben sehr viel Platz gibt es auf dem Tempelhofer Feld zum Beispiel kleine Gemüsegärten, künstlerische und soziale Projekte und verschiedene Sportprogramme.'] Label: [['Auf dem Tempelhofer Feld gibt es kleine Gemüsegärten, künstlerische und soziale Projekte und verschiedene Sportprogramme.']] Sacrebleu: {'score': 40.17164072560704, 'counts': [17, 16, 15, 14], 'totals': [40, 39, 38, 37], 'precisions': [42.5, 41.02564102564103, 39.473684210526315, 37.83783783783784], 'bp': 1.0, 'sys_len': 40, 'ref_len': 17} Bleu: {'bleu': 0.4017164072560703, 'precisions': [0.425, 0.41025641025641024, 0.39473684210526316, 0.3783783783783784], 'brevity_penalty': 1.0, 'length_ratio': 2.3529411764705883, 'translation_length': 40, 'reference_length': 17} Rouge: {'rouge1': 0.6, 'rouge2': 0.5862068965517241, 'rougeL': 0.6, 'rougeLsum': 0.6} Sari: {'sari': 85.81086221115713} Flesh Reading Ease: 27.45 ---------------------------------------- Source: ['Mit Spannung verfolgen die Kinder, wie schnell ihre Pflanzen wachsen und freuen sich über die erste Ernte von Tomaten, Zucchini, Bohnen oder Salat.'] Prediction: ['Die Kinder in der Schweiz leiden sich über ihre Pflanzen.\nSie verfolgen sich mit Spannung und Tomaten.\nDie Kinder leiden sich mit Spannung und verfolgen sich mit Tomaten, Zucchini, Bohnen oder Salat.'] Label: [['Die Kinder sind gespannt, wie schnell die Pflanzen wachsen und freuen sich über die erste Ernte von Tomaten, Zucchini, Bohnen oder Salat.']] Sacrebleu: {'score': 22.098365551432963, 'counts': [14, 9, 6, 5], 'totals': [37, 36, 35, 34], 'precisions': [37.83783783783784, 25.0, 17.142857142857142, 14.705882352941176], 'bp': 1.0, 'sys_len': 37, 'ref_len': 26} Bleu: {'bleu': 0.22098365551432958, 'precisions': [0.3783783783783784, 0.25, 0.17142857142857143, 0.14705882352941177], 'brevity_penalty': 1.0, 'length_ratio': 1.4230769230769231, 'translation_length': 37, 'reference_length': 26} Rouge: {'rouge1': 0.4444444444444444, 'rouge2': 0.23076923076923075, 'rougeL': 0.3703703703703703, 'rougeLsum': 0.3703703703703703} Sari: {'sari': 28.89799099692174} Flesh Reading Ease: 75.7 ---------------------------------------- Source: ['Das Vorbereiten der Beete, das Sähen von Samen und Einpflanzen von kleinen Setzlingen, das Jäten von Unkraut – all das macht eine Menge Arbeit.'] Prediction: ['Der Schweizer Unternehmer hat eine Menge Arbeit.\nDiese macht eine Menge Arbeit.'] Label: [['Ein Garten macht eine Menge Arbeit: Man muss Beete vorbereiten, Samen verteilen und das Unkraut entfernen.']] Sacrebleu: {'score': 13.152666606694634, 'counts': [5, 3, 2, 1], 'totals': [14, 13, 12, 11], 'precisions': [35.714285714285715, 23.076923076923077, 16.666666666666668, 9.090909090909092], 'bp': 0.6996725373751302, 'sys_len': 14, 'ref_len': 19} Bleu: {'bleu': 0.1315266660669463, 'precisions': [0.35714285714285715, 0.23076923076923078, 0.16666666666666666, 0.09090909090909091], 'brevity_penalty': 0.6996725373751302, 'length_ratio': 0.7368421052631579, 'translation_length': 14, 'reference_length': 19} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.23076923076923075, 'rougeL': 0.28571428571428575, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 54.133597883597886} Flesh Reading Ease: 62.85 ---------------------------------------- Source: ['Der Sinn der Schulgärten besteht darin, den Kindern die Natur nahezubringen.'] Prediction: ['Der Sinn der Schulgärten besteht darin, den Kindern die Natur nahezubringen.\nDer Sinn der Schulgärten besteht darin, den Kindern die Natur nahezubringen.'] Label: [['Mithilfe eines Schulgartens sollen die Kinder ein Gefühl für die Natur entwickeln.']] Sacrebleu: {'score': 3.435812002459847, 'counts': [4, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 26, 'reference_length': 13} Rouge: {'rouge1': 0.15789473684210525, 'rouge2': 0.05555555555555555, 'rougeL': 0.15789473684210525, 'rougeLsum': 0.10526315789473685} Sari: {'sari': 37.94871794871795} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Außerdem können sich die Kinder im Garten bewegen und sich mit ihren Klassenkameraden unterhalten – ein willkommener Ausgleich zum Stillsitzen im Klassenzimmer.'] Prediction: ['In den Klassenzimmern können Kinder sich mit ihren Klassenkameraden unterhalten.\nSie können sich mit ihren Klassenkameraden unterhalten.\nEin willkommener Ausgleich zum Stillsitzen im Klassenzimmer.'] Label: [['Außerdem können sich die Kinder im Garten bewegen und sich mit ihren Klassenkameraden unterhalten.']] Sacrebleu: {'score': 20.333448190047886, 'counts': [10, 6, 4, 3], 'totals': [27, 26, 25, 24], 'precisions': [37.03703703703704, 23.076923076923077, 16.0, 12.5], 'bp': 1.0, 'sys_len': 27, 'ref_len': 15} Bleu: {'bleu': 0.20333448190047887, 'precisions': [0.37037037037037035, 0.23076923076923078, 0.16, 0.125], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 27, 'reference_length': 15} Rouge: {'rouge1': 0.4761904761904762, 'rouge2': 0.3, 'rougeL': 0.380952380952381, 'rougeLsum': 0.4285714285714286} Sari: {'sari': 24.39370327528222} Flesh Reading Ease: 31.6 ---------------------------------------- Source: ['Glückwunschkarten, kurze Notizen, To-do-Listen und Einkaufszettel –'] Prediction: ['Im Podcast "Unchained" diskutieren die besten Fragen, die ihre Leistungen zu Gast und Freunden auf Social Media und Wirbeln.\nWir stellen dir jeden zweiten Fragen vor, welche Fragen zu tun, und wie du dich das Radio-Format zeigt.'] Label: [['Glückwunschkarten, kurze Notizen, Listen und Einkaufszettel –']] Sacrebleu: {'score': 1.0952083604308251, 'counts': [3, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [6.818181818181818, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.06818181818181818, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.888888888888889, 'translation_length': 44, 'reference_length': 9} Rouge: {'rouge1': 0.044444444444444446, 'rouge2': 0.0, 'rougeL': 0.044444444444444446, 'rougeLsum': 0.044444444444444446} Sari: {'sari': 17.144660894660895} Flesh Reading Ease: 62.05 ---------------------------------------- Source: ['Texte am Computer oder am Handy einzutippen erscheint auf den ersten Blick einfacher.'] Prediction: ['Immer mehr Texte hatte sich mit einem Computer einzutippen.\nDas hatte Texte am Computer oder am Handy einzutippen.'] Label: [['Texte am Computer oder am Handy einzutippen ist einfach.']] Sacrebleu: {'score': 30.143352515082135, 'counts': [8, 6, 5, 4], 'totals': [20, 19, 18, 17], 'precisions': [40.0, 31.57894736842105, 27.77777777777778, 23.529411764705884], 'bp': 1.0, 'sys_len': 20, 'ref_len': 10} Bleu: {'bleu': 0.3014335251508215, 'precisions': [0.4, 0.3157894736842105, 0.2777777777777778, 0.23529411764705882], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 20, 'reference_length': 10} Rouge: {'rouge1': 0.5185185185185185, 'rouge2': 0.48, 'rougeL': 0.5185185185185185, 'rougeLsum': 0.5185185185185185} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Texte von Hand zu schreiben ist ein weit komplexerer und herausfordernder Prozess.'] Prediction: ['Immer mehr Menschen sind in den USA vermehrt ums Leben gekommen.\nDas ist ein weiterer Prozess.'] Label: [['Texte von Hand zu schreiben ist ein bisschen komplizierter.']] Sacrebleu: {'score': 4.753622060013117, 'counts': [3, 1, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [16.666666666666668, 5.882352941176471, 3.125, 1.6666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.058823529411764705, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 18, 'reference_length': 10} Rouge: {'rouge1': 0.16, 'rouge2': 0.08695652173913045, 'rougeL': 0.16, 'rougeLsum': 0.16} Sari: {'sari': 23.665824915824913} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Aber gerade darin liegt der Vorteil.'] Prediction: ['Die Schweizer Welt ist auf den Markt.\nDer Vorteil ist auf der Suche.'] Label: [['Allerdings hat das Handschreiben einen großen Vorteil.']] Sacrebleu: {'score': 3.1251907639724417, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.875, 'translation_length': 15, 'reference_length': 8} Rouge: {'rouge1': 0.09523809523809525, 'rouge2': 0.0, 'rougeL': 0.09523809523809525, 'rougeLsum': 0.09523809523809525} Sari: {'sari': 54.99999999999999} Flesh Reading Ease: 103.3 ---------------------------------------- Source: ['Handlettering, das Gestalten von kunstvollen Schriftzügen, ist zum Trend geworden.'] Prediction: ['Handlettering ist ein neues Trend.\nDie Welt ist mit Handlettering auf den Markt.'] Label: [['Handlettering, das Gestalten von kunstvollen Schriftzügen, liegt im Trend.']] Sacrebleu: {'score': 5.816635421147513, 'counts': [3, 1, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [20.0, 7.142857142857143, 3.8461538461538463, 2.0833333333333335], 'bp': 1.0, 'sys_len': 15, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.07142857142857142, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 15, 'reference_length': 12} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.0, 'rougeL': 0.17391304347826086, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 18.007455507455507} Flesh Reading Ease: 85.75 ---------------------------------------- Source: ['Manche Erwachsene und Jugendliche finden die Handschrift trotz Smartphone und Tablet so faszinierend, dass sie wieder ganz bewusst zu Stift und Papier greifen.'] Prediction: ['Manche Erwachsene und Jugendliche sind mit dem Handy so faszinierend, dass sie wieder ganz bewusst zu Stift und Papier greifen.\nDie Handschrift faszinierend sind so faszinierend, dass sie wieder ganz bewusst zu Stift und Papier greifen.'] Label: [['Erwachsene und Jugendliche finden die Handschrift trotz Smartphone und Tablet so faszinierend, dass sie wieder ganz bewusst zu Stift und Papier greifen.']] Sacrebleu: {'score': 36.920514514503665, 'counts': [19, 15, 13, 11], 'totals': [40, 39, 38, 37], 'precisions': [47.5, 38.46153846153846, 34.21052631578947, 29.72972972972973], 'bp': 1.0, 'sys_len': 40, 'ref_len': 24} Bleu: {'bleu': 0.3692051451450368, 'precisions': [0.475, 0.38461538461538464, 0.34210526315789475, 0.2972972972972973], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 40, 'reference_length': 24} Rouge: {'rouge1': 0.6206896551724137, 'rouge2': 0.5, 'rougeL': 0.5862068965517242, 'rougeLsum': 0.5862068965517242} Sari: {'sari': 25.629903302317096} Flesh Reading Ease: 62.55 ---------------------------------------- Source: ['Dies belegt auch eine Studie der Universität Princeton aus dem Jahr 2014.'] Prediction: ['Eine Studie der Universität Princeton belegt auch eine Studie der Universität Princeton aus dem Jahr 2014.\nSie belegt auch eine Studie der Universität Princeton.'] Label: [['Dies belegt auch eine Studie der Universität Princeton aus dem Jahr 2014.Manche']] Sacrebleu: {'score': 42.65706803128102, 'counts': [12, 11, 10, 9], 'totals': [26, 25, 24, 23], 'precisions': [46.15384615384615, 44.0, 41.666666666666664, 39.130434782608695], 'bp': 1.0, 'sys_len': 26, 'ref_len': 14} Bleu: {'bleu': 0.4265706803128101, 'precisions': [0.46153846153846156, 0.44, 0.4166666666666667, 0.391304347826087], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 26, 'reference_length': 14} Rouge: {'rouge1': 0.5853658536585367, 'rouge2': 0.5641025641025641, 'rougeL': 0.5853658536585367, 'rougeLsum': 0.5853658536585367} Sari: {'sari': 31.80225927136682} Flesh Reading Ease: 51.0 ---------------------------------------- Source: ['Dadurch setzen sie sich mit der Thematik eindringlicher auseinander und können sich die Inhalte besser merken.'] Prediction: ['Ein Mann hat sich mit der Corona-Pandemie eindringlicher auseinandergefunden.\nDadurch setzen sie sich mit der Thematik eindringlicher auseinander.\nDadurch können sich die Inhalte besser merken.'] Label: [['Beim Schreiben mit der Hand setzen wir uns intensiver mit dem Thema auseinander und können uns Inhalte besser merken.']] Sacrebleu: {'score': 11.295714543953919, 'counts': [10, 4, 2, 1], 'totals': [28, 27, 26, 25], 'precisions': [35.714285714285715, 14.814814814814815, 7.6923076923076925, 4.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 20} Bleu: {'bleu': 0.11295714543953919, 'precisions': [0.35714285714285715, 0.14814814814814814, 0.07692307692307693, 0.04], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 28, 'reference_length': 20} Rouge: {'rouge1': 0.425531914893617, 'rouge2': 0.17777777777777778, 'rougeL': 0.425531914893617, 'rougeLsum': 0.3404255319148936} Sari: {'sari': 26.959595959595962} Flesh Reading Ease: 43.0 ---------------------------------------- Source: ['Aber in den einzelnen Bundesländern Deutschlands gibt es besondere regionale Spezialitäten.'] Prediction: ['Deutschland will in den einzelnen Bundesländern seine Spezialitäten besondere internationale Abbauen bringen.\nAuch in den einzelnen Bundesländern gibt es besondere regionale Spezialitäten.'] Label: [['In den einzelnen Bundesländern Deutschlands gibt es besondere regionale Spezialitäten.']] Sacrebleu: {'score': 24.67247336500928, 'counts': [9, 7, 5, 3], 'totals': [24, 23, 22, 21], 'precisions': [37.5, 30.434782608695652, 22.727272727272727, 14.285714285714286], 'bp': 1.0, 'sys_len': 24, 'ref_len': 11} Bleu: {'bleu': 0.24672473365009281, 'precisions': [0.375, 0.30434782608695654, 0.22727272727272727, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 2.1818181818181817, 'translation_length': 24, 'reference_length': 11} Rouge: {'rouge1': 0.5789473684210527, 'rouge2': 0.5, 'rougeL': 0.5789473684210527, 'rougeLsum': 0.5789473684210527} Sari: {'sari': 38.26058201058202} Flesh Reading Ease: -0.66 ---------------------------------------- Source: ['Sie sind sicher die beliebtesten Gerichte.'] Prediction: ['Die beliebtesten Gerichte sind sicher.\nSie sind sie sicher die beliebtesten Gerichte.'] Label: [['Sie gehören wahrscheinlich zu den beliebtesten Gerichten.']] Sacrebleu: {'score': 3.737437943747671, 'counts': [3, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [21.428571428571427, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 14, 'reference_length': 8} Rouge: {'rouge1': 0.2, 'rouge2': 0.0, 'rougeL': 0.2, 'rougeLsum': 0.2} Sari: {'sari': 38.33333333333333} Flesh Reading Ease: 57.0 ---------------------------------------- Source: ['Denn bei den Mahlzeiten legen die Produzenten und Köche großen Wert auf Qualität, gepaart mit handwerklichem Geschick und Tradition.'] Prediction: ['Mahl und Köche große Wert sind bei den Qualität gepaart mit handwerklichem Geschick und Tradition.\nDie Produzenten und Köche großen Wert legen auf Qualität, gepaart mit handwerklichem Geschick und Tradition.'] Label: [['Hier legen die Produzenten und Köche großen Wert auf Qualität, gepaart mit handwerklichem Geschick und Tradition.']] Sacrebleu: {'score': 38.0529136584949, 'counts': [16, 13, 11, 9], 'totals': [33, 32, 31, 30], 'precisions': [48.484848484848484, 40.625, 35.483870967741936, 30.0], 'bp': 1.0, 'sys_len': 33, 'ref_len': 18} Bleu: {'bleu': 0.3805291365849489, 'precisions': [0.48484848484848486, 0.40625, 0.3548387096774194, 0.3], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 33, 'reference_length': 18} Rouge: {'rouge1': 0.6545454545454545, 'rouge2': 0.5660377358490566, 'rougeL': 0.6181818181818182, 'rougeLsum': 0.6181818181818182} Sari: {'sari': 51.98377558908868} Flesh Reading Ease: 53.85 ---------------------------------------- Source: ['Das ist ein nach dem Stuttgarter Stadtteil Gaisburg benanntes Gericht, ein Eintopf aus Fleischbrühe, Rindfleisch, Spätzle und Kartoffelschnitz.'] Prediction: ['Ein Eintopf aus Fleischbrühe, Rindfleisch, Spätzle und Kartoffelschnitz ist in der Stuttgarter Stadtteil Gaisburg benannt.\nDer Eintopf wurde aus Fleischbrühe, Rindfleisch, Spätzle und Kartoffelschnitz benannt.'] Label: [['Das ist ein nach dem Stuttgarter Stadtteil Gaisburg benanntes Gericht.\nDieser Eintopf und besteht aus Fleischbrühe, Rindfleisch, Spätzle und Kartoffelschnitz.']] Sacrebleu: {'score': 28.58234714815033, 'counts': [16, 9, 7, 5], 'totals': [31, 30, 29, 28], 'precisions': [51.61290322580645, 30.0, 24.137931034482758, 17.857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 24} Bleu: {'bleu': 0.28582347148150317, 'precisions': [0.5161290322580645, 0.3, 0.2413793103448276, 0.17857142857142858], 'brevity_penalty': 1.0, 'length_ratio': 1.2916666666666667, 'translation_length': 31, 'reference_length': 24} Rouge: {'rouge1': 0.5882352941176471, 'rouge2': 0.3673469387755102, 'rougeL': 0.5098039215686274, 'rougeLsum': 0.5098039215686274} Sari: {'sari': 28.171057869333733} Flesh Reading Ease: 56.35 ---------------------------------------- Source: ['Einige Köche wie Harald Wohlfahrt, einer der besten Köche Europas und seit über zwanzig Jahren von allen Restaurantführern mit den höchsten Auszeichnungen bewertet, kocht ebenfalls gerne traditionell.'] Prediction: ['Harald Wohlfahrt hat einen traditionellen Köche mit dem höchsten Auszeichnungen bewertet.\nDer Restaurantführer wurde mit seiner höchsten Auszeichnungen zu Gast geschickt.\nHarald Wohlfahrt hat einen traditionellen Köche mit dem Restaurantführern zu Gast geschickt.'] Label: [['Köche wie Harald Wohlfahrt werden seit über zwanzig Jahren von allen Restaurantführern besonders gut bewertet.\nWohlfahrt kocht ebenfalls gerne traditionell.']] Sacrebleu: {'score': 3.4487891886160993, 'counts': [8, 2, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [22.22222222222222, 5.714285714285714, 1.4705882352941178, 0.7575757575757576], 'bp': 1.0, 'sys_len': 36, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.05714285714285714, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6363636363636365, 'translation_length': 36, 'reference_length': 22} Rouge: {'rouge1': 0.2622950819672131, 'rouge2': 0.1016949152542373, 'rougeL': 0.19672131147540986, 'rougeLsum': 0.19672131147540986} Sari: {'sari': 24.347114513935626} Flesh Reading Ease: 40.3 ---------------------------------------- Source: ['Und wohl jeder kennt in Deutschland die Kartoffeln und ihre zahlreichen Variationen wie Bratkartoffeln, Pellkartoffeln, Kartoffelpüree oder Kartoffelklöße.'] Prediction: ['In Deutschland kennt jeder Kartoffel.\nEs ist der erste von Bratkartoffeln.\nDie Kartoffel-Variationen sind wohl in der Schweiz.'] Label: [['Typisch deutsch und Bestandteil vieler Gerichte: Die Kartoffel.\nJeder kennt ihre Variationen wie Bratkartoffeln, Pellkartoffeln, Kartoffelpüree oder Kartoffelklöße.']] Sacrebleu: {'score': 4.345953622855046, 'counts': [6, 1, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [28.571428571428573, 5.0, 2.6315789473684212, 1.3888888888888888], 'bp': 0.909156442876713, 'sys_len': 21, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.05, 0.0, 0.0], 'brevity_penalty': 0.909156442876713, 'length_ratio': 0.9130434782608695, 'translation_length': 21, 'reference_length': 23} Rouge: {'rouge1': 0.3076923076923077, 'rouge2': 0.05405405405405406, 'rougeL': 0.15384615384615385, 'rougeLsum': 0.25641025641025644} Sari: {'sari': 20.96095129215931} Flesh Reading Ease: 62.85 ---------------------------------------- Source: ['die Rede ist von der Currywurst, eine der am meisten bekannten Wurstsorten, die an jedem Imbissstand seit über 60 Jahren verkauft wird – 800 Millionen Würste sind es jährlich.'] Prediction: ['800 Millionen Würste sind in der Schweiz gestorben.\nDer Currywurst ist eine der am meisten bekannten Wurstsorten, die an jedem Imbissstand seit über 60 Jahren verkauft wird.\n800 Millionen Würste sind es jährlich.'] Label: [['die Rede ist von der Currywurst, eine der bekanntesten Wurstsorten.\nSie wird an jedem Imbissstand seit über 60 Jahren verkauft – 800 Millionen Würste sind es jährlich.']] Sacrebleu: {'score': 38.4514758119723, 'counts': [25, 14, 11, 9], 'totals': [37, 36, 35, 34], 'precisions': [67.56756756756756, 38.888888888888886, 31.428571428571427, 26.470588235294116], 'bp': 1.0, 'sys_len': 37, 'ref_len': 30} Bleu: {'bleu': 0.38451475811972297, 'precisions': [0.6756756756756757, 0.3888888888888889, 0.3142857142857143, 0.2647058823529412], 'brevity_penalty': 1.0, 'length_ratio': 1.2333333333333334, 'translation_length': 37, 'reference_length': 30} Rouge: {'rouge1': 0.75, 'rouge2': 0.5161290322580645, 'rougeL': 0.6562499999999999, 'rougeLsum': 0.6562499999999999} Sari: {'sari': 27.796369558860697} Flesh Reading Ease: 69.55 ---------------------------------------- Source: ['Dies ist die umsatzstärkste Zeit im deutschen Einzelhandel, viele erwirtschaften rund ein Viertel ihres Jahresumsatzes im November und Dezember.'] Prediction: ['Der deutsche Einzelhandel erwirtschaftet rund ein Viertel ihres Jahresumsatzes.\nDas ist die umsatzstärkste Zeit im deutschen Einzelhandel.'] Label: [['Dies ist die umsatzstärkste Zeit im deutschen Einzelhandel.\nViele erwirtschaften rund ein Viertel ihres Jahresumsatzes im November und Dezember.']] Sacrebleu: {'score': 51.150673499417884, 'counts': [14, 11, 9, 7], 'totals': [19, 18, 17, 16], 'precisions': [73.6842105263158, 61.111111111111114, 52.94117647058823, 43.75], 'bp': 0.9000876262522591, 'sys_len': 19, 'ref_len': 21} Bleu: {'bleu': 0.5115067349941791, 'precisions': [0.7368421052631579, 0.6111111111111112, 0.5294117647058824, 0.4375], 'brevity_penalty': 0.9000876262522594, 'length_ratio': 0.9047619047619048, 'translation_length': 19, 'reference_length': 21} Rouge: {'rouge1': 0.6842105263157895, 'rouge2': 0.6111111111111113, 'rougeL': 0.4210526315789474, 'rougeLsum': 0.6842105263157895} Sari: {'sari': 35.0784632034632} Flesh Reading Ease: 42.8 ---------------------------------------- Source: ['Topseller sind Smartphones und Spielekonsolen.'] Prediction: ['In der Schweiz sind auf den meisten Schweizerinnen und Schweizer jeweils mehr als 50 Millionen Franken zugestimmt.\nDas ist der erste Mal.'] Label: [['Die beliebtesten Wünsche sind Smartphones und Spielekonsolen.']] Sacrebleu: {'score': 2.0705706652424007, 'counts': [3, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [12.5, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 24, 'reference_length': 8} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 15.555555555555555} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['Davon kündet der Text des bekanntesten deutschen Weihnachtsliedes „Oh du fröhliche, oh du selige, gnadenbringende Weihnachtszeit, Welt ging verloren, Christ ist geboren: Freue, freue dich, Christenheit!“'] Prediction: ['Der deutsche Weihnachtslied "Christenheit" ist ein neues Weihnachts-Song.\nIn der Folge kündet das Text davon aus: Freue, freue dich, Christenheit!'] Label: [['Davon handelt der Text des bekanntesten deutschen Weihnachtsliedes „Oh du fröhliche, oh du selige, gnadenbringende Weihnachtszeit, Welt ging verloren, Christ ist geboren: Freue, freue dich, Christenheit!“']] Sacrebleu: {'score': 20.234899785043513, 'counts': [11, 7, 6, 5], 'totals': [27, 26, 25, 24], 'precisions': [40.74074074074074, 26.923076923076923, 24.0, 20.833333333333332], 'bp': 0.7435670792059064, 'sys_len': 27, 'ref_len': 35} Bleu: {'bleu': 0.20234899785043514, 'precisions': [0.4074074074074074, 0.2692307692307692, 0.24, 0.20833333333333334], 'brevity_penalty': 0.7435670792059064, 'length_ratio': 0.7714285714285715, 'translation_length': 27, 'reference_length': 35} Rouge: {'rouge1': 0.32653061224489793, 'rouge2': 0.12765957446808512, 'rougeL': 0.24489795918367346, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 14.16424806255315} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Sie riss die Stadt Berlin auseinander und trennte die Deutsche Demokratische Republik (DDR) und Westdeutschland.'] Prediction: ['Die Stadt Berlin hat sich in der Nacht auf Sonntag zu tun.\nDie Partei hatte die Deutschschweiz ausgebaut.\nSie riss die Stadt Berlin auseinander.'] Label: [['Sie riss die Stadt auseinander und trennte die Deutsche Demokratische Republik (DDR) und Westdeutschland.']] Sacrebleu: {'score': 9.992869870690118, 'counts': [7, 3, 2, 1], 'totals': [27, 26, 25, 24], 'precisions': [25.925925925925927, 11.538461538461538, 8.0, 4.166666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 17} Bleu: {'bleu': 0.09992869870690119, 'precisions': [0.25925925925925924, 0.11538461538461539, 0.08, 0.041666666666666664], 'brevity_penalty': 1.0, 'length_ratio': 1.588235294117647, 'translation_length': 27, 'reference_length': 17} Rouge: {'rouge1': 0.3157894736842105, 'rouge2': 0.16666666666666669, 'rougeL': 0.2631578947368421, 'rougeLsum': 0.3157894736842105} Sari: {'sari': 12.370355426938987} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Die Berliner Mauer war 155 Kilometer lang, etwa 43 Kilometer verliefen mitten durch Berlin.'] Prediction: ['Die Berliner Mauer war 155 Kilometer lang, etwa 43 Kilometer verliefen mitten durch Berlin.\nMit 155 Kilometer lang war der Berliner Mauer 155 Kilometer lang, etwa 43 Kilometer verliefen mitten durch Berlin.'] Label: [['Sie war 155 Kilometer lang, etwa 43 Kilometer verliefen mitten durch Berlin.']] Sacrebleu: {'score': 33.192385849649256, 'counts': [13, 12, 11, 10], 'totals': [36, 35, 34, 33], 'precisions': [36.111111111111114, 34.285714285714285, 32.35294117647059, 30.303030303030305], 'bp': 1.0, 'sys_len': 36, 'ref_len': 14} Bleu: {'bleu': 0.3319238584964926, 'precisions': [0.3611111111111111, 0.34285714285714286, 0.3235294117647059, 0.30303030303030304], 'brevity_penalty': 1.0, 'length_ratio': 2.5714285714285716, 'translation_length': 36, 'reference_length': 14} Rouge: {'rouge1': 0.5, 'rouge2': 0.4761904761904761, 'rougeL': 0.5, 'rougeLsum': 0.5} Sari: {'sari': 62.72785829307569} Flesh Reading Ease: 47.0 ---------------------------------------- Source: ['Schon seit dem Ende des Zweiten Weltkrieges existierten faktisch zwei deutsche Länder. So wollte die Führung in Ostdeutschland in der sowjetischen Besatzungszone ein sozialistisches System errichten, doch viele Menschen flüchteten in den Westen: Zwischen 1949 und Sommer 1961 zogen rund 2,6 Millionen Menschen aus der DDR nach Westen.'] Prediction: ['Zwei deutsche Länder wollten ein sozialistisches System errichten, doch viele Menschen flüchteten in den Westen.\nZwischen 1949 und Sommer 1961 zogen rund 2,6 Millionen Menschen aus der DDR nach Westen.'] Label: [['Schon seit dem Ende des Zweiten Weltkrieges existierten faktisch zwei deutsche Staaten, denn die Führung in Ostdeutschland wollte in der sowjetischen Besatzungszone ein sozialistisches System errichten.\nDoch viele Menschen flüchteten in den Westen.']] Sacrebleu: {'score': 24.048191409542376, 'counts': [15, 9, 7, 5], 'totals': [33, 32, 31, 30], 'precisions': [45.45454545454545, 28.125, 22.580645161290324, 16.666666666666668], 'bp': 0.9131007162822624, 'sys_len': 33, 'ref_len': 36} Bleu: {'bleu': 0.24048191409542385, 'precisions': [0.45454545454545453, 0.28125, 0.22580645161290322, 0.16666666666666666], 'brevity_penalty': 0.9131007162822622, 'length_ratio': 0.9166666666666666, 'translation_length': 33, 'reference_length': 36} Rouge: {'rouge1': 0.4411764705882353, 'rouge2': 0.3636363636363636, 'rougeL': 0.411764705882353, 'rougeLsum': 0.4411764705882353} Sari: {'sari': 24.854533767059763} Flesh Reading Ease: 59.7 ---------------------------------------- Source: ['Sie trennte Familien und Freunde, denn sie unterbrach auch alle Verbindungen der Stadt zum Berliner Umland.'] Prediction: ['Die Berliner Stadt hat einen Umland erlassen.\nFamilien und Freunde unterbrach auch alle Verbindungen der Stadt zum Berliner Umland.'] Label: [['Die Mauer trennte Familien und Freunde, denn sie unterbrach auch alle Verbindungen der Stadt zum Berliner Umland.']] Sacrebleu: {'score': 50.97960527136183, 'counts': [14, 11, 9, 7], 'totals': [21, 20, 19, 18], 'precisions': [66.66666666666667, 55.0, 47.36842105263158, 38.888888888888886], 'bp': 1.0, 'sys_len': 21, 'ref_len': 19} Bleu: {'bleu': 0.5097960527136183, 'precisions': [0.6666666666666666, 0.55, 0.47368421052631576, 0.3888888888888889], 'brevity_penalty': 1.0, 'length_ratio': 1.105263157894737, 'translation_length': 21, 'reference_length': 19} Rouge: {'rouge1': 0.7222222222222222, 'rouge2': 0.5882352941176471, 'rougeL': 0.7222222222222222, 'rougeLsum': 0.7222222222222222} Sari: {'sari': 33.25837742504409} Flesh Reading Ease: 59.35 ---------------------------------------- Source: ['Um den Flüchtlingsstrom zu stoppen beschloss die DDR-Führung, die Grenzen endgültig zu schließen.'] Prediction: ['Die DDR-Führung beschloss die Grenzen endgültig zu schließen.\nUm den Flüchtlingsstrom zu stoppen beschloss die DDR-Führung, die Grenzen endgültig zu schließen.'] Label: [['Um die Flüchtlinge zu stoppen beschloss die DDR-Führung, die Grenzen endgültig zu schließen.']] Sacrebleu: {'score': 48.283144270032615, 'counts': [14, 11, 10, 9], 'totals': [24, 23, 22, 21], 'precisions': [58.333333333333336, 47.82608695652174, 45.45454545454545, 42.857142857142854], 'bp': 1.0, 'sys_len': 24, 'ref_len': 15} Bleu: {'bleu': 0.48283144270032624, 'precisions': [0.5833333333333334, 0.4782608695652174, 0.45454545454545453, 0.42857142857142855], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 24, 'reference_length': 15} Rouge: {'rouge1': 0.7083333333333334, 'rouge2': 0.5652173913043479, 'rougeL': 0.6666666666666667, 'rougeLsum': 0.6666666666666667} Sari: {'sari': 62.6947895100069} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['Nach 28 Jahren, am 9. November 1989, wurde sie geöffnet.'] Prediction: ['Die Frau, die 28 Jahre alte Frau, wurde am 9.\nNovember 1989 geöffnet.\nSie war am 28.\nNovember 1989.'] Label: [['Denn nach 28 Jahren, am 9.\nNovember 1989, wurde die Mauer geöffnet.']] Sacrebleu: {'score': 19.422069098763885, 'counts': [12, 6, 3, 2], 'totals': [25, 24, 23, 22], 'precisions': [48.0, 25.0, 13.043478260869565, 9.090909090909092], 'bp': 1.0, 'sys_len': 25, 'ref_len': 16} Bleu: {'bleu': 0.19422069098763883, 'precisions': [0.48, 0.25, 0.13043478260869565, 0.09090909090909091], 'brevity_penalty': 1.0, 'length_ratio': 1.5625, 'translation_length': 25, 'reference_length': 16} Rouge: {'rouge1': 0.5454545454545455, 'rouge2': 0.2580645161290323, 'rougeL': 0.4242424242424242, 'rougeLsum': 0.4848484848484849} Sari: {'sari': 30.670916677978095} Flesh Reading Ease: 85.95 ---------------------------------------- Source: ['Seit der Öffnung der Mauer ist Deutschland wieder vereint.'] Prediction: ['Die Mauer in Deutschland ist seit der Öffnung der Mauer wieder vereint.\nDie Öffnung der Mauer ist wieder vereint.'] Label: [['Seitdem ist Deutschland wieder vereint.']] Sacrebleu: {'score': 7.681104116622756, 'counts': [5, 2, 1, 0], 'totals': [21, 20, 19, 18], 'precisions': [23.80952380952381, 10.0, 5.2631578947368425, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.23809523809523808, 0.1, 0.05263157894736842, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 21, 'reference_length': 6} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.0909090909090909, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 26.34379509379509} Flesh Reading Ease: 76.9 ---------------------------------------- Source: ['Diese drei Zeilen stammen aus dem Gedicht des chinesischen Lyrikers Ai Qing, dem Vater des Künstlers Ai Weiwei.'] Prediction: ['Ein chinesischer Lyriker stammt aus dem Gedicht von einem Künstler.\nDabei wurden drei Zeilen gefunden.\nSie wurden dabei von einem Künstler aus dem Gedicht gestanden.'] Label: [['drei Zeilen sind aus dem Gedicht des chinesischen Lyrikers Ai Qing, dem Vater des Künstlers Ai Weiwei.']] Sacrebleu: {'score': 6.798898171917449, 'counts': [7, 3, 1, 0], 'totals': [28, 27, 26, 25], 'precisions': [25.0, 11.11111111111111, 3.8461538461538463, 2.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.1111111111111111, 0.038461538461538464, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4736842105263157, 'translation_length': 28, 'reference_length': 19} Rouge: {'rouge1': 0.3111111111111111, 'rouge2': 0.13953488372093026, 'rougeL': 0.22222222222222224, 'rougeLsum': 0.26666666666666666} Sari: {'sari': 15.408576867748694} Flesh Reading Ease: 66.4 ---------------------------------------- Source: ['So wollen sie unter anderem ein Zeichen setzen gegen die Massentierhaltung und den Lebewesen Respekt erweisen.'] Prediction: ['Die Massentierhaltung und den Lebewesen Respekt wollen unter anderem ein Zeichen setzen.\nSo wollen sie unter anderem ein Zeichen setzen gegen die Massentierhaltung und den Lebewesen Respekt erweisen.'] Label: [['So wollen sie unter anderem ein Zeichen setzen gegen die Massentierhaltung.']] Sacrebleu: {'score': 33.854637941093195, 'counts': [12, 10, 9, 8], 'totals': [30, 29, 28, 27], 'precisions': [40.0, 34.48275862068966, 32.142857142857146, 29.62962962962963], 'bp': 1.0, 'sys_len': 30, 'ref_len': 12} Bleu: {'bleu': 0.3385463794109318, 'precisions': [0.4, 0.3448275862068966, 0.32142857142857145, 0.2962962962962963], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 30, 'reference_length': 12} Rouge: {'rouge1': 0.5641025641025641, 'rouge2': 0.5405405405405406, 'rougeL': 0.5641025641025641, 'rougeLsum': 0.5641025641025641} Sari: {'sari': 67.28408086166708} Flesh Reading Ease: 43.15 ---------------------------------------- Source: ['Längst haben sich Trendforscher mit dem Thema Nahrung und Essen beschäftigt - mit einigen interessanten Entwicklungen für die kommenden Jahre.'] Prediction: ['Trendforscher haben sich mit dem Thema Nahrung und Essen beschäftigt.\nEs gebe keine interessanten Entwicklungen für die kommenden Jahre.'] Label: [['Längst haben sich Trendforscher mit dem Thema Nahrung und Essen beschäftigt - mit einigen interessanten Entwicklungen.']] Sacrebleu: {'score': 34.68941568986593, 'counts': [13, 8, 5, 4], 'totals': [21, 20, 19, 18], 'precisions': [61.904761904761905, 40.0, 26.31578947368421, 22.22222222222222], 'bp': 1.0, 'sys_len': 21, 'ref_len': 17} Bleu: {'bleu': 0.3468941568986593, 'precisions': [0.6190476190476191, 0.4, 0.2631578947368421, 0.2222222222222222], 'brevity_penalty': 1.0, 'length_ratio': 1.2352941176470589, 'translation_length': 21, 'reference_length': 17} Rouge: {'rouge1': 0.6842105263157895, 'rouge2': 0.5, 'rougeL': 0.6315789473684211, 'rougeLsum': 0.6315789473684211} Sari: {'sari': 18.614612511671336} Flesh Reading Ease: 47.65 ---------------------------------------- Source: ['Hinter den nüchternen Zahlen stecken erschreckende Tatsachen.'] Prediction: ['Die Schweiz steckt wegen der Corona-Pandemie in den nüchternen Zahlen stark an.\nDie Zahlen stecken erschreckende Tatsachen.'] Label: [['Hinter den Zahlen stecken die erschreckenden Tatsachen.']] Sacrebleu: {'score': 6.054506513220935, 'counts': [5, 2, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [26.31578947368421, 11.11111111111111, 2.9411764705882355, 1.5625], 'bp': 1.0, 'sys_len': 19, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.2631578947368421, 0.1111111111111111, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.375, 'translation_length': 19, 'reference_length': 8} Rouge: {'rouge1': 0.3846153846153846, 'rouge2': 0.08333333333333333, 'rougeL': 0.3076923076923077, 'rougeLsum': 0.3076923076923077} Sari: {'sari': 28.295778295778295} Flesh Reading Ease: 60.35 ---------------------------------------- Source: ['Aber zunächst die Zahlen: In Alten- und Pflegeheimen werden rund 750.000 Menschen in über 12.000 Einrichtungen stationär gepflegt. Sie können nicht mehr zu Hause leben.'] Prediction: ['In Alten und Pflegeheimen werden rund 750.000 Menschen in über 12.000 Einrichtungen stationär gepflegt.\nSie können nicht mehr zu Hause leben.'] Label: [['Aber zunächst die Zahlen: In Alten- und Pflegeheimen werden rund 750.000 Menschen in über 12.000 Einrichtungen gepflegt.']] Sacrebleu: {'score': 43.02123694194219, 'counts': [13, 10, 8, 7], 'totals': [23, 22, 21, 20], 'precisions': [56.52173913043478, 45.45454545454545, 38.095238095238095, 35.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 19} Bleu: {'bleu': 0.43021236941942204, 'precisions': [0.5652173913043478, 0.45454545454545453, 0.38095238095238093, 0.35], 'brevity_penalty': 1.0, 'length_ratio': 1.2105263157894737, 'translation_length': 23, 'reference_length': 19} Rouge: {'rouge1': 0.6666666666666665, 'rouge2': 0.6046511627906976, 'rougeL': 0.6666666666666665, 'rougeLsum': 0.6666666666666665} Sari: {'sari': 17.279151327706096} Flesh Reading Ease: 69.4 ---------------------------------------- Source: ['1,85 Millionen Menschen leben zu Hause und werden dort gepflegt, oft von ihrer Familie oder ihrem Ehepartner und unterstützt von ambulanten Pflegediensten.'] Prediction: ['In der Schweiz leben 1,85 Millionen Menschen zu Hause.\nDie Hause leben oft von ihrer Familie oder ihrem Ehepartner.'] Label: [['1,85 Millionen Menschen leben zu Hause und werden dort gepflegt, oft von ihrer Familie oder ihrem Ehepartner oder von einem ambulanten Pflegedienst.']] Sacrebleu: {'score': 33.02056718540979, 'counts': [14, 9, 6, 4], 'totals': [21, 20, 19, 18], 'precisions': [66.66666666666667, 45.0, 31.57894736842105, 22.22222222222222], 'bp': 0.8668778997501817, 'sys_len': 21, 'ref_len': 24} Bleu: {'bleu': 0.3302056718540978, 'precisions': [0.6666666666666666, 0.45, 0.3157894736842105, 0.2222222222222222], 'brevity_penalty': 0.8668778997501817, 'length_ratio': 0.875, 'translation_length': 21, 'reference_length': 24} Rouge: {'rouge1': 0.6511627906976744, 'rouge2': 0.4878048780487805, 'rougeL': 0.6046511627906976, 'rougeLsum': 0.6511627906976744} Sari: {'sari': 32.442543768008164} Flesh Reading Ease: 71.05 ---------------------------------------- Source: ['Wegen der fehlenden Pflegekräfte vor allem in Altenheimen müssen die vorhandenen Pflegerinnen und Pfleger mehr arbeiten.'] Prediction: ['In Altenheimen müssen die vorhandenen Pflegerinnen und Pfleger mehr arbeiten.\nDie fehlenden Pflegekräfte müssen die vorhandenen Pflegerinnen und Pfleger mehr arbeiten.'] Label: [['Da vor allem in Altenheimen Fachpersonal fehlt, müssen die vorhandenen Pflegerinnen und Pfleger mehr arbeiten.']] Sacrebleu: {'score': 35.45968452939005, 'counts': [10, 8, 7, 6], 'totals': [23, 22, 21, 20], 'precisions': [43.47826086956522, 36.36363636363637, 33.333333333333336, 30.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 17} Bleu: {'bleu': 0.35459684529390034, 'precisions': [0.43478260869565216, 0.36363636363636365, 0.3333333333333333, 0.3], 'brevity_penalty': 1.0, 'length_ratio': 1.3529411764705883, 'translation_length': 23, 'reference_length': 17} Rouge: {'rouge1': 0.5499999999999999, 'rouge2': 0.47368421052631576, 'rougeL': 0.5499999999999999, 'rougeLsum': 0.5499999999999999} Sari: {'sari': 48.68427868427869} Flesh Reading Ease: 34.95 ---------------------------------------- Source: ['Schon heute mangelt es an 130.000 Pflegekräften.'] Prediction: ['Die Schweiz hat am Mittwoch über 130 Millionen Pflegekräften geschlossen.\nDie Schweiz hatte am Mittwoch über 130 Millionen Franken geschlossen.'] Label: [['Schon heute fehlen 130.000 Pflegekräfte.']] Sacrebleu: {'score': 1.727223799216787, 'counts': [1, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [4.545454545454546, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.045454545454545456, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6666666666666665, 'translation_length': 22, 'reference_length': 6} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.0, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 47.42063492063491} Flesh Reading Ease: 58.85 ---------------------------------------- Source: ['Dazu kommt viel Bürokratie und es bleibt zu wenig Zeit, sich wirklich um die Alten zu kümmern.'] Prediction: ['Die Schweiz bleibt zu wenig Zeit, sich wirklich um die Alten zu kümmern.\nDazu kommt viel Bürokratie.'] Label: [['Dazu kommt viel Bürokratie und es bleibt zu wenig Zeit, sich wirklich um die alten Menschen zu kümmern.']] Sacrebleu: {'score': 59.485907024027185, 'counts': [16, 13, 10, 7], 'totals': [20, 19, 18, 17], 'precisions': [80.0, 68.42105263157895, 55.55555555555556, 41.1764705882353], 'bp': 1.0, 'sys_len': 20, 'ref_len': 20} Bleu: {'bleu': 0.5948590702402718, 'precisions': [0.8, 0.6842105263157895, 0.5555555555555556, 0.4117647058823529], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 20, 'reference_length': 20} Rouge: {'rouge1': 0.8717948717948718, 'rouge2': 0.7567567567567567, 'rougeL': 0.6153846153846154, 'rougeLsum': 0.8717948717948718} Sari: {'sari': 27.265211640211636} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['Körperliche und psychische Beschwerden des Pflegepersonals sind häufig.'] Prediction: ['Immer mehr Pflegepersonals sind psychische Beschwerden zurückgezogen.\nDas ist der erste Mal.'] Label: [['Das Personal leidet häufig unter körperlichen und psychischen Beschwerden.']] Sacrebleu: {'score': 3.737437943747671, 'counts': [3, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [21.428571428571427, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 14, 'reference_length': 10} Rouge: {'rouge1': 0.16666666666666669, 'rouge2': 0.0, 'rougeL': 0.08333333333333334, 'rougeLsum': 0.16666666666666669} Sari: {'sari': 50.727513227513235} Flesh Reading Ease: 45.3 ---------------------------------------- Source: ['Die deutsche Politik will nun gezielt Menschen aus dem Ausland anwerben - auch aus Nicht-EU-Ländern.'] Prediction: ['Die deutsche Politik will aus dem Ausland anwerben.\nNicht-EU-Ländern will die deutsche Politik gezielt aus dem Ausland anwerben.'] Label: [['Daher werden nun gezielt Menschen aus dem Ausland angesprochen, die zu Altenpflegern in Deutschland ausgebildet werden.']] Sacrebleu: {'score': 8.475426399505569, 'counts': [6, 2, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [30.0, 10.526315789473685, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.3, 0.10526315789473684, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1111111111111112, 'translation_length': 20, 'reference_length': 18} Rouge: {'rouge1': 0.27027027027027023, 'rouge2': 0.1142857142857143, 'rougeL': 0.2162162162162162, 'rougeLsum': 0.2162162162162162} Sari: {'sari': 31.72979797979798} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Der Personalmangel trifft vor allem die alten Menschen in Deutschland, die die Pflege so dringend brauchen.'] Prediction: ['Der Personalmangel trifft vor allem die alten Menschen in Deutschland, die die Pflege so dringend brauchen.\nDie Schweizer Pflege sollen so dringend brauchen.'] Label: [['Der Personalmangel trifft vor allem die alten Menschen in Deutschland, denn diese brauchen die Pflege dringend.']] Sacrebleu: {'score': 43.35090641390634, 'counts': [16, 11, 9, 8], 'totals': [26, 25, 24, 23], 'precisions': [61.53846153846154, 44.0, 37.5, 34.78260869565217], 'bp': 1.0, 'sys_len': 26, 'ref_len': 18} Bleu: {'bleu': 0.43350906413906354, 'precisions': [0.6153846153846154, 0.44, 0.375, 0.34782608695652173], 'brevity_penalty': 1.0, 'length_ratio': 1.4444444444444444, 'translation_length': 26, 'reference_length': 18} Rouge: {'rouge1': 0.717948717948718, 'rouge2': 0.5945945945945945, 'rougeL': 0.717948717948718, 'rougeLsum': 0.6666666666666667} Sari: {'sari': 59.64906832298137} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['Rund um die Innenstadt führt die sogenannte Promenade.'] Prediction: ['In der Innenstadt führt die sogenannte Promenade.\nDie Promenade führt in der Innenstadt.'] Label: [['Es gibt viele Radwege und rund um die Innenstadt führt die sogenannte Promenade.']] Sacrebleu: {'score': 32.37722713145643, 'counts': [6, 5, 4, 3], 'totals': [15, 14, 13, 12], 'precisions': [40.0, 35.714285714285715, 30.76923076923077, 25.0], 'bp': 1.0, 'sys_len': 15, 'ref_len': 14} Bleu: {'bleu': 0.3237722713145643, 'precisions': [0.4, 0.35714285714285715, 0.3076923076923077, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.0714285714285714, 'translation_length': 15, 'reference_length': 14} Rouge: {'rouge1': 0.4827586206896552, 'rouge2': 0.3703703703703704, 'rougeL': 0.4137931034482759, 'rougeLsum': 0.4827586206896552} Sari: {'sari': 25.318084693084693} Flesh Reading Ease: 56.5 ---------------------------------------- Source: ['Und das lohnt sich, denn Münster und seine wunderschöne Umgebung lassen sich gut mit dem Fahrrad erkunden.'] Prediction: ['Münster und seine wunderschöne Umgebung lassen sich gut mit dem Fahrrad erkunden.\nDas lohnt sich, denn Münster und seine wunderschöne Umgebung lassen sich gut mit dem Fahrrad erkunden.'] Label: [['Münster und seine wunderschöne Umgebung lassen sich gut mit dem Fahrrad erkunden.']] Sacrebleu: {'score': 38.82572520483827, 'counts': [13, 12, 11, 10], 'totals': [31, 30, 29, 28], 'precisions': [41.935483870967744, 40.0, 37.93103448275862, 35.714285714285715], 'bp': 1.0, 'sys_len': 31, 'ref_len': 13} Bleu: {'bleu': 0.3882572520483827, 'precisions': [0.41935483870967744, 0.4, 0.3793103448275862, 0.35714285714285715], 'brevity_penalty': 1.0, 'length_ratio': 2.3846153846153846, 'translation_length': 31, 'reference_length': 13} Rouge: {'rouge1': 0.6086956521739131, 'rouge2': 0.5909090909090909, 'rougeL': 0.6086956521739131, 'rougeLsum': 0.6086956521739131} Sari: {'sari': 68.9165602383993} Flesh Reading Ease: 60.7 ---------------------------------------- Source: ['1945 wurde das Schloss total zerbombt, zwischen 1947 und 1953 wurde es nach alten Plänen wieder aufgebaut.'] Prediction: ['1948 wurde das Schloss total zerbombt.\n1945 wurde es nach alten Plänen wieder aufgebaut.'] Label: [['1945 wurde das Schloss total durch Bomben zerstört, zwischen 1947 und 1953 wurde es nach alten Plänen wieder aufgebaut.']] Sacrebleu: {'score': 46.063468415548975, 'counts': [13, 11, 8, 6], 'totals': [16, 15, 14, 13], 'precisions': [81.25, 73.33333333333333, 57.142857142857146, 46.15384615384615], 'bp': 0.7316156289466418, 'sys_len': 16, 'ref_len': 21} Bleu: {'bleu': 0.4606346841554896, 'precisions': [0.8125, 0.7333333333333333, 0.5714285714285714, 0.46153846153846156], 'brevity_penalty': 0.7316156289466418, 'length_ratio': 0.7619047619047619, 'translation_length': 16, 'reference_length': 21} Rouge: {'rouge1': 0.7222222222222222, 'rouge2': 0.6470588235294117, 'rougeL': 0.6666666666666666, 'rougeLsum': 0.7222222222222222} Sari: {'sari': 30.611125144878002} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Für ganz Europa wichtig ist das Jahr 1648, denn da wurde in Münster der Westfälische Friede geschlossen – er beendete den Dreißigjährigen Krieg.'] Prediction: ['In Münster wurde ein Dreißigjähriger geschlossen.\nEr beendete den Dreißigjährigen Krieg.'] Label: [['Für ganz Europa wichtig ist das Jahr 1648, denn da wurde in Münster der Westfälische Friede geschlossen.\nEr beendete den Dreißigjährigen Krieg.']] Sacrebleu: {'score': 23.498399808552055, 'counts': [10, 7, 6, 5], 'totals': [13, 12, 11, 10], 'precisions': [76.92307692307692, 58.333333333333336, 54.54545454545455, 50.0], 'bp': 0.39729471319771126, 'sys_len': 13, 'ref_len': 25} Bleu: {'bleu': 0.23498399808552062, 'precisions': [0.7692307692307693, 0.5833333333333334, 0.5454545454545454, 0.5], 'brevity_penalty': 0.39729471319771137, 'length_ratio': 0.52, 'translation_length': 13, 'reference_length': 25} Rouge: {'rouge1': 0.5581395348837209, 'rouge2': 0.43902439024390244, 'rougeL': 0.5116279069767441, 'rougeLsum': 0.5116279069767441} Sari: {'sari': 28.71407946485346} Flesh Reading Ease: 34.1 ---------------------------------------- Source: ['Berühmt ist aber vor allem Hamburgs Hafen.'] Prediction: ['In Hamburg ist es zu einem terroristischen Attacke gekommen.\nDie Polizei hatte den Mannschaftswagen verlassen.'] Label: [['Berühmt ist aber vor allem der Hafen.']] Sacrebleu: {'score': 2.719665272174911, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.125, 'translation_length': 17, 'reference_length': 8} Rouge: {'rouge1': 0.08695652173913045, 'rouge2': 0.0, 'rougeL': 0.08695652173913045, 'rougeLsum': 0.08695652173913045} Sari: {'sari': 16.64021164021164} Flesh Reading Ease: 43.8 ---------------------------------------- Source: ['kommen hier jährlich an, die meisten sind Containerschiffe mit Waren aus aller Welt.'] Prediction: ['Immer mehr Containerschiffe sind die meisten aus aller Welt.\nDas meisten sind Containerschiffe mit Waren aus aller Welt.'] Label: [['kommen hier jährlich an.\nDie meisten sind Containerschiffe mit Waren aus aller Welt.']] Sacrebleu: {'score': 41.22954704312748, 'counts': [10, 8, 7, 6], 'totals': [20, 19, 18, 17], 'precisions': [50.0, 42.10526315789474, 38.888888888888886, 35.294117647058826], 'bp': 1.0, 'sys_len': 20, 'ref_len': 15} Bleu: {'bleu': 0.412295470431275, 'precisions': [0.5, 0.42105263157894735, 0.3888888888888889, 0.35294117647058826], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 20, 'reference_length': 15} Rouge: {'rouge1': 0.5625000000000001, 'rouge2': 0.5333333333333333, 'rougeL': 0.5625000000000001, 'rougeLsum': 0.5625000000000001} Sari: {'sari': 42.81512605042017} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Hamburg ist der größte Eisenbahnhafen Europas und der zweitgrößte der Welt.'] Prediction: ['In Hamburg ist der größte Eisenbahnhafen Europas und der zweitgrößte Welt.\nDie Eisenbahnhafen wurden von der Welt beschlossen.'] Label: [['Hamburg ist gleichzeitig der größte Eisenbahnhafen Europas und der zweitgrößte der Welt.']] Sacrebleu: {'score': 36.91791639939562, 'counts': [12, 9, 5, 4], 'totals': [20, 19, 18, 17], 'precisions': [60.0, 47.36842105263158, 27.77777777777778, 23.529411764705884], 'bp': 1.0, 'sys_len': 20, 'ref_len': 13} Bleu: {'bleu': 0.36917916399395617, 'precisions': [0.6, 0.47368421052631576, 0.2777777777777778, 0.23529411764705882], 'brevity_penalty': 1.0, 'length_ratio': 1.5384615384615385, 'translation_length': 20, 'reference_length': 13} Rouge: {'rouge1': 0.7647058823529412, 'rouge2': 0.625, 'rougeL': 0.7647058823529412, 'rougeLsum': 0.7647058823529412} Sari: {'sari': 34.850427350427346} Flesh Reading Ease: 54.0 ---------------------------------------- Source: ['Besonders beeindruckend ist die Speicherstadt - ein historischer Komplex von Lagerhäusern innerhalb des Hamburger Hafens.'] Prediction: ['In Lagerhäusern ist ein historischer Komplex gefunden.\nDas ist ein historischer Komplex innerhalb des Hamburger Hafens.'] Label: [['Besonders beeindruckend ist die Speicherstadt – historische Lagerhäuser innerhalb des Hamburger Hafens.']] Sacrebleu: {'score': 21.042990347620457, 'counts': [6, 4, 3, 2], 'totals': [18, 17, 16, 15], 'precisions': [33.333333333333336, 23.529411764705884, 18.75, 13.333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 13} Bleu: {'bleu': 0.21042990347620458, 'precisions': [0.3333333333333333, 0.23529411764705882, 0.1875, 0.13333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.3846153846153846, 'translation_length': 18, 'reference_length': 13} Rouge: {'rouge1': 0.41379310344827586, 'rouge2': 0.2222222222222222, 'rougeL': 0.3448275862068966, 'rougeLsum': 0.3448275862068966} Sari: {'sari': 40.37638287638288} Flesh Reading Ease: 49.15 ---------------------------------------- Source: ['Fast 600.000 Quadratmeter beträgt die Fläche, die übrigens auf Eichenpfählen erbaut ist.'] Prediction: ['Fast 600.000 Quadratmeter beträgt die Fläche, die übrigens auf Eichenpfählen erbaut ist.\nFast 600"000 Quadratmeter beträgt die Fläche, die übrigens auf Eichenpfählen erbaut ist.'] Label: [['Fast 600.000 Quadratmeter beträgt die Fläche.']] Sacrebleu: {'score': 15.896519992112562, 'counts': [7, 5, 4, 3], 'totals': [30, 29, 28, 27], 'precisions': [23.333333333333332, 17.24137931034483, 14.285714285714286, 11.11111111111111], 'bp': 1.0, 'sys_len': 30, 'ref_len': 7} Bleu: {'bleu': 0.15896519992112562, 'precisions': [0.23333333333333334, 0.1724137931034483, 0.14285714285714285, 0.1111111111111111], 'brevity_penalty': 1.0, 'length_ratio': 4.285714285714286, 'translation_length': 30, 'reference_length': 7} Rouge: {'rouge1': 0.43902439024390244, 'rouge2': 0.41025641025641024, 'rougeL': 0.43902439024390244, 'rougeLsum': 0.43902439024390244} Sari: {'sari': 51.25661375661375} Flesh Reading Ease: 56.85 ---------------------------------------- Source: ['Dieser Lagerhauskomplex ist der größte der Welt und ebenfalls ein Muss unter den Sehenswürdigkeiten Hamburgs.'] Prediction: ['Der FC Hamburgs hat einen Lagerhauskomplex gefunden.\nDer Lagerhauskomplex ist der größte der Welt und ebenfalls ein Muss unter den Sehenswürdigkeiten Hamburgs.'] Label: [['Dieser Lagerhauskomplex ist der größte der Welt.']] Sacrebleu: {'score': 20.144990145560474, 'counts': [7, 5, 4, 3], 'totals': [24, 23, 22, 21], 'precisions': [29.166666666666668, 21.73913043478261, 18.181818181818183, 14.285714285714286], 'bp': 1.0, 'sys_len': 24, 'ref_len': 8} Bleu: {'bleu': 0.20144990145560465, 'precisions': [0.2916666666666667, 0.21739130434782608, 0.18181818181818182, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 24, 'reference_length': 8} Rouge: {'rouge1': 0.43750000000000006, 'rouge2': 0.4, 'rougeL': 0.43750000000000006, 'rougeLsum': 0.43750000000000006} Sari: {'sari': 15.789890918315578} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Vor etwa 700 Jahren nannte sich so ein Zusammenschluss von Städten und Kaufmannsverbänden, denn das "Hansebündnis" sollte den Handel zwischen den Mitgliedern erleichtern.'] Prediction: ['Ein Zusammenschluss von Städten und Kaufmannsverbänden sollte den Handel zwischen den Mitgliedern erleichtern.\nDer Handel sollte zwischen den Mitgliedern erleichtern.'] Label: [['Vor etwa 700 Jahren nannte sich so ein Zusammenschluss von Städten und Kaufmannsverbänden.\nDas "Hansebündnis" sollte den Handel zwischen den Mitgliedern erleichtern.']] Sacrebleu: {'score': 40.42465214265307, 'counts': [14, 11, 9, 7], 'totals': [22, 21, 20, 19], 'precisions': [63.63636363636363, 52.38095238095238, 45.0, 36.8421052631579], 'bp': 0.8337529180751805, 'sys_len': 22, 'ref_len': 26} Bleu: {'bleu': 0.40424652142653067, 'precisions': [0.6363636363636364, 0.5238095238095238, 0.45, 0.3684210526315789], 'brevity_penalty': 0.8337529180751805, 'length_ratio': 0.8461538461538461, 'translation_length': 22, 'reference_length': 26} Rouge: {'rouge1': 0.6382978723404256, 'rouge2': 0.5777777777777778, 'rougeL': 0.6382978723404256, 'rougeLsum': 0.6382978723404256} Sari: {'sari': 30.012799451643534} Flesh Reading Ease: 47.15 ---------------------------------------- Source: ['Der bekannteste Pirat in der hamburgischen Geschichte ist Klaus Störtebeker, ihm ist in der Hafen-City am vermuteten Hinrichtungsort ein Denkmal errichtet.'] Prediction: ['Klaus Störtebeker ist in der Hafen-City am vermuteten Hinrichtungsort ein Denkmal errichtet.\nDer bekannteste Pirat in der hamburgischen Geschichte ist Klaus Störtebeker.'] Label: [['Der bekannteste Pirat in der hamburgischen Geschichte ist Klaus Störtebeker.\nIhm ist in der Hafen-City ein Denkmal errichtet.']] Sacrebleu: {'score': 62.742088451809494, 'counts': [19, 16, 13, 10], 'totals': [24, 23, 22, 21], 'precisions': [79.16666666666667, 69.56521739130434, 59.09090909090909, 47.61904761904762], 'bp': 1.0, 'sys_len': 24, 'ref_len': 20} Bleu: {'bleu': 0.6274208845180947, 'precisions': [0.7916666666666666, 0.6956521739130435, 0.5909090909090909, 0.47619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 24, 'reference_length': 20} Rouge: {'rouge1': 0.8444444444444444, 'rouge2': 0.744186046511628, 'rougeL': 0.48888888888888893, 'rougeLsum': 0.8444444444444444} Sari: {'sari': 63.79306220095694} Flesh Reading Ease: 40.3 ---------------------------------------- Source: ['Humor und Witz kann so vieles sein – hier der Beweis für eine deutsche humoristische Tradition: Der Aprilscherz.'] Prediction: ['Der Aprilscherz ist der erste Mal in der Schweiz.\nIm April 2020 wurde der Aprilscherz veröffentlicht.\nIm April 2020 wurde der Schweizer Comedian und Witz mit Humor und Witz geweigert.'] Label: [['Hier eine deutsche humoristische Tradition: Der Aprilscherz.']] Sacrebleu: {'score': 2.4858281414101677, 'counts': [3, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [9.090909090909092, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 1.0, 'sys_len': 33, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.03125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6666666666666665, 'translation_length': 33, 'reference_length': 9} Rouge: {'rouge1': 0.10526315789473685, 'rouge2': 0.05555555555555555, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.10526315789473685} Sari: {'sari': 25.723109044187474} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['Bereits 1618 taucht sie erstmals auf und bedeutet: Jemanden mit einer falschen Information hereinlegen oder jemanden zum Narren halten – ein Scherz meist auf Kosten anderer.'] Prediction: ['Jemanden wurden in den vergangenen Tagen verletzt.\nDas Scherz meist auf Kosten anderer.'] Label: [['Bereits 1618 taucht sie erstmals auf und bedeutet: Jemanden mit einer falschen Information hereinlegen.']] Sacrebleu: {'score': 3.235537081118379, 'counts': [3, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [20.0, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.9355069850316178, 'sys_len': 15, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9355069850316178, 'length_ratio': 0.9375, 'translation_length': 15, 'reference_length': 16} Rouge: {'rouge1': 0.14814814814814817, 'rouge2': 0.0, 'rougeL': 0.07407407407407408, 'rougeLsum': 0.14814814814814817} Sari: {'sari': 14.78213815170337} Flesh Reading Ease: 68.2 ---------------------------------------- Source: ['Eigentlich dachte er, dass angesichts des Datums niemand reagieren würde und war überrascht, dass sich über 100 Interessenten meldeten.'] Prediction: ['Eigentlich dachte er, dass sich über 100 Interessenten meldeten.\nDer Datum war niemand reagieren würde.\nEr wurde überrascht, dass sich über 100 Interessenten meldeten.'] Label: [['Eigentlich dachte er, dass niemand reagieren würde.\nEs meldeten sich über 100 Interessenten.']] Sacrebleu: {'score': 29.29807168354842, 'counts': [15, 10, 7, 4], 'totals': [29, 28, 27, 26], 'precisions': [51.724137931034484, 35.714285714285715, 25.925925925925927, 15.384615384615385], 'bp': 1.0, 'sys_len': 29, 'ref_len': 16} Bleu: {'bleu': 0.2929807168354841, 'precisions': [0.5172413793103449, 0.35714285714285715, 0.25925925925925924, 0.15384615384615385], 'brevity_penalty': 1.0, 'length_ratio': 1.8125, 'translation_length': 29, 'reference_length': 16} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.48648648648648646, 'rougeL': 0.6153846153846153, 'rougeLsum': 0.6153846153846153} Sari: {'sari': 60.662592272163685} Flesh Reading Ease: 55.0 ---------------------------------------- Source: ['Für viele Lacher sorgen seit einigen Jahren Komiker wie Abdelkarim, Kaya Yanar, Enissa Amani oder Bülent Ceylan.'] Prediction: ['Einige Jahre alten Komiker sorgen für einigen Jahren für einigen Lacher.\nFür viele wie Abdelkarim, Kaya Yanar, Enissa Amani oder Bülent Ceylan sorgen für viele Lacher.'] Label: [['sorgen seit einigen Jahren Komiker wie Abdelkarim, Kaya Yanar oder Bülent Ceylan.']] Sacrebleu: {'score': 18.23990545200188, 'counts': [13, 7, 4, 2], 'totals': [30, 29, 28, 27], 'precisions': [43.333333333333336, 24.137931034482758, 14.285714285714286, 7.407407407407407], 'bp': 1.0, 'sys_len': 30, 'ref_len': 14} Bleu: {'bleu': 0.18239905452001884, 'precisions': [0.43333333333333335, 0.2413793103448276, 0.14285714285714285, 0.07407407407407407], 'brevity_penalty': 1.0, 'length_ratio': 2.142857142857143, 'translation_length': 30, 'reference_length': 14} Rouge: {'rouge1': 0.5454545454545454, 'rouge2': 0.33333333333333337, 'rougeL': 0.5, 'rougeLsum': 0.5} Sari: {'sari': 22.95517522412388} Flesh Reading Ease: 50.0 ---------------------------------------- Source: ['Wie das Statistische Bundesamt berichtet, gibt es heute 79 Prozent mehr private Schulen in Deutschland als noch 1992.'] Prediction: ['Deutschland verzeichnet 79 Prozent mehr private Schulen als noch 1992.\nDas Statistische Bundesamt berichtet, dass 79 Prozent mehr private Schulen in Deutschland als noch 1992.'] Label: [['Wie das Statistische Bundesamt berichtet, gibt es heute 79 Prozent mehr private Schulen in Deutschland']] Sacrebleu: {'score': 28.977907494497092, 'counts': [11, 9, 7, 5], 'totals': [28, 27, 26, 25], 'precisions': [39.285714285714285, 33.333333333333336, 26.923076923076923, 20.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 16} Bleu: {'bleu': 0.28977907494497107, 'precisions': [0.39285714285714285, 0.3333333333333333, 0.2692307692307692, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 28, 'reference_length': 16} Rouge: {'rouge1': 0.5499999999999999, 'rouge2': 0.4736842105263159, 'rougeL': 0.5499999999999999, 'rougeLsum': 0.5499999999999999} Sari: {'sari': 21.47315765194326} Flesh Reading Ease: 62.2 ---------------------------------------- Source: ['Woher kommt dieses Wachstum?'] Prediction: ['Immer mehr Wachstum kommt es zu einem Wachstum.\nWoher kommt dieses Wachstum?'] Label: [['als noch 1992.Woher kommt dieses Wachstum?']] Sacrebleu: {'score': 34.98761149110957, 'counts': [6, 5, 4, 3], 'totals': [14, 13, 12, 11], 'precisions': [42.857142857142854, 38.46153846153846, 33.333333333333336, 27.272727272727273], 'bp': 1.0, 'sys_len': 14, 'ref_len': 9} Bleu: {'bleu': 0.3498761149110956, 'precisions': [0.42857142857142855, 0.38461538461538464, 0.3333333333333333, 0.2727272727272727], 'brevity_penalty': 1.0, 'length_ratio': 1.5555555555555556, 'translation_length': 14, 'reference_length': 9} Rouge: {'rouge1': 0.4210526315789474, 'rouge2': 0.3529411764705882, 'rougeL': 0.4210526315789474, 'rougeLsum': 0.4210526315789474} Sari: {'sari': 72.17948717948718} Flesh Reading Ease: 80.4 ---------------------------------------- Source: ['Pro Woche fallen im Schnitt eine Million Stunden durch Krankheit, Fortbildung oder Schwangerschaften von Lehrpersonal aus.'] Prediction: ['Im Schnitt fallen im Spiel eine Million Stunden durch Krankheit, Fortbildung oder Schwangerschaften von Lehrpersonal aus.\nDie Lehrpersonal-Pflicht fallen im Schnitt eine Million Stunden aus.'] Label: [['Pro Woche fallen im Schnitt eine Million Stunden aus.']] Sacrebleu: {'score': 24.180681260144137, 'counts': [8, 7, 6, 5], 'totals': [28, 27, 26, 25], 'precisions': [28.571428571428573, 25.925925925925927, 23.076923076923077, 20.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 10} Bleu: {'bleu': 0.2418068126014414, 'precisions': [0.2857142857142857, 0.25925925925925924, 0.23076923076923078, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 2.8, 'translation_length': 28, 'reference_length': 10} Rouge: {'rouge1': 0.39999999999999997, 'rouge2': 0.36363636363636365, 'rougeL': 0.39999999999999997, 'rougeLsum': 0.39999999999999997} Sari: {'sari': 22.615530604661043} Flesh Reading Ease: 56.35 ---------------------------------------- Source: ['Das Problem wird vor allem darauf zurückgeführt, dass es kaum Vertretungslehrer gebe und nicht schnell genug Ersatz kurzfristig eingestellt werden kann.'] Prediction: ['Der Vertretungslehrer wird von Vertretungslehrern nicht genug Ersatz kurzfristig eingestellt.\nDas Problem wird vor allem darauf zurückgeführt, dass es kaum Vertretungslehrer gebe und nicht schnell genug Ersatz kurzfristig eingestellt werden kann.'] Label: [['Das Problem: Es gibt kaum Vertretungslehrer.']] Sacrebleu: {'score': 3.2553776012957436, 'counts': [5, 2, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [14.705882352941176, 6.0606060606060606, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.14705882352941177, 0.06060606060606061, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.25, 'translation_length': 34, 'reference_length': 8} Rouge: {'rouge1': 0.25641025641025644, 'rouge2': 0.10810810810810811, 'rougeL': 0.25641025641025644, 'rougeLsum': 0.25641025641025644} Sari: {'sari': 38.17049808429119} Flesh Reading Ease: 47.5 ---------------------------------------- Source: ['Die Erfolgsquote von Schülerinnen und Schülern beim Bildungsabschluss ist in öffentlichen Schulen und Privatschulen übrigens nahezu gleich.'] Prediction: ['Schülerinnen und Schülern sind in öffentlichen Schulen und Privatschulen übrigens nahezu gleich.\nDie Erfolgsquote von Schülerinnen und Schülern ist in öffentlichen Schulen und Privatschulen übrigens nahezu gleich.'] Label: [['Der Erfolg von Schülern beim Bildungsabschluss ist in öffentlichen Schulen und Privatschulen übrigens nahezu gleich.']] Sacrebleu: {'score': 32.09442950496566, 'counts': [12, 9, 8, 7], 'totals': [29, 28, 27, 26], 'precisions': [41.37931034482759, 32.142857142857146, 29.62962962962963, 26.923076923076923], 'bp': 1.0, 'sys_len': 29, 'ref_len': 16} Bleu: {'bleu': 0.3209442950496565, 'precisions': [0.41379310344827586, 0.32142857142857145, 0.2962962962962963, 0.2692307692307692], 'brevity_penalty': 1.0, 'length_ratio': 1.8125, 'translation_length': 29, 'reference_length': 16} Rouge: {'rouge1': 0.5106382978723403, 'rouge2': 0.4444444444444444, 'rougeL': 0.5106382978723403, 'rougeLsum': 0.5106382978723403} Sari: {'sari': 29.561200253696747} Flesh Reading Ease: 37.8 ---------------------------------------- Source: ['Jeder deutsche Erwachsene sitzt durchschnittlich sieben Stunden am Tag.'] Prediction: ['Die Schweizer Polizei hat sich am Sonntag zu einer Veranstaltung gestartet.\nDie Polizei hat sie sieben Stunden verlassen.'] Label: [['Jeder deutsche Erwachsene sitzt durchschnittlich sieben Stunden am Tag, er bewegt sich praktisch nicht.']] Sacrebleu: {'score': 4.814971807094068, 'counts': [5, 1, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 5.2631578947368425, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 20, 'reference_length': 16} Rouge: {'rouge1': 0.25, 'rouge2': 0.06666666666666667, 'rougeL': 0.125, 'rougeLsum': 0.1875} Sari: {'sari': 10.813492063492063} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Die Sportler sind in Deutschland inzwischen in einer - wenn auch knappen – Minderheit.'] Prediction: ['Die Schweizer Sportler sind in einer Minderheit.\nSie sind in einer Minderheit.'] Label: [['Die Sportler sind in Deutschland inzwischen in einer Minderheit.']] Sacrebleu: {'score': 26.58483576665878, 'counts': [8, 5, 3, 1], 'totals': [14, 13, 12, 11], 'precisions': [57.142857142857146, 38.46153846153846, 25.0, 9.090909090909092], 'bp': 1.0, 'sys_len': 14, 'ref_len': 10} Bleu: {'bleu': 0.2658483576665877, 'precisions': [0.5714285714285714, 0.38461538461538464, 0.25, 0.09090909090909091], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 14, 'reference_length': 10} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.4210526315789474, 'rougeL': 0.6666666666666666, 'rougeLsum': 0.5714285714285715} Sari: {'sari': 43.64478114478115} Flesh Reading Ease: 74.55 ---------------------------------------- Source: ['Drittel der Befragten bewegen sich noch nicht einmal eine Stunde am Tag, den Gang zu Kopierer und Toilette mit eingerechnet.'] Prediction: ['Ein Gang hat sich in der Nacht auf Sonntag in St. Gallen einen Kopierer und Toilette mit eingerechnet.\nDer Gang hat sich noch nicht einmal eine Stunde mit eingerechnet.'] Label: [['Drittel der Befragten bewegen sich noch nicht einmal eine Stunde am Tag.']] Sacrebleu: {'score': 15.356865413172349, 'counts': [8, 5, 4, 3], 'totals': [32, 31, 30, 29], 'precisions': [25.0, 16.129032258064516, 13.333333333333334, 10.344827586206897], 'bp': 1.0, 'sys_len': 32, 'ref_len': 13} Bleu: {'bleu': 0.1535686541317235, 'precisions': [0.25, 0.16129032258064516, 0.13333333333333333, 0.10344827586206896], 'brevity_penalty': 1.0, 'length_ratio': 2.4615384615384617, 'translation_length': 32, 'reference_length': 13} Rouge: {'rouge1': 0.34146341463414637, 'rouge2': 0.25641025641025644, 'rougeL': 0.34146341463414637, 'rougeLsum': 0.34146341463414637} Sari: {'sari': 31.51028755195422} Flesh Reading Ease: 82.55 ---------------------------------------- Source: ['Um sich zu motivieren, nutzen viele Deutsche inzwischen digitale Helfer: Pulsuhren, Fitnessarmbänder und ihr Mobiltelefon mit den passenden Apps unterstützen, messen und bewerten die Aktivitäten.'] Prediction: ['Gleich viele Kunden nutzen eine digitale App-Lockerung.\nSie nutzen Pulsuhren, Fitnessarmbänder und ihr Mobiltelefon mit den passenden Apps.'] Label: [['Um sich zu motivieren, setzen viele Deutsche inzwischen digitale Helfer ein: Pulsuhren, Fitnessarmbänder und ihr Mobiltelefon mit den passenden Apps.\nDiese Helfer unterstützen, messen und bewerten die Aktivitäten.']] Sacrebleu: {'score': 27.713879155730023, 'counts': [14, 10, 9, 8], 'totals': [21, 20, 19, 18], 'precisions': [66.66666666666667, 50.0, 47.36842105263158, 44.44444444444444], 'bp': 0.5384570096736782, 'sys_len': 21, 'ref_len': 34} Bleu: {'bleu': 0.2771387915573003, 'precisions': [0.6666666666666666, 0.5, 0.47368421052631576, 0.4444444444444444], 'brevity_penalty': 0.5384570096736782, 'length_ratio': 0.6176470588235294, 'translation_length': 21, 'reference_length': 34} Rouge: {'rouge1': 0.47058823529411764, 'rouge2': 0.3673469387755102, 'rougeL': 0.47058823529411764, 'rougeLsum': 0.47058823529411764} Sari: {'sari': 29.96077206303979} Flesh Reading Ease: 30.6 ---------------------------------------- Source: ['Etwa die Hälfte von ihnen (48 Prozent) ist überzeugt, dass sie sich dadurch auch mehr bewegen.'] Prediction: ['Etwa die Hälfte von ihnen ist überzeugt, dass sie sich dadurch auch mehr bewegen.\nEtwa die Hälfte von ihnen ist überzeugt, dass sie sich dadurch auch mehr bewegen.'] Label: [['Etwa die Hälfte der Personen (48 Prozent) ist überzeugt, dass sie sich dadurch auch mehr bewegen.']] Sacrebleu: {'score': 35.325806521467335, 'counts': [14, 12, 10, 8], 'totals': [32, 31, 30, 29], 'precisions': [43.75, 38.70967741935484, 33.333333333333336, 27.586206896551722], 'bp': 1.0, 'sys_len': 32, 'ref_len': 20} Bleu: {'bleu': 0.3532580652146734, 'precisions': [0.4375, 0.3870967741935484, 0.3333333333333333, 0.27586206896551724], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 32, 'reference_length': 20} Rouge: {'rouge1': 0.5531914893617021, 'rouge2': 0.4888888888888889, 'rougeL': 0.5531914893617021, 'rougeLsum': 0.5531914893617021} Sari: {'sari': 34.01614725144137} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['Rückstände von Pestiziden in Nahrungsmitteln, Mogelpackungen von Waren, Datenmissbrauch oder Weichmacher in Kinderspielzeug und alles Mögliche, was den Menschen schadet, ist verboten.'] Prediction: ['Der Pestizid in Nahrungsmitteln, Mogelpackungen von Waren, Datenmissbrauch oder Weichmacher in Kinderspielzeug ist verboten.\nDas ist verboten.'] Label: [['Rückstände von Pestiziden in Nahrungsmitteln, Mogelpackungen von Waren, Datenmissbrauch und alles Mögliche, was den Menschen schadet, ist verboten.']] Sacrebleu: {'score': 35.82989878949841, 'counts': [11, 9, 7, 5], 'totals': [21, 20, 19, 18], 'precisions': [52.38095238095238, 45.0, 36.8421052631579, 27.77777777777778], 'bp': 0.909156442876713, 'sys_len': 21, 'ref_len': 23} Bleu: {'bleu': 0.35829898789498416, 'precisions': [0.5238095238095238, 0.45, 0.3684210526315789, 0.2777777777777778], 'brevity_penalty': 0.909156442876713, 'length_ratio': 0.9130434782608695, 'translation_length': 21, 'reference_length': 23} Rouge: {'rouge1': 0.42105263157894735, 'rouge2': 0.33333333333333326, 'rougeL': 0.42105263157894735, 'rougeLsum': 0.42105263157894735} Sari: {'sari': 19.82183872591488} Flesh Reading Ease: 36.95 ---------------------------------------- Source: ['Die Verbraucherschutzorganisationen wie der Bundesverband der Verbraucherzentralen, seine Landesorganisationen, das Bundesamt für Verbraucherschutz und Lebensmittelsicherheit warnen vor Produkten – und der Name des Herstellers wird genannt.'] Prediction: ['Der Name des Herstellers wird genannt.\nDer Name des Herstellers wird genannt.'] Label: [['Die Verbraucherschutzorganisationen wie der Bundesverband der Verbraucherzentralen, seine Landesorganisationen, das Bundesamt für Verbraucherschutz und Lebensmittelsicherheit warnen vor Produkten.']] Sacrebleu: {'score': 1.7224492538765235, 'counts': [1, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [7.142857142857143, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 0.6065306597126334, 'sys_len': 14, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6065306597126334, 'length_ratio': 0.6666666666666666, 'translation_length': 14, 'reference_length': 21} Rouge: {'rouge1': 0.12903225806451615, 'rouge2': 0.0, 'rougeL': 0.12903225806451615, 'rougeLsum': 0.06451612903225808} Sari: {'sari': 15.12398420293157} Flesh Reading Ease: 74.55 ---------------------------------------- Source: ['Das Freihandelsabkommen zwischen der Europäischen Union (EU) und den USA, die Transatlantic Trade and Investment Partnership, wird in allen Umfragen negativ bewertet, etwa im ARD-Deutschlandtrend.'] Prediction: ['Das Freihandelsabkommen zwischen der Europäischen Union (EU) und den USA, die Transatlantic Trade and Investment Partnership, wird in allen Umfragen negativ bewertet.\nIn der ARD-Deutschland-Umfrage wird das Freihandelsabkommen negativ bewertet.'] Label: [['Das Freihandelsabkommen zwischen der Europäischen Union (EU) und den USA, die Transatlantic Trade and Investment Partnership, wird in allen Umfragen negativ bewertet.']] Sacrebleu: {'score': 73.88074057391344, 'counts': [27, 26, 25, 24], 'totals': [36, 35, 34, 33], 'precisions': [75.0, 74.28571428571429, 73.52941176470588, 72.72727272727273], 'bp': 1.0, 'sys_len': 36, 'ref_len': 27} Bleu: {'bleu': 0.738807405739135, 'precisions': [0.75, 0.7428571428571429, 0.7352941176470589, 0.7272727272727273], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 36, 'reference_length': 27} Rouge: {'rouge1': 0.8214285714285715, 'rouge2': 0.8148148148148148, 'rougeL': 0.8214285714285715, 'rougeLsum': 0.8214285714285715} Sari: {'sari': 69.84848484848486} Flesh Reading Ease: 30.45 ---------------------------------------- Source: ['Es wird befürchtet, dass das europäische Verbot von Wachstumshormonen bei der Fleischproduktion nicht mehr gilt und die strengeren Zulassungskriterien für Chemikalien in Gefahr seien.'] Prediction: ['Der Europäische Verbot von Wachstumshormonen bei der Fleischproduktion wird nicht mehr gilt.\nDie strengeren Zulassungskriterien für Chemikalien seien in Gefahr.'] Label: [['Auch gibt es Ängste, dass die strengeren Zulassungskriterien für Chemikalien in Gefahr seien.']] Sacrebleu: {'score': 13.8177903937343, 'counts': [8, 4, 2, 1], 'totals': [22, 21, 20, 19], 'precisions': [36.36363636363637, 19.047619047619047, 10.0, 5.2631578947368425], 'bp': 1.0, 'sys_len': 22, 'ref_len': 15} Bleu: {'bleu': 0.13817790393734294, 'precisions': [0.36363636363636365, 0.19047619047619047, 0.1, 0.05263157894736842], 'brevity_penalty': 1.0, 'length_ratio': 1.4666666666666666, 'translation_length': 22, 'reference_length': 15} Rouge: {'rouge1': 0.5000000000000001, 'rouge2': 0.35294117647058826, 'rougeL': 0.4444444444444444, 'rougeLsum': 0.4444444444444444} Sari: {'sari': 36.58403891859774} Flesh Reading Ease: 29.6 ---------------------------------------- Source: ['Aber auch die Amerikaner haben Vorbehalte. Sie sorgen sich um die weniger strengen Zulassungsverfahren der Europäischen Union für Medikamente und den geringeren Schutz der Verbraucher in Sachen Finanzgeschäfte.'] Prediction: ['Die Amerikaner haben Vorbehalte.\nSie sorgen sich um die weniger strengen Zulassungsverfahren der Europäischen Union für Medikamente und den geringeren Schutz der Verbraucher in Sachen Finanzgeschäfte.'] Label: [['Aber auch die Amerikaner sorgen sich, zum Beispiel um die weniger strengen Zulassungsverfahren der EU für Medikamente.']] Sacrebleu: {'score': 21.281701380712917, 'counts': [12, 7, 4, 3], 'totals': [28, 27, 26, 25], 'precisions': [42.857142857142854, 25.925925925925927, 15.384615384615385, 12.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 19} Bleu: {'bleu': 0.21281701380712922, 'precisions': [0.42857142857142855, 0.25925925925925924, 0.15384615384615385, 0.12], 'brevity_penalty': 1.0, 'length_ratio': 1.4736842105263157, 'translation_length': 28, 'reference_length': 19} Rouge: {'rouge1': 0.5531914893617021, 'rouge2': 0.39999999999999997, 'rougeL': 0.5531914893617021, 'rougeLsum': 0.5531914893617021} Sari: {'sari': 16.441687112869378} Flesh Reading Ease: 32.45 ---------------------------------------- Source: ['Spielerisch geht dann gar nichts mehr, sondern nur noch mühsam.'] Prediction: ['Die Schweizer Schweizer kämpfen mit einem Sieg auf den Europameister.\nDas Spiel geht nicht mehr aus, sondern nur noch mühsam.'] Label: [['Spielerisch geht dann gar nichts mehr.']] Sacrebleu: {'score': 2.1671320168371846, 'counts': [3, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [13.043478260869565, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.13043478260869565, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2857142857142856, 'translation_length': 23, 'reference_length': 7} Rouge: {'rouge1': 0.14285714285714288, 'rouge2': 0.0, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.14285714285714288} Sari: {'sari': 11.666666666666666} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Sie sind erfinderisch und täuschen Sehschwächen vor, argumentieren mit „Brille vergessen“ und kommen irgendwie durch den Tag.'] Prediction: ['Eine der besten Jungen wird von der "Brille vergessen" auf der Welt begonnen.\nSie sind erfinderisch und täuschen Sehschwächen vor.\nSie argumentieren mit "Brille vergessen" und kommen irgendwie durch den Tag.'] Label: [['Sie sind erfinderisch und täuschen Sehschwächen vor und kommen irgendwie durch den Tag.']] Sacrebleu: {'score': 29.512829627446493, 'counts': [14, 12, 10, 8], 'totals': [38, 37, 36, 35], 'precisions': [36.8421052631579, 32.432432432432435, 27.77777777777778, 22.857142857142858], 'bp': 1.0, 'sys_len': 38, 'ref_len': 14} Bleu: {'bleu': 0.2951282962744651, 'precisions': [0.3684210526315789, 0.32432432432432434, 0.2777777777777778, 0.22857142857142856], 'brevity_penalty': 1.0, 'length_ratio': 2.7142857142857144, 'translation_length': 38, 'reference_length': 14} Rouge: {'rouge1': 0.625, 'rouge2': 0.5652173913043478, 'rougeL': 0.625, 'rougeLsum': 0.625} Sari: {'sari': 65.73809523809524} Flesh Reading Ease: 64.4 ---------------------------------------- Source: ['Analphabetismus bewirkt Leiden, Isolation, Menschen am Arbeitsplatz ziehen sich zurück, sie verlieren ihr Selbstwertgefühl und häufig den Job.'] Prediction: ['In der Schweiz werden die Menschen am Arbeitsplatz verlieren.\nAlle Menschen verlieren ihr Selbstwertgefühl.'] Label: [['Analphabetismus bewirkt Leiden und Isolation.\nMenschen am Arbeitsplatz ziehen sich zurück, verlieren ihr Selbstwertgefühl und häufig den Job.']] Sacrebleu: {'score': 12.036488675317813, 'counts': [8, 4, 2, 0], 'totals': [16, 15, 14, 13], 'precisions': [50.0, 26.666666666666668, 14.285714285714286, 3.8461538461538463], 'bp': 0.7316156289466418, 'sys_len': 16, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.5, 0.26666666666666666, 0.14285714285714285, 0.0], 'brevity_penalty': 0.7316156289466418, 'length_ratio': 0.7619047619047619, 'translation_length': 16, 'reference_length': 21} Rouge: {'rouge1': 0.3888888888888889, 'rouge2': 0.2941176470588235, 'rougeL': 0.3888888888888889, 'rougeLsum': 0.3888888888888889} Sari: {'sari': 22.476124952905142} Flesh Reading Ease: 61.85 ---------------------------------------- Source: ['In Deutschland gibt es verschiedene Initiativen, die sich zur „Nationalen Strategie für Alphabetisierung und Grundbildung Erwachsener“ zusammengeschlossen haben.'] Prediction: ['Google-Initiativen haben in Deutschland eine Strategie für Alphabetisierung und Grundbildung Erwachsener zusammengeschlossen.\nIn Deutschland gibt es verschiedene Initiativen.'] Label: [['Es gibt verschiedene Initiativen, die sich zur „Nationalen Strategie für Alphabetisierung und Grundbildung Erwachsener“ zusammengeschlossen haben.']] Sacrebleu: {'score': 23.08087288583725, 'counts': [11, 5, 3, 2], 'totals': [20, 19, 18, 17], 'precisions': [55.0, 26.31578947368421, 16.666666666666668, 11.764705882352942], 'bp': 1.0, 'sys_len': 20, 'ref_len': 18} Bleu: {'bleu': 0.2308087288583725, 'precisions': [0.55, 0.2631578947368421, 0.16666666666666666, 0.11764705882352941], 'brevity_penalty': 1.0, 'length_ratio': 1.1111111111111112, 'translation_length': 20, 'reference_length': 18} Rouge: {'rouge1': 0.7027027027027027, 'rouge2': 0.45714285714285713, 'rougeL': 0.48648648648648646, 'rougeLsum': 0.5945945945945946} Sari: {'sari': 14.6494708994709} Flesh Reading Ease: -4.51 ---------------------------------------- Source: ['Dazu gibt es eine Wanderausstellung „Lesen & Schreiben – Mein Schlüssel zur Welt“.'] Prediction: ['In der Nähe von Zürich wurde eine Wanderausstellung entdeckt.\nDie Wanderausstellung ist auf der Welt gekommen.'] Label: [['Dazu gibt es eine Ausstellung „Lesen & Schreiben – Mein Schlüssel zur Welt“.']] Sacrebleu: {'score': 2.5540496664715904, 'counts': [2, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [11.11111111111111, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2857142857142858, 'translation_length': 18, 'reference_length': 14} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 7.891414141414142} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Trinkwasser, das den Menschen von den Wasserversorgern ihrer Stadt oder Gemeinde zur Verfügung gestellt wird, gilt als Grundnahrungsmittel und ist das am besten kontrollierte Lebensmittel überhaupt.'] Prediction: ['In der Schweiz wird Trinkwasser gefunden.\nDer Grundnahrungsmittel ist ein überhauptes Lebensmittel.'] Label: [['Trinkwasser gilt als Grundnahrungsmittel und ist das am besten kontrollierte Lebensmittel überhaupt.']] Sacrebleu: {'score': 4.246549372656572, 'counts': [5, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [35.714285714285715, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.35714285714285715, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0769230769230769, 'translation_length': 14, 'reference_length': 13} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.0, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 25.349453584102704} Flesh Reading Ease: 51.15 ---------------------------------------- Source: ['Die Massentierhaltung verbraucht Unmengen an Futter.'] Prediction: ['Die Corona-Pandemie hat in den USA einen Massentierhaltungsdelikt erreicht.\nDie Massentierhaltung verbraucht Unmengen an Futter.'] Label: [['Aber die Massentierhaltung verbraucht Unmengen an Futter.']] Sacrebleu: {'score': 28.175950490399515, 'counts': [6, 5, 4, 3], 'totals': [17, 16, 15, 14], 'precisions': [35.294117647058826, 31.25, 26.666666666666668, 21.428571428571427], 'bp': 1.0, 'sys_len': 17, 'ref_len': 8} Bleu: {'bleu': 0.28175950490399515, 'precisions': [0.35294117647058826, 0.3125, 0.26666666666666666, 0.21428571428571427], 'brevity_penalty': 1.0, 'length_ratio': 2.125, 'translation_length': 17, 'reference_length': 8} Rouge: {'rouge1': 0.5217391304347825, 'rouge2': 0.47619047619047616, 'rougeL': 0.5217391304347825, 'rougeLsum': 0.5217391304347825} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 37.95 ---------------------------------------- Source: ['Die Ausscheidungen – die Gülle – landet auf den Feldern für die Düngung genau dieser Pflanzen.'] Prediction: ['Ausscheidungen sind für die Düngung genau dieser Pflanzen.\nDie Ausscheidungen sind die Gülle, die Gülle sind die Gülle.'] Label: [['Die Ausscheidungen – die Gülle – landet auf den Feldern für die Düngung dieser Pflanzen.']] Sacrebleu: {'score': 14.296145628396559, 'counts': [10, 6, 2, 0], 'totals': [21, 20, 19, 18], 'precisions': [47.61904761904762, 30.0, 10.526315789473685, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.47619047619047616, 0.3, 0.10526315789473684, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3125, 'translation_length': 21, 'reference_length': 16} Rouge: {'rouge1': 0.6153846153846153, 'rouge2': 0.43243243243243246, 'rougeL': 0.41025641025641024, 'rougeLsum': 0.6153846153846153} Sari: {'sari': 12.622446810250374} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Doch die Menge macht’s: Denn Nitrat ist gut löslich und reichert sich im Trinkwasser an, ein Zuviel an Nitrat können auch Pflanzen speichern.'] Prediction: ['Nitrat ist gut löslich und reichert sich im Trinkwasser an.\nAuch Pflanzen können auch Nitrat speichern.'] Label: [['Nitrat ist gut löslich und reichert sich im Trinkwasser an.']] Sacrebleu: {'score': 57.30574043798692, 'counts': [11, 10, 9, 8], 'totals': [18, 17, 16, 15], 'precisions': [61.111111111111114, 58.8235294117647, 56.25, 53.333333333333336], 'bp': 1.0, 'sys_len': 18, 'ref_len': 11} Bleu: {'bleu': 0.573057404379869, 'precisions': [0.6111111111111112, 0.5882352941176471, 0.5625, 0.5333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.6363636363636365, 'translation_length': 18, 'reference_length': 11} Rouge: {'rouge1': 0.7586206896551725, 'rouge2': 0.7407407407407407, 'rougeL': 0.7586206896551725, 'rougeLsum': 0.7586206896551725} Sari: {'sari': 77.98708372237785} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['In hoher Konzentration aber schadet es den Menschen.50'] Prediction: ['In der Schweiz schaden sich die Menschen.\nIn der Schweiz schaden sie den Menschen.'] Label: [['In hoher Konzentration aber schadet es.50']] Sacrebleu: {'score': 2.908317710573757, 'counts': [2, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [12.5, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 16, 'reference_length': 8} Rouge: {'rouge1': 0.09523809523809523, 'rouge2': 0.0, 'rougeL': 0.09523809523809523, 'rougeLsum': 0.09523809523809523} Sari: {'sari': 12.3015873015873} Flesh Reading Ease: 96.95 ---------------------------------------- Source: ['Milligramm pro Liter Wasser (mg/l) sind erlaubt, aber Messungen wie zum Beispiel beim Wasserversorger im Bundesland Niedersachsen haben Werte von 250 mg/l ermittelt.'] Prediction: ['Im Bundesland Niedersachsen werden mehrere Milligramm pro Liter Wasser erlaubt.\nEs handelt sich um einen Milligramm-Wasser-Million-Wasser.'] Label: [['Milligramm pro Liter Wasser (mg/l) sind erlaubt.\nMessungen wie zum Beispiel beim Wasserversorger im Bundesland Niedersachsen haben Werte von 250 mg/l ermittelt.']] Sacrebleu: {'score': 9.606115535301361, 'counts': [9, 5, 2, 1], 'totals': [18, 17, 16, 15], 'precisions': [50.0, 29.41176470588235, 12.5, 6.666666666666667], 'bp': 0.513417119032592, 'sys_len': 18, 'ref_len': 30} Bleu: {'bleu': 0.09606115535301363, 'precisions': [0.5, 0.29411764705882354, 0.125, 0.06666666666666667], 'brevity_penalty': 0.513417119032592, 'length_ratio': 0.6, 'translation_length': 18, 'reference_length': 30} Rouge: {'rouge1': 0.372093023255814, 'rouge2': 0.24390243902439024, 'rougeL': 0.23255813953488372, 'rougeLsum': 0.372093023255814} Sari: {'sari': 15.062862722426033} Flesh Reading Ease: 31.6 ---------------------------------------- Source: ['Umweltverbände in Deutschland fordern eine Trendumkehr im Wasserschutz.'] Prediction: ['In Deutschland wurden immer mehr Menschen verletzt.\nDie Umweltverbände fordern eine Trendumkehr im Wasserschutz.'] Label: [['Umweltverbände in Deutschland fordern eine Umkehr im Wasserschutz.']] Sacrebleu: {'score': 12.451643194233869, 'counts': [7, 3, 1, 0], 'totals': [16, 15, 14, 13], 'precisions': [43.75, 20.0, 7.142857142857143, 3.8461538461538463], 'bp': 1.0, 'sys_len': 16, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.4375, 0.2, 0.07142857142857142, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 16, 'reference_length': 9} Rouge: {'rouge1': 0.6666666666666667, 'rouge2': 0.36363636363636365, 'rougeL': 0.5, 'rougeLsum': 0.6666666666666667} Sari: {'sari': 26.59313725490196} Flesh Reading Ease: 44.3 ---------------------------------------- Source: ['Sie verweisen darauf, dass die Überdüngung schon heute jährliche Kosten von bis zu 25 Milliarden Euro für sauberes Trinkwasser verursache.'] Prediction: ['Die Überdüngung von bis zu 25 Milliarden Euro für sauberes Trinkwasser verursache schon jährliche Kosten.\nDie Überdüngung wird schon heute von bis zu 25 Milliarden Euro verursache.'] Label: [['Sie verweisen darauf, dass durch die Überdüngung schon heute jährliche Kosten von bis zu 25 Milliarden Euro für sauberes Trinkwasser entstehen.']] Sacrebleu: {'score': 32.423646214266995, 'counts': [15, 10, 7, 6], 'totals': [29, 28, 27, 26], 'precisions': [51.724137931034484, 35.714285714285715, 25.925925925925927, 23.076923076923077], 'bp': 1.0, 'sys_len': 29, 'ref_len': 23} Bleu: {'bleu': 0.3242364621426699, 'precisions': [0.5172413793103449, 0.35714285714285715, 0.25925925925925924, 0.23076923076923078], 'brevity_penalty': 1.0, 'length_ratio': 1.2608695652173914, 'translation_length': 29, 'reference_length': 23} Rouge: {'rouge1': 0.6545454545454547, 'rouge2': 0.5283018867924527, 'rougeL': 0.4727272727272728, 'rougeLsum': 0.5454545454545454} Sari: {'sari': 28.457316005066424} Flesh Reading Ease: 49.5 ---------------------------------------- Source: ['Industrie 4.0 bedeutet, dass Menschen und Maschinen und die gesamten Prozesse in einer Produktion vernetzt sind und miteinander kommunizieren.'] Prediction: ['Die Maschinen und Maschinen in der Schweiz sind miteinander kommunizieren.\nDie Welt ist eine Produktion von 4.0.\nDie Welt ist eine Produktion von Menschen und Maschinen in der Schweiz.'] Label: [['Industrie 4.0 bedeutet, dass Menschen und Maschinen und alle Prozesse in einer Produktion vernetzt sind und miteinander kommunizieren.']] Sacrebleu: {'score': 8.93476102725194, 'counts': [11, 5, 2, 0], 'totals': [32, 31, 30, 29], 'precisions': [34.375, 16.129032258064516, 6.666666666666667, 1.7241379310344827], 'bp': 1.0, 'sys_len': 32, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.34375, 0.16129032258064516, 0.06666666666666667, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 32, 'reference_length': 20} Rouge: {'rouge1': 0.44897959183673464, 'rouge2': 0.21276595744680854, 'rougeL': 0.24489795918367346, 'rougeLsum': 0.3673469387755102} Sari: {'sari': 18.51181730933953} Flesh Reading Ease: 65.0 ---------------------------------------- Source: ['Die Maschinen werden immer „intelligenter“, Produktionsprozesse werden für den Menschen vordergründig einfacher, aber auch komplexer.'] Prediction: ['Die Maschinen in der Schweiz sind immer wieder überzeugt.\nDie Produktionsprozesse werden für den Menschen vordergründig einfacher, aber auch komplexer.'] Label: [['Die Maschinen werden immer intelligenter, Produktionsprozesse werden für den Menschen einfacher, aber auch komplexer.']] Sacrebleu: {'score': 38.9671881244909, 'counts': [14, 10, 7, 5], 'totals': [23, 22, 21, 20], 'precisions': [60.869565217391305, 45.45454545454545, 33.333333333333336, 25.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 17} Bleu: {'bleu': 0.38967188124490904, 'precisions': [0.6086956521739131, 0.45454545454545453, 0.3333333333333333, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.3529411764705883, 'translation_length': 23, 'reference_length': 17} Rouge: {'rouge1': 0.7027027027027029, 'rouge2': 0.5142857142857143, 'rougeL': 0.7027027027027029, 'rougeLsum': 0.7027027027027029} Sari: {'sari': 41.06854838709677} Flesh Reading Ease: 53.0 ---------------------------------------- Source: ['Immer dann, wenn neue Erfindungen in der Technik den Menschen Arbeit abnehmen, spricht man von einer industriellen Revolution.'] Prediction: ['Eine industriellen Technik ist eine revolution für Menschen.\nEs ist eine technische Technik, die Menschen Arbeit abnehmen.'] Label: [['Immer dann, wenn neue Maschinen den Menschen Arbeit abgenommen haben, spricht man von einer industriellen Revolution.']] Sacrebleu: {'score': 4.814971807094068, 'counts': [5, 1, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 5.2631578947368425, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0526315789473684, 'translation_length': 20, 'reference_length': 19} Rouge: {'rouge1': 0.23529411764705882, 'rouge2': 0.0625, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.23529411764705882} Sari: {'sari': 18.774928774928775} Flesh Reading Ease: 42.8 ---------------------------------------- Source: ['Der Kunde bestellt zum Beispiel sein Auto über das Internet und konfiguriert es nach seinen Ideen und Wünschen.'] Prediction: ['Ein Kunde konnte sein Auto nicht mehr machen.\nDer Kunde bestellt sein Auto über das Internet.'] Label: [['Der Kunde bestellt zum Beispiel sein Auto über das Internet und kann es nach seinen Ideen und Wünschen konfigurieren.']] Sacrebleu: {'score': 24.781798830951757, 'counts': [9, 6, 4, 2], 'totals': [18, 17, 16, 15], 'precisions': [50.0, 35.294117647058826, 25.0, 13.333333333333334], 'bp': 0.8948393168143697, 'sys_len': 18, 'ref_len': 20} Bleu: {'bleu': 0.24781798830951757, 'precisions': [0.5, 0.35294117647058826, 0.25, 0.13333333333333333], 'brevity_penalty': 0.8948393168143697, 'length_ratio': 0.9, 'translation_length': 18, 'reference_length': 20} Rouge: {'rouge1': 0.4444444444444445, 'rouge2': 0.35294117647058826, 'rougeL': 0.4444444444444445, 'rougeLsum': 0.4444444444444445} Sari: {'sari': 25.352683808566162} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Unternehmen kommen weg von der Massenproduktion und Lagerhaltung hin zu Einzelanfertigungen nach Bedarf.'] Prediction: ['Unternehmen kommen weg von der Massenproduktion und Lagerhaltung hin zu Einzelanfertigungen nach Bedarf.\nUnternehmen kommen weg von der Massenproduktion und Lagerhaltung hin zu Einzelanfertigungen nach Bedarf.'] Label: [['Unternehmen gehen von der Massenproduktion und Lagerhaltung zu Einzelanfertigungen nach Bedarf.']] Sacrebleu: {'score': 25.60440513907562, 'counts': [11, 8, 6, 4], 'totals': [28, 27, 26, 25], 'precisions': [39.285714285714285, 29.62962962962963, 23.076923076923077, 16.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 12} Bleu: {'bleu': 0.2560440513907562, 'precisions': [0.39285714285714285, 0.2962962962962963, 0.23076923076923078, 0.16], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 28, 'reference_length': 12} Rouge: {'rouge1': 0.5405405405405405, 'rouge2': 0.4, 'rougeL': 0.5405405405405405, 'rougeLsum': 0.5405405405405405} Sari: {'sari': 57.01587301587302} Flesh Reading Ease: 20.75 ---------------------------------------- Source: ['Industrie 4.0 verlangt immer bessere Qualifizierung.'] Prediction: ['Die Renault-Räikkönen verliert mit 4.0 im Qualifying-Bundesstaat.\nDie Formel-1-Pilotie verliert mit 4.0 immer bessere Qualifizierung.'] Label: [['Industrie 4.0 verlangt vom Menschen eine immer bessere Qualifizierung.']] Sacrebleu: {'score': 13.400825781778892, 'counts': [5, 3, 2, 1], 'totals': [19, 18, 17, 16], 'precisions': [26.31578947368421, 16.666666666666668, 11.764705882352942, 6.25], 'bp': 1.0, 'sys_len': 19, 'ref_len': 10} Bleu: {'bleu': 0.13400825781778894, 'precisions': [0.2631578947368421, 0.16666666666666666, 0.11764705882352941, 0.0625], 'brevity_penalty': 1.0, 'length_ratio': 1.9, 'translation_length': 19, 'reference_length': 10} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.1935483870967742, 'rougeL': 0.30303030303030304, 'rougeLsum': 0.30303030303030304} Sari: {'sari': 44.86111111111111} Flesh Reading Ease: 35.8 ---------------------------------------- Source: ['Er muss Computerprogramme beherrschen, anpassen, verstehen, wie die Maschinen und Prozesse zusammenpassen und mit ihnen kommunizieren.'] Prediction: ['Ein Computerprogramme hat sich beherrschen, anpassen, verstehen, wie die Maschinen und Prozesse zusammenpassen und mit ihnen kommunizieren.\nDie Welt ist eine Maschinen-Infektion mit dem Computerprogramm.'] Label: [['Er muss Computerprogramme beherrschen.\nEr muss verstehen, wie die Maschinen und Prozesse zusammenpassen und kommunizieren.']] Sacrebleu: {'score': 29.94985311892038, 'counts': [14, 9, 7, 6], 'totals': [30, 29, 28, 27], 'precisions': [46.666666666666664, 31.03448275862069, 25.0, 22.22222222222222], 'bp': 1.0, 'sys_len': 30, 'ref_len': 18} Bleu: {'bleu': 0.2994985311892038, 'precisions': [0.4666666666666667, 0.3103448275862069, 0.25, 0.2222222222222222], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 30, 'reference_length': 18} Rouge: {'rouge1': 0.5365853658536585, 'rouge2': 0.358974358974359, 'rougeL': 0.5365853658536585, 'rougeLsum': 0.5365853658536585} Sari: {'sari': 30.041041530767558} Flesh Reading Ease: 27.1 ---------------------------------------- Source: ['Schon jetzt ist sicher, dass man hoch qualifizierte Arbeiter braucht.'] Prediction: ['Manche Schweizer Arbeiter brauchen sich nicht mehr qualifiziert.\nDie Schweizer Arbeiter brauchen sich trotzdem nicht mehr qualifiziert.'] Label: [['Schon jetzt ist sicher, dass man in Zukunft mehr hoch qualifizierte Arbeiter braucht.']] Sacrebleu: {'score': 2.6643211213888947, 'counts': [3, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2666666666666666, 'translation_length': 19, 'reference_length': 15} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.06666666666666667} Sari: {'sari': 8.971861471861471} Flesh Reading Ease: 60.35 ---------------------------------------- Source: ['Schwere körperliche Arbeiten werden mehr und mehr von Maschinen und Robotern übernommen.'] Prediction: ['Die Welt ist eine körperliche Arbeit mit Maschinen und Robotern.\nDie Welt ist eine körperliche Arbeit mit dem Robotern.'] Label: [['Schwere körperliche Arbeiten werden immer öfter von Maschinen und Robotern übernommen.']] Sacrebleu: {'score': 7.681104116622756, 'counts': [5, 2, 1, 0], 'totals': [21, 20, 19, 18], 'precisions': [23.80952380952381, 10.0, 5.2631578947368425, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.23809523809523808, 0.1, 0.05263157894736842, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 21, 'reference_length': 12} Rouge: {'rouge1': 0.30303030303030304, 'rouge2': 0.19354838709677416, 'rougeL': 0.30303030303030304, 'rougeLsum': 0.30303030303030304} Sari: {'sari': 24.960317460317462} Flesh Reading Ease: 65.2 ---------------------------------------- Source: ['Die Vernetzung ermöglicht das Arbeiten von jedem Ort aus und ist zeitlich flexibler.'] Prediction: ['Die Vernetzung von jedem Ort ist zeitlich flexibler.\nDie Arbeiten von jedem Ort ermöglicht das Arbeiten von jedem Ort aus.'] Label: [['Gut ist: Die Vernetzung über das Internet ermöglicht das Arbeiten von jedem Ort aus und man ist zeitlich flexibler.']] Sacrebleu: {'score': 40.12328254927306, 'counts': [13, 10, 7, 5], 'totals': [22, 21, 20, 19], 'precisions': [59.09090909090909, 47.61904761904762, 35.0, 26.31578947368421], 'bp': 1.0, 'sys_len': 22, 'ref_len': 21} Bleu: {'bleu': 0.40123282549273065, 'precisions': [0.5909090909090909, 0.47619047619047616, 0.35, 0.2631578947368421], 'brevity_penalty': 1.0, 'length_ratio': 1.0476190476190477, 'translation_length': 22, 'reference_length': 21} Rouge: {'rouge1': 0.6341463414634146, 'rouge2': 0.5128205128205129, 'rougeL': 0.4878048780487805, 'rougeLsum': 0.6341463414634146} Sari: {'sari': 50.481401314734654} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Die neue Generation der Roboter wie YuMi - das ist die Kurzform für „You and Me“ des Mannheimer Unternehmens ABB - ist nicht mehr in Käfigen eingesperrt, sondern arbeitet Seite an Seite mit Menschen.'] Prediction: ['Die neue Generation der Roboter wie YuMi ist nicht mehr in Käfigen eingesperrt.\nDie Kurzform für "You and Me“ des Mannheimer Unternehmens ABB ist nicht mehr in Käfigen eingesperrt.'] Label: [['Die neue Generation der Roboter wie YuMi - das ist die Kurzform für „You and Me“ des Mannheimer Unternehmens ABB - ist nicht mehr in Käfigen eingesperrt.']] Sacrebleu: {'score': 52.13417846694325, 'counts': [23, 18, 14, 11], 'totals': [32, 31, 30, 29], 'precisions': [71.875, 58.064516129032256, 46.666666666666664, 37.93103448275862], 'bp': 1.0, 'sys_len': 32, 'ref_len': 28} Bleu: {'bleu': 0.5213417846694324, 'precisions': [0.71875, 0.5806451612903226, 0.4666666666666667, 0.3793103448275862], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 32, 'reference_length': 28} Rouge: {'rouge1': 0.8813559322033898, 'rouge2': 0.8070175438596492, 'rougeL': 0.8813559322033898, 'rougeLsum': 0.847457627118644} Sari: {'sari': 47.16521277103119} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['Sie nehmen ihm eintönige oder körperlich schwere Arbeiten ab.'] Prediction: ['Eine Frau (24) und ihr Partner (29) sind eintönig.\nSie werden ihm schwer verlassen.\nSie werden ihm eintönig oder körperlich schwere Arbeiten abgeben.'] Label: [['Sie nehmen dem Menschen eintönige oder körperlich schwere Arbeiten ab.']] Sacrebleu: {'score': 8.601325107393585, 'counts': [6, 3, 2, 1], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 10.344827586206897, 7.142857142857143, 3.7037037037037037], 'bp': 1.0, 'sys_len': 30, 'ref_len': 11} Bleu: {'bleu': 0.08601325107393584, 'precisions': [0.2, 0.10344827586206896, 0.07142857142857142, 0.037037037037037035], 'brevity_penalty': 1.0, 'length_ratio': 2.727272727272727, 'translation_length': 30, 'reference_length': 11} Rouge: {'rouge1': 0.3684210526315789, 'rouge2': 0.2222222222222222, 'rougeL': 0.3684210526315789, 'rougeLsum': 0.3684210526315789} Sari: {'sari': 30.45634920634921} Flesh Reading Ease: 72.85 ---------------------------------------- Source: ['Oder der Leichtbauroboter Iiwa der Firma Kuka: Er ist in der Lage, ein Bier auszuschenken.'] Prediction: ['Die Schweizer Firma Kuka hat einen Bier ausgebaut.\nDer Leichtbauroboter ist in der Lage ein Bier auszuschenken.'] Label: [['Oder der Leichtbauroboter Iiwa der Firma Kuka: Er kann ein Bier ausschenken.']] Sacrebleu: {'score': 6.585833693600902, 'counts': [7, 2, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [36.8421052631579, 11.11111111111111, 2.9411764705882355, 1.5625], 'bp': 1.0, 'sys_len': 19, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.3684210526315789, 0.1111111111111111, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3571428571428572, 'translation_length': 19, 'reference_length': 14} Rouge: {'rouge1': 0.4827586206896552, 'rouge2': 0.2222222222222222, 'rougeL': 0.3448275862068966, 'rougeLsum': 0.4827586206896552} Sari: {'sari': 20.4936014358039} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['Von allen 16 Bundesländern Deutschland ist Bayern regelmäßig das beliebteste Land.'] Prediction: ['Bayern steht in Deutschland im beliebtesten Land.\nBayern hat sich in allen 16 Bundesländern regelmäßig das beliebteste Land verabschiedet.'] Label: [['Von allen 16 Bundesländern Deutschland ist Bayern das beliebteste Land.']] Sacrebleu: {'score': 13.304062588217075, 'counts': [9, 5, 2, 0], 'totals': [21, 20, 19, 18], 'precisions': [42.857142857142854, 25.0, 10.526315789473685, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.42857142857142855, 0.25, 0.10526315789473684, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9090909090909092, 'translation_length': 21, 'reference_length': 11} Rouge: {'rouge1': 0.5625, 'rouge2': 0.3333333333333333, 'rougeL': 0.43749999999999994, 'rougeLsum': 0.5} Sari: {'sari': 23.204365079365083} Flesh Reading Ease: 47.65 ---------------------------------------- Source: ['Hier begegnet man vielen Wanderern, im Winter ist Skifahren angesagt.'] Prediction: ['In den USA werden viele Menschen verletzt.\nEinige Menschen sind dabei verletzt worden.'] Label: [['Hier trifft man viele Wanderer, im Winter fährt man Ski.']] Sacrebleu: {'score': 3.1251907639724417, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 15, 'reference_length': 12} Rouge: {'rouge1': 0.08333333333333334, 'rouge2': 0.0, 'rougeL': 0.08333333333333334, 'rougeLsum': 0.08333333333333334} Sari: {'sari': 38.952922077922075} Flesh Reading Ease: 68.2 ---------------------------------------- Source: ['Die Eiszeit hat die bayerischen Nordalpen besonders geformt:'] Prediction: ['Die bayerische Nordalpen hat die Eiszeit besonders geformt.\nDie Eiszeit hat die bayerischen Nordalpen besonders geformt.'] Label: [['Die Landschaft ist von der Eiszeit geformt:']] Sacrebleu: {'score': 2.8265205879007453, 'counts': [3, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [16.666666666666668, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 18, 'reference_length': 8} Rouge: {'rouge1': 0.26086956521739124, 'rouge2': 0.0, 'rougeL': 0.26086956521739124, 'rougeLsum': 0.26086956521739124} Sari: {'sari': 20.698924731182796} Flesh Reading Ease: 60.85 ---------------------------------------- Source: ['München gilt als eine der schönsten Städte Deutschlands.'] Prediction: ['Die Schweiz hat einen schönsten Städte.\nDie Schweiz hat einen grossen Chef.'] Label: [['München gehört zu den schönsten Städten Deutschlands.']] Sacrebleu: {'score': 3.377156414337854, 'counts': [2, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [14.285714285714286, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 14, 'reference_length': 8} Rouge: {'rouge1': 0.23999999999999996, 'rouge2': 0.17391304347826086, 'rougeL': 0.23999999999999996, 'rougeLsum': 0.23999999999999996} Sari: {'sari': 50.79365079365079} Flesh Reading Ease: 97.95 ---------------------------------------- Source: ['Sie hat etwa 1,5 Millionen Einwohner und das Oktoberfest – das größte Volksfest der Welt mit jährlich rund 6 Millionen Gästen.'] Prediction: ['Das größte Volksfest der Welt hat jährlich rund 6 Millionen Gästen.\nDie Welt hat etwa 1,5 Millionen Einwohner und das Oktoberfest mit jährlich rund 6 Millionen Gästen.'] Label: [['Sie hat etwa 1,5 Millionen Einwohner und ist bekannt durch das Oktoberfest – das größte Volksfest der Welt mit jährlich rund 6 Millionen Gästen.']] Sacrebleu: {'score': 45.79927441960449, 'counts': [19, 15, 11, 8], 'totals': [29, 28, 27, 26], 'precisions': [65.51724137931035, 53.57142857142857, 40.74074074074074, 30.76923076923077], 'bp': 1.0, 'sys_len': 29, 'ref_len': 25} Bleu: {'bleu': 0.45799274419604485, 'precisions': [0.6551724137931034, 0.5357142857142857, 0.4074074074074074, 0.3076923076923077], 'brevity_penalty': 1.0, 'length_ratio': 1.16, 'translation_length': 29, 'reference_length': 25} Rouge: {'rouge1': 0.7666666666666667, 'rouge2': 0.6551724137931033, 'rougeL': 0.5666666666666667, 'rougeLsum': 0.7666666666666667} Sari: {'sari': 27.990937365937363} Flesh Reading Ease: 61.2 ---------------------------------------- Source: ['Wem das zu viel Rummel ist hat tausende andere Möglichkeiten, die Stadt zu genießen, etwa auf dem Viktualienmarkt:'] Prediction: ['In der Stadt Zürich wird ein Rummel-Rummel ausgefunden.\nDie Stadt hat tausende andere Möglichkeiten, die Stadt zu genießen, etwa auf dem Viktualienmarkt.'] Label: [['Wem das zu viel ist, der hat viele andere Möglichkeiten, die Stadt zu genießen, etwa auf dem Viktualienmarkt:']] Sacrebleu: {'score': 44.33305901408891, 'counts': [14, 11, 10, 9], 'totals': [26, 25, 24, 23], 'precisions': [53.84615384615385, 44.0, 41.666666666666664, 39.130434782608695], 'bp': 1.0, 'sys_len': 26, 'ref_len': 22} Bleu: {'bleu': 0.44333059014088905, 'precisions': [0.5384615384615384, 0.44, 0.4166666666666667, 0.391304347826087], 'brevity_penalty': 1.0, 'length_ratio': 1.1818181818181819, 'translation_length': 26, 'reference_length': 22} Rouge: {'rouge1': 0.608695652173913, 'rouge2': 0.5, 'rougeL': 0.608695652173913, 'rougeLsum': 0.608695652173913} Sari: {'sari': 43.724443063234} Flesh Reading Ease: 52.0 ---------------------------------------- Source: ['Ganz in der Nähe der Leopoldstraße - Münchens bekanntester Boulevard - empfiehlt die Süddeutsche Zeitung einen Abstecher in eine Seitenstraße des Stadtteils Schwabing.'] Prediction: ['Ein Abstecher in eine Seitenstraße des Stadtteils Schwabing empfiehlt die Süddeutsche Zeitung einen Abstecher.\nDie Zeitung hat einen Abstecher in der Nähe der Leopoldstraße empfiehlt.'] Label: [['Ganz in der Nähe der Leopoldstraße - Münchens bekanntester Boulevard - empfiehlt die Süddeutsche Zeitung einen Besuch des Stadtteils Schwabing.']] Sacrebleu: {'score': 31.059855156785762, 'counts': [14, 10, 7, 4], 'totals': [27, 26, 25, 24], 'precisions': [51.851851851851855, 38.46153846153846, 28.0, 16.666666666666668], 'bp': 1.0, 'sys_len': 27, 'ref_len': 21} Bleu: {'bleu': 0.3105985515678575, 'precisions': [0.5185185185185185, 0.38461538461538464, 0.28, 0.16666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 1.2857142857142858, 'translation_length': 27, 'reference_length': 21} Rouge: {'rouge1': 0.6274509803921569, 'rouge2': 0.5306122448979592, 'rougeL': 0.3137254901960784, 'rougeLsum': 0.5098039215686274} Sari: {'sari': 19.51423837371686} Flesh Reading Ease: 56.35 ---------------------------------------- Source: ['Wen ein Leid plagt, der geht zum Arzt – oder er googelt.'] Prediction: ['Ein Leid plagt, der geht zum Arzt oder er googelt.\nWir haben euch die besten Leadschaften geschickt.'] Label: [['Wer krank ist, der geht zum Arzt – oder er googelt.']] Sacrebleu: {'score': 30.024908760987614, 'counts': [9, 7, 5, 3], 'totals': [20, 19, 18, 17], 'precisions': [45.0, 36.8421052631579, 27.77777777777778, 17.647058823529413], 'bp': 1.0, 'sys_len': 20, 'ref_len': 13} Bleu: {'bleu': 0.3002490876098761, 'precisions': [0.45, 0.3684210526315789, 0.2777777777777778, 0.17647058823529413], 'brevity_penalty': 1.0, 'length_ratio': 1.5384615384615385, 'translation_length': 20, 'reference_length': 13} Rouge: {'rouge1': 0.5185185185185185, 'rouge2': 0.4800000000000001, 'rougeL': 0.5185185185185185, 'rougeLsum': 0.5185185185185185} Sari: {'sari': 32.707464319306425} Flesh Reading Ease: 89.6 ---------------------------------------- Source: ['Manchmal ist, besonders auf dem Land, der Weg zum Arzt weit, daher scheint es einfacher, im Internet nach Symptomen und Lösungen zu recherchieren.'] Prediction: ['Manchmal ist es, wie es auf dem Internet weitgeht.\nDas ist einfacher, im Internet nach Symptomen und Lösungen zu recherchieren.'] Label: [['Oft sogar scheint es einfacher zu sein, im Internet nach Symptomen und Lösungen zu recherchieren.']] Sacrebleu: {'score': 39.24259174695315, 'counts': [12, 9, 8, 7], 'totals': [24, 23, 22, 21], 'precisions': [50.0, 39.130434782608695, 36.36363636363637, 33.333333333333336], 'bp': 1.0, 'sys_len': 24, 'ref_len': 17} Bleu: {'bleu': 0.3924259174695316, 'precisions': [0.5, 0.391304347826087, 0.36363636363636365, 0.3333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.411764705882353, 'translation_length': 24, 'reference_length': 17} Rouge: {'rouge1': 0.5945945945945946, 'rouge2': 0.4571428571428572, 'rougeL': 0.5945945945945946, 'rougeLsum': 0.5945945945945946} Sari: {'sari': 58.923943138766596} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Hier wird deutlich, dass zum einen nach häufigen Erkrankungen, aber auch nach Tabukrankheiten gesucht wird.'] Prediction: ['Der Schweizer Nationalspieler hatte am Sonntag seinen neuen Team gefeiert.\nEr wird nach häufigen Erkrankungen gesucht.\nDas ist ein Tabukrankheiten-Konvoi.'] Label: [['Hier wird deutlich, dass nach häufigen Erkrankungen, aber auch nach Tabukrankheiten gesucht wird.']] Sacrebleu: {'score': 7.289334177359764, 'counts': [6, 2, 1, 0], 'totals': [23, 22, 21, 20], 'precisions': [26.08695652173913, 9.090909090909092, 4.761904761904762, 2.5], 'bp': 1.0, 'sys_len': 23, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.2608695652173913, 0.09090909090909091, 0.047619047619047616, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4375, 'translation_length': 23, 'reference_length': 16} Rouge: {'rouge1': 0.3888888888888889, 'rouge2': 0.17647058823529413, 'rougeL': 0.33333333333333326, 'rougeLsum': 0.3888888888888889} Sari: {'sari': 16.092657342657343} Flesh Reading Ease: 44.6 ---------------------------------------- Source: ['Mehr als 30 Prozent der bewerteten Webseiten schnitten mit „mangelhaft“ oder sogar „ungenügend“ ab.'] Prediction: ['Der Bund hat seine Webseiten übergeben.\nDiese schnitt mit dem Mangelhaft oder sogar ab.'] Label: [['Das Ergebnis: Mehr als 30 Prozent der bewerteten Webseiten schnitten mit „mangelhaft“ oder sogar „ungenügend“ ab.']] Sacrebleu: {'score': 6.755622089826714, 'counts': [6, 2, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [37.5, 13.333333333333334, 3.5714285714285716, 1.9230769230769231], 'bp': 0.8824969025845955, 'sys_len': 16, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.375, 0.13333333333333333, 0.0, 0.0], 'brevity_penalty': 0.8824969025845955, 'length_ratio': 0.8888888888888888, 'translation_length': 16, 'reference_length': 18} Rouge: {'rouge1': 0.45161290322580644, 'rouge2': 0.13793103448275862, 'rougeL': 0.45161290322580644, 'rougeLsum': 0.45161290322580644} Sari: {'sari': 7.386363636363637} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Alle 100 Webseiten bekamen nur die Durchschnittsnote „ausreichend“ (4+).In einer zumindest in Deutschland rechtlichen Grauzone bewegen sich Ärzte, die Ferndiagnosen über das Internet stellen und Rezepte ausstellen - so wie in Großbritannien schon üblich.'] Prediction: ['In Deutschland rechtlichen Grauzone bewegen sich Ärzte, die Ferndiagnosen über das Internet stellen und Rezepte ausstellen.\nIn einer zumindest in Deutschland rechtlichen Grauzone bewegen sich Ärzte, die Ferndiagnosen über das Internet stellen und Rezepte ausstellen.'] Label: [['Alle 100 Webseiten bekamen nur die Durchschnittsnote „ausreichend“ (4+).In einer zumindest in Deutschland rechtlichen Grauzone bewegen sich Ärzte, die Ferndiagnosen über das Internet stellen und Rezepte ausstellen.']] Sacrebleu: {'score': 55.21976762590714, 'counts': [23, 21, 20, 19], 'totals': [39, 38, 37, 36], 'precisions': [58.97435897435897, 55.26315789473684, 54.054054054054056, 52.77777777777778], 'bp': 1.0, 'sys_len': 39, 'ref_len': 34} Bleu: {'bleu': 0.5521976762590712, 'precisions': [0.5897435897435898, 0.5526315789473685, 0.5405405405405406, 0.5277777777777778], 'brevity_penalty': 1.0, 'length_ratio': 1.1470588235294117, 'translation_length': 39, 'reference_length': 34} Rouge: {'rouge1': 0.634920634920635, 'rouge2': 0.5901639344262295, 'rougeL': 0.634920634920635, 'rougeLsum': 0.603174603174603} Sari: {'sari': 65.00311956457504} Flesh Reading Ease: 39.65 ---------------------------------------- Source: ['Erlaubt ist das hierzulande nur, wenn sich Arzt und Patient bereits kennen, also der Patient schon in der Praxis zur Sprechstunde anwesend war und die Krankengeschichte bekannt ist.'] Prediction: ['Immer mehr Arzt und Patient kennen sich bereits in der Praxis anwesend.\nErlaubt ist das nur, wenn sich Arzt und Patient bereits kennen.'] Label: [['Erlaubt ist das hierzulande nur, wenn sich Arzt und Patient bereits kennen, also der Patient schon in der Praxis zur Sprechstunde anwesend war und die Krankengeschichte kennt.']] Sacrebleu: {'score': 36.90239111198737, 'counts': [19, 12, 9, 6], 'totals': [26, 25, 24, 23], 'precisions': [73.07692307692308, 48.0, 37.5, 26.08695652173913], 'bp': 0.8574039191604413, 'sys_len': 26, 'ref_len': 30} Bleu: {'bleu': 0.3690239111198737, 'precisions': [0.7307692307692307, 0.48, 0.375, 0.2608695652173913], 'brevity_penalty': 0.8574039191604413, 'length_ratio': 0.8666666666666667, 'translation_length': 26, 'reference_length': 30} Rouge: {'rouge1': 0.68, 'rouge2': 0.4583333333333333, 'rougeL': 0.44000000000000006, 'rougeLsum': 0.6} Sari: {'sari': 23.70664505745151} Flesh Reading Ease: 74.9 ---------------------------------------- Source: ['Es gilt als die älteste, noch heute gültige Lebensmittelgesetzgebung – weltweit!'] Prediction: ['Die Lebensmittelgesetzgebung ist eine grosse älteste, noch heute gültige Lebensmittelgesetzgebung.\nDie älteste Lebensmittelgesetzgebung ist weltweit.'] Label: [['Es gilt als das älteste, noch heute gültige Lebensmittelgesetz – weltweit!']] Sacrebleu: {'score': 21.042990347620457, 'counts': [6, 4, 3, 2], 'totals': [18, 17, 16, 15], 'precisions': [33.333333333333336, 23.529411764705884, 18.75, 13.333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 13} Bleu: {'bleu': 0.21042990347620458, 'precisions': [0.3333333333333333, 0.23529411764705882, 0.1875, 0.13333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.3846153846153846, 'translation_length': 18, 'reference_length': 13} Rouge: {'rouge1': 0.4444444444444444, 'rouge2': 0.32, 'rougeL': 0.4444444444444444, 'rougeLsum': 0.4444444444444444} Sari: {'sari': 39.31077694235589} Flesh Reading Ease: -8.86 ---------------------------------------- Source: ['Beschlossen haben es übrigens die Herzöge Wilhelm IV. und Ludwig X., eigentlich aus Not, denn zu der Zeit waren Nahrungsmittel in Bayern sehr knapp.'] Prediction: ['Die Herzöge Wilhelm IV.\nund Ludwig X., haben sich in Bayern zu einer Nahrungsmittel geschlossen.\nSie haben es übrigens die Herzöge Wilhelm IV.\nund Ludwig X., eigentlich aus Not.'] Label: [['Beschlossen haben es übrigens die Herzöge Wilhelm IV.\nund Ludwig X. Zu der Zeit waren Nahrungsmittel in Bayern sehr knapp.']] Sacrebleu: {'score': 32.31269177549822, 'counts': [16, 12, 10, 9], 'totals': [37, 36, 35, 34], 'precisions': [43.24324324324324, 33.333333333333336, 28.571428571428573, 26.470588235294116], 'bp': 1.0, 'sys_len': 37, 'ref_len': 23} Bleu: {'bleu': 0.32312691775498215, 'precisions': [0.43243243243243246, 0.3333333333333333, 0.2857142857142857, 0.2647058823529412], 'brevity_penalty': 1.0, 'length_ratio': 1.608695652173913, 'translation_length': 37, 'reference_length': 23} Rouge: {'rouge1': 0.5769230769230769, 'rouge2': 0.43999999999999995, 'rougeL': 0.4230769230769231, 'rougeLsum': 0.5} Sari: {'sari': 30.861226198052538} Flesh Reading Ease: 75.75 ---------------------------------------- Source: ['Und die wertvollen Getreide Weizen und Roggen wollte man zum Brotbacken reservieren.'] Prediction: ['Weizen und Roggen wollten sich in der Schweiz zum Brotbacken reservieren.\nDie wertvollen Getreide Weizen und Roggen wollten man zum Brotbacken reservieren.'] Label: [['Und die wertvollen Getreide Weizen und Roggen wollte man für Brot reservieren.']] Sacrebleu: {'score': 17.51489536280261, 'counts': [8, 5, 3, 2], 'totals': [24, 23, 22, 21], 'precisions': [33.333333333333336, 21.73913043478261, 13.636363636363637, 9.523809523809524], 'bp': 1.0, 'sys_len': 24, 'ref_len': 13} Bleu: {'bleu': 0.1751489536280261, 'precisions': [0.3333333333333333, 0.21739130434782608, 0.13636363636363635, 0.09523809523809523], 'brevity_penalty': 1.0, 'length_ratio': 1.8461538461538463, 'translation_length': 24, 'reference_length': 13} Rouge: {'rouge1': 0.5142857142857142, 'rouge2': 0.30303030303030304, 'rougeL': 0.5142857142857142, 'rougeLsum': 0.4571428571428572} Sari: {'sari': 27.456615022404492} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Ist man in Bayern, dann trinkt man Bier.'] Prediction: ['Die Schweizer Schweizer Schweizer Meistertitel gewann auf den Bundesliga-Bundesstaat Bayern.\nDie Bundesliga-Saison ist noch nicht mehr geführt.'] Label: [['In Bayern trinkt man Bier.']] Sacrebleu: {'score': 2.4074859035470344, 'counts': [2, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [10.526315789473685, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1666666666666665, 'translation_length': 19, 'reference_length': 6} Rouge: {'rouge1': 0.08000000000000002, 'rouge2': 0.0, 'rougeL': 0.08000000000000002, 'rougeLsum': 0.08000000000000002} Sari: {'sari': 25.198412698412696} Flesh Reading Ease: 54.5 ---------------------------------------- Source: ['Auf dem Oktoberfest in der bayerischen Hauptstadt trinkt man besonders viel, rund 7,5 Millionen Liter in 2 Wochen!'] Prediction: ['Im Oktoberfest in der bayerischen Hauptstadt trinkt man 7,5 Millionen Liter in 2 Wochen.\nDas ist ein grosser Wochen-Festival.\nDas ist ein grosser Wochen-Festival.'] Label: [['Auf dem Oktoberfest in München trinkt man besonders viel, rund 7,5 Millionen Liter in 2 Wochen!']] Sacrebleu: {'score': 21.132346881137522, 'counts': [10, 7, 4, 3], 'totals': [27, 26, 25, 24], 'precisions': [37.03703703703704, 26.923076923076923, 16.0, 12.5], 'bp': 1.0, 'sys_len': 27, 'ref_len': 18} Bleu: {'bleu': 0.21132346881137512, 'precisions': [0.37037037037037035, 0.2692307692307692, 0.16, 0.125], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 27, 'reference_length': 18} Rouge: {'rouge1': 0.4888888888888889, 'rouge2': 0.372093023255814, 'rougeL': 0.4888888888888889, 'rougeLsum': 0.4888888888888889} Sari: {'sari': 17.45643245643246} Flesh Reading Ease: 60.85 ---------------------------------------- Source: ['Bier, um auch gleich ein Klischee zu bestätigen, ist das Lieblingsgetränk der Deutschen.'] Prediction: ['Die Welt traf auf den Lieblingsbetränkten.\nIn der Bildstrecke sind die beiden Liebes-Schauspielerinnen und -Liebes-Schauspieler.'] Label: [['Bier ist das Lieblingsgetränk der Deutschen.']] Sacrebleu: {'score': 2.719665272174911, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4285714285714284, 'translation_length': 17, 'reference_length': 7} Rouge: {'rouge1': 0.08, 'rouge2': 0.0, 'rougeL': 0.08, 'rougeLsum': 0.08} Sari: {'sari': 26.750101750101752} Flesh Reading Ease: 49.65 ---------------------------------------- Source: ['Traditionell trinkt man das Bier in Masskrügen. Das ist ein Bierkrug, der das Volumen einer Mass fasst, genau ein Liter.'] Prediction: ['Ein Bierkrug ist in der Schweiz genau ein Liter.\nDas ist ein Bierkrug, der das Volumen einer Mass fasst, genau ein Liter.'] Label: [['Ein Bierkrug auf dem Oktoberfest umfasst genau ein Liter.']] Sacrebleu: {'score': 10.754672770161259, 'counts': [6, 4, 2, 1], 'totals': [26, 25, 24, 23], 'precisions': [23.076923076923077, 16.0, 8.333333333333334, 4.3478260869565215], 'bp': 1.0, 'sys_len': 26, 'ref_len': 10} Bleu: {'bleu': 0.1075467277016126, 'precisions': [0.23076923076923078, 0.16, 0.08333333333333333, 0.043478260869565216], 'brevity_penalty': 1.0, 'length_ratio': 2.6, 'translation_length': 26, 'reference_length': 10} Rouge: {'rouge1': 0.3225806451612903, 'rouge2': 0.20689655172413796, 'rougeL': 0.3225806451612903, 'rougeLsum': 0.3225806451612903} Sari: {'sari': 43.792616145557325} Flesh Reading Ease: 87.1 ---------------------------------------- Source: ['Ganz billig ist die Mass Bier nicht – knapp unter 11 Euro liegt der Preis.'] Prediction: ['Die Preis für die Schweizer Woche ist nicht mehr gekommen.\nDas Bier ist knapp unter 11 Euro.\nDas Bier ist nicht mehr gekommen.'] Label: [['Ganz billig ist die Mass Bier nicht: etwas weniger als 11 Euro kostet das Getränk.']] Sacrebleu: {'score': 3.951744928978941, 'counts': [7, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [26.923076923076923, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.2692307692307692, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5294117647058822, 'translation_length': 26, 'reference_length': 17} Rouge: {'rouge1': 0.35000000000000003, 'rouge2': 0.052631578947368425, 'rougeL': 0.25, 'rougeLsum': 0.2} Sari: {'sari': 27.532051282051277} Flesh Reading Ease: 96.25 ---------------------------------------- Source: ['Die Wirte auf dem Oktoberfest verdienen gut daran: Der Umsatz soll laut der Wirtschaftszeitung Handelsblatt etwa 955 Millionen Euro betragen.'] Prediction: ['Der Oktoberfest in Lugano wurde erstmals betragen.\nDer Umsatz soll betragen werden.\nDer Umsatz soll betragen werden.'] Label: [['Die Wirte auf dem Oktoberfest verdienen gut daran, der Umsatz soll laut der Wirtschaftszeitung Handelsblatt etwa 955 Millionen Euro betragen.']] Sacrebleu: {'score': 5.1810979079182005, 'counts': [5, 2, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 10.526315789473685, 2.7777777777777777, 1.4705882352941178], 'bp': 0.9048374180359595, 'sys_len': 20, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.10526315789473684, 0.0, 0.0], 'brevity_penalty': 0.9048374180359595, 'length_ratio': 0.9090909090909091, 'translation_length': 20, 'reference_length': 22} Rouge: {'rouge1': 0.3243243243243243, 'rouge2': 0.11428571428571428, 'rougeL': 0.3243243243243243, 'rougeLsum': 0.27027027027027023} Sari: {'sari': 11.916976785397837} Flesh Reading Ease: 57.3 ---------------------------------------- Source: ['Menschen über 50 Jahre mit ihren meist ergrauten Haaren – daher der Begriff „Silver Society“ – prägen das Bild der Gesellschaft:'] Prediction: ['Die Silver Society ist eine Gesellschaft in der Schweiz.\nDie Menschen über 50 Jahre mit ihren meist ergrauten Haaren prägen das Bild der Gesellschaft.'] Label: [['Menschen über 50 Jahre mit ihren grauen Haaren – daher der Begriff „Silver Society“ – prägen das Bild der Gesellschaft:']] Sacrebleu: {'score': 32.685141385924574, 'counts': [13, 9, 7, 5], 'totals': [26, 25, 24, 23], 'precisions': [50.0, 36.0, 29.166666666666668, 21.73913043478261], 'bp': 1.0, 'sys_len': 26, 'ref_len': 21} Bleu: {'bleu': 0.32685141385924577, 'precisions': [0.5, 0.36, 0.2916666666666667, 0.21739130434782608], 'brevity_penalty': 1.0, 'length_ratio': 1.2380952380952381, 'translation_length': 26, 'reference_length': 21} Rouge: {'rouge1': 0.7272727272727272, 'rouge2': 0.5238095238095238, 'rougeL': 0.5909090909090909, 'rougeLsum': 0.6818181818181819} Sari: {'sari': 21.784680564301418} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Wenn sie in den Ruhestand geht, droht Deutschland ein Mangel an Fachkräften, eine Überalterung und in letzter Konsequenz ein Rückgang der Produktivität.'] Prediction: ['Die Schweizer Produktion hat in Deutschland einen Rückgang der Produktivität.\nDie Schweizer Produktion hat in den Ruhestand geht in den Ruhestand geht.'] Label: [['Wenn sie in den Ruhestand geht, droht Deutschland ein Mangel an Fachkräften und eine Überalterung.']] Sacrebleu: {'score': 10.900096978029115, 'counts': [6, 3, 2, 1], 'totals': [24, 23, 22, 21], 'precisions': [25.0, 13.043478260869565, 9.090909090909092, 4.761904761904762], 'bp': 1.0, 'sys_len': 24, 'ref_len': 17} Bleu: {'bleu': 0.1090009697802911, 'precisions': [0.25, 0.13043478260869565, 0.09090909090909091, 0.047619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 1.411764705882353, 'translation_length': 24, 'reference_length': 17} Rouge: {'rouge1': 0.25, 'rouge2': 0.15789473684210528, 'rougeL': 0.2, 'rougeLsum': 0.25} Sari: {'sari': 24.56758249019623} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Durch besondere Arbeitszeitregelungen, ergonomische Arbeitsplätze und Qualifizierungen will man sie so lange wie möglich im Job halten.'] Prediction: ['Ein Arbeitszeitregelungen, ergonomische Arbeitsplätze und Qualifizierungen sollen so lange wie möglich im Job halten.\nDiese sollen so lange wie möglich im Job halten.'] Label: [['Durch besondere Arbeitszeiten, ergonomische Arbeitsplätze und Qualifizierungen will man sie so lange wie möglich im Job halten.']] Sacrebleu: {'score': 39.80668738240056, 'counts': [13, 11, 9, 7], 'totals': [26, 25, 24, 23], 'precisions': [50.0, 44.0, 37.5, 30.434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 19} Bleu: {'bleu': 0.3980668738240055, 'precisions': [0.5, 0.44, 0.375, 0.30434782608695654], 'brevity_penalty': 1.0, 'length_ratio': 1.368421052631579, 'translation_length': 26, 'reference_length': 19} Rouge: {'rouge1': 0.5777777777777778, 'rouge2': 0.5116279069767442, 'rougeL': 0.5777777777777778, 'rougeLsum': 0.5777777777777778} Sari: {'sari': 30.97718253968254} Flesh Reading Ease: 39.8 ---------------------------------------- Source: ['Die meisten Deutschen gehen mit 65 oder 67 in den Ruhestand, der zunehmend aktiver wird.'] Prediction: ['Die meisten Deutschen gehen mit 65 oder 67 in den Ruhestand.\nDie meisten Deutschen gehen mit 65 oder 67 in den Ruhestand.'] Label: [['Die meisten Deutschen gehen mit 65 oder 67 in den Ruhestand.']] Sacrebleu: {'score': 46.4578221240361, 'counts': [12, 11, 10, 9], 'totals': [24, 23, 22, 21], 'precisions': [50.0, 47.82608695652174, 45.45454545454545, 42.857142857142854], 'bp': 1.0, 'sys_len': 24, 'ref_len': 12} Bleu: {'bleu': 0.464578221240361, 'precisions': [0.5, 0.4782608695652174, 0.45454545454545453, 0.42857142857142855], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 24, 'reference_length': 12} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.6451612903225806, 'rougeL': 0.6666666666666666, 'rougeLsum': 0.6666666666666666} Sari: {'sari': 88.05555555555556} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['Die Generation der Menschen in den besten Jahren – Best Ager – ist besonders aktiv und hat eine Menge vor.'] Prediction: ['Die Schweizer Menschen sind in den besten Jahren aktiv.\nBest Ager hat eine Menge vor.'] Label: [['Die Generation der Menschen in den besten Jahren – Best Ager – ist besonders aktiv.']] Sacrebleu: {'score': 20.455163269401236, 'counts': [10, 5, 2, 1], 'totals': [17, 16, 15, 14], 'precisions': [58.8235294117647, 31.25, 13.333333333333334, 7.142857142857143], 'bp': 1.0, 'sys_len': 17, 'ref_len': 16} Bleu: {'bleu': 0.2045516326940124, 'precisions': [0.5882352941176471, 0.3125, 0.13333333333333333, 0.07142857142857142], 'brevity_penalty': 1.0, 'length_ratio': 1.0625, 'translation_length': 17, 'reference_length': 16} Rouge: {'rouge1': 0.6428571428571429, 'rouge2': 0.30769230769230765, 'rougeL': 0.5714285714285715, 'rougeLsum': 0.6428571428571429} Sari: {'sari': 20.18638768638769} Flesh Reading Ease: 84.75 ---------------------------------------- Source: ['Und etliche arbeiten in Jobs:'] Prediction: ['Die Schweiz arbeitet in den USA mit einem grossen Job.\nDie Schweiz arbeitet mit einem grossen Job.'] Label: [['Und viele arbeiten in Jobs:']] Sacrebleu: {'score': 2.0244462660665508, 'counts': [1, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [5.2631578947368425, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.05263157894736842, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1666666666666665, 'translation_length': 19, 'reference_length': 6} Rouge: {'rouge1': 0.0909090909090909, 'rouge2': 0.0, 'rougeL': 0.0909090909090909, 'rougeLsum': 0.0909090909090909} Sari: {'sari': 17.5} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['In Deutschland haben rund 900.000 Rentner einen sogenannten Minijob, in dem man 450 Euro hinzu verdient, ohne dass die staatliche Rente gekürzt wird.'] Prediction: ['In Deutschland werden rund 900.000 Rentner einen Minijob verdient.\nDie Rentner haben 450 Euro hinzu verdient.'] Label: [['In Deutschland haben rund 900.000 Rentner einen sogenannten Minijob, in dem man 450 Euro hinzu verdient.']] Sacrebleu: {'score': 38.17666460451127, 'counts': [13, 8, 5, 3], 'totals': [18, 17, 16, 15], 'precisions': [72.22222222222223, 47.05882352941177, 31.25, 20.0], 'bp': 1.0, 'sys_len': 18, 'ref_len': 18} Bleu: {'bleu': 0.3817666460451127, 'precisions': [0.7222222222222222, 0.47058823529411764, 0.3125, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 18, 'reference_length': 18} Rouge: {'rouge1': 0.7647058823529412, 'rouge2': 0.5, 'rougeL': 0.7058823529411765, 'rougeLsum': 0.7647058823529412} Sari: {'sari': 37.98693416613897} Flesh Reading Ease: 69.4 ---------------------------------------- Source: ['Mit 95 Thesen protestierte er gegen den Ablasshandel, mit dem sich die Menschen von ihren Sünden freikaufen konnten.'] Prediction: ['Der Ablasshandel in der Schweiz wurde von 95 Thesen gefunden.\nMit 95 Thesen protestierte er gegen den Ablasshandel.'] Label: [['Mit 95 Thesen protestierte er gegen den Ablasshandel.\nDamit konnten sich die Menschen von ihren Sünden freikaufen.']] Sacrebleu: {'score': 42.22374352161797, 'counts': [11, 8, 7, 6], 'totals': [20, 19, 18, 17], 'precisions': [55.0, 42.10526315789474, 38.888888888888886, 35.294117647058826], 'bp': 1.0, 'sys_len': 20, 'ref_len': 19} Bleu: {'bleu': 0.42223743521617985, 'precisions': [0.55, 0.42105263157894735, 0.3888888888888889, 0.35294117647058826], 'brevity_penalty': 1.0, 'length_ratio': 1.0526315789473684, 'translation_length': 20, 'reference_length': 19} Rouge: {'rouge1': 0.5, 'rouge2': 0.4117647058823529, 'rougeL': 0.4444444444444444, 'rougeLsum': 0.5} Sari: {'sari': 42.93569230811233} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['So verfasste er am 31. Oktober einen Brief mit seinen Thesen, um eine Erneuerung der Kirche auszulösen.'] Prediction: ['Ein Mann hat eine Erneuerung der Kirche ausgelöst.\nEr verfasste einen Brief mit seinen Thesen.'] Label: [['Luther veröffentlichte am 31.\nOktober einen Brief mit 95 Thesen.']] Sacrebleu: {'score': 11.203754340102181, 'counts': [6, 3, 1, 0], 'totals': [17, 16, 15, 14], 'precisions': [35.294117647058826, 18.75, 6.666666666666667, 3.5714285714285716], 'bp': 1.0, 'sys_len': 17, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.35294117647058826, 0.1875, 0.06666666666666667, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4166666666666667, 'translation_length': 17, 'reference_length': 12} Rouge: {'rouge1': 0.2962962962962963, 'rouge2': 0.16, 'rougeL': 0.2962962962962963, 'rougeLsum': 0.2962962962962963} Sari: {'sari': 31.73382173382173} Flesh Reading Ease: 73.05 ---------------------------------------- Source: ['In der Folge wurde Europa im 16. und 17. Jahrhundert von Glaubenskriegen wie dem Dreißigjährigen Krieg erschüttert.'] Prediction: ['Ein Dreißigjähriger war in Europa im 16. und 17.\nJahrhundert von Glaubenskriegen erschüttert worden.\nEuropa wurde im 16. und 17.\nJahrhundert von Glaubenskriegen wie dem Dreißigjährigen Krieg erschüttert.'] Label: [['In langen Jahren danach wurde Europa im 16. und 17.\nJahrhundert von Glaubenskriegen wie dem Dreißigjährigen Krieg erschüttert.']] Sacrebleu: {'score': 45.188378715000056, 'counts': [17, 15, 14, 13], 'totals': [34, 33, 32, 31], 'precisions': [50.0, 45.45454545454545, 43.75, 41.935483870967744], 'bp': 1.0, 'sys_len': 34, 'ref_len': 21} Bleu: {'bleu': 0.45188378715000066, 'precisions': [0.5, 0.45454545454545453, 0.4375, 0.41935483870967744], 'brevity_penalty': 1.0, 'length_ratio': 1.619047619047619, 'translation_length': 34, 'reference_length': 21} Rouge: {'rouge1': 0.6545454545454545, 'rouge2': 0.5660377358490566, 'rougeL': 0.6181818181818182, 'rougeLsum': 0.6545454545454545} Sari: {'sari': 59.551851165217876} Flesh Reading Ease: 50.15 ---------------------------------------- Source: ['Neben seinen Thesen sorgte Luther mit seiner Bibelübersetzung dafür, dass nicht nur Mönche die Bibel lesen konnten.'] Prediction: ['Der US-Bundesstaat Tennessee hat seinen Thesen verheiratet.\nDer US-Bundesstaat verheiratete, dass nicht nur Mönche die Bibel lesen konnten.\nNun sorgte Luther mit seiner Bibelübersetzung dafür, dass nicht nur Mönche die Bibel lesen konnten.'] Label: [['Neben seinen Thesen übersetzte Luther die Bibel, damit nicht nur Mönche die Bibel lesen konnten.']] Sacrebleu: {'score': 21.49235391588809, 'counts': [14, 9, 6, 5], 'totals': [38, 37, 36, 35], 'precisions': [36.8421052631579, 24.324324324324323, 16.666666666666668, 14.285714285714286], 'bp': 1.0, 'sys_len': 38, 'ref_len': 17} Bleu: {'bleu': 0.21492353915888088, 'precisions': [0.3684210526315789, 0.24324324324324326, 0.16666666666666666, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 2.235294117647059, 'translation_length': 38, 'reference_length': 17} Rouge: {'rouge1': 0.4727272727272727, 'rouge2': 0.339622641509434, 'rougeL': 0.4363636363636364, 'rougeLsum': 0.4363636363636364} Sari: {'sari': 39.232036183649086} Flesh Reading Ease: 52.0 ---------------------------------------- Source: ['Er gab sein Dasein als Mönch auf, heiratete und begründete mit seinen Schriften die evangelischen Kirchen.'] Prediction: ['Ein Dasein heiratete und heiratete die Kirchen.\nEr gab sein Dasein als Mönch auf, heiratete und begründete mit seinen Schriften die evangelischen Kirchen.'] Label: [['Er gab sein Dasein als Mönch auf, heiratete und begründete mit seinen Schriften die evangelische Kirche.']] Sacrebleu: {'score': 55.86374486571753, 'counts': [16, 14, 13, 12], 'totals': [26, 25, 24, 23], 'precisions': [61.53846153846154, 56.0, 54.166666666666664, 52.17391304347826], 'bp': 1.0, 'sys_len': 26, 'ref_len': 18} Bleu: {'bleu': 0.5586374486571748, 'precisions': [0.6153846153846154, 0.56, 0.5416666666666666, 0.5217391304347826], 'brevity_penalty': 1.0, 'length_ratio': 1.4444444444444444, 'translation_length': 26, 'reference_length': 18} Rouge: {'rouge1': 0.7441860465116279, 'rouge2': 0.7317073170731708, 'rougeL': 0.7441860465116279, 'rougeLsum': 0.7441860465116279} Sari: {'sari': 63.582024083888896} Flesh Reading Ease: 57.35 ---------------------------------------- Source: ['18 Millionen Tonnen Nahrungsmittel, das sind, so hat die Umweltstiftung WWF Deutschland ausgerechnet, 313 Kilogramm – pro Sekunde, die im Müll landen.'] Prediction: ['Die Umweltstiftung WWF Deutschland hat 18 Millionen Tonnen Nahrungsmittel ausgerechnet.\nDie Umweltstiftung WWF Deutschland hat rund 313 Kilogramm pro Sekunde, die im Müll landen.'] Label: [['18 Millionen Tonnen Nahrungsmittel, das sind 313 Kilogramm – pro Sekunde, die in den Müll wandern, wie die Umweltstiftung WWF Deutschland ausgerechnet hat.']] Sacrebleu: {'score': 24.549958769136765, 'counts': [17, 9, 5, 2], 'totals': [27, 26, 25, 24], 'precisions': [62.96296296296296, 34.61538461538461, 20.0, 8.333333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 27} Bleu: {'bleu': 0.24549958769136776, 'precisions': [0.6296296296296297, 0.34615384615384615, 0.2, 0.08333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 27, 'reference_length': 27} Rouge: {'rouge1': 0.7083333333333334, 'rouge2': 0.4782608695652174, 'rougeL': 0.4583333333333333, 'rougeLsum': 0.4999999999999999} Sari: {'sari': 34.98200472430506} Flesh Reading Ease: 51.0 ---------------------------------------- Source: ['Die Normen der Europäischen Union schreiben makellose Ware vor, viele krumme Gurken und zu kleine Möhren schaffen es erst gar nicht in den Supermarkt.'] Prediction: ['Die Europäischen Union schreiben makellose Ware vor.\nDie Supermarkt-Normen schaffen es erst gar nicht in den Supermarkt.'] Label: [['Die Normen der Europäischen Union schreiben makellose Ware vor.\nKrumme Gurken zum Beispiel haben kaum eine Chance.']] Sacrebleu: {'score': 32.82518529729177, 'counts': [9, 6, 5, 4], 'totals': [19, 18, 17, 16], 'precisions': [47.36842105263158, 33.333333333333336, 29.41176470588235, 25.0], 'bp': 1.0, 'sys_len': 19, 'ref_len': 19} Bleu: {'bleu': 0.32825185297291753, 'precisions': [0.47368421052631576, 0.3333333333333333, 0.29411764705882354, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 19, 'reference_length': 19} Rouge: {'rouge1': 0.4864864864864865, 'rouge2': 0.34285714285714286, 'rougeL': 0.43243243243243246, 'rougeLsum': 0.4864864864864865} Sari: {'sari': 42.3127866142572} Flesh Reading Ease: 54.5 ---------------------------------------- Source: ['Doch hier sind die Vorschriften inzwischen gelockert und einige Händler verkaufen auch „unperfektes“ Obst und Gemüse – wenn denn nur mehr Kunden zugreifen würden!'] Prediction: ['Vorschriften sind gelockert und einige Händler verkaufen auch Obst und Gemüse.\nWenn nur mehr Kunden zugreifen würden, werden nur mehr Kunden zugreifen.'] Label: [['Doch hier sind die Vorschriften inzwischen gelockert und einige Händler verkaufen auch „unperfektes“ Obst und Gemüse.']] Sacrebleu: {'score': 29.515162380863735, 'counts': [12, 8, 6, 4], 'totals': [25, 24, 23, 22], 'precisions': [48.0, 33.333333333333336, 26.08695652173913, 18.181818181818183], 'bp': 1.0, 'sys_len': 25, 'ref_len': 17} Bleu: {'bleu': 0.2951516238086372, 'precisions': [0.48, 0.3333333333333333, 0.2608695652173913, 0.18181818181818182], 'brevity_penalty': 1.0, 'length_ratio': 1.4705882352941178, 'translation_length': 25, 'reference_length': 17} Rouge: {'rouge1': 0.6046511627906976, 'rouge2': 0.4390243902439025, 'rougeL': 0.5581395348837209, 'rougeLsum': 0.5581395348837209} Sari: {'sari': 37.45670587582352} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Tatsache ist auch: Die wenigsten Lebensmittel, die im Hausmüll landen, gehören wirklich hinein.'] Prediction: ['Die wenigsten Lebensmittel in der Schweiz sind wirklich hinein.\nDie wenigsten Lebensmittel gehören wirklich hinein.'] Label: [['Tatsache ist: Die wenigsten Lebensmittel, die im Müll landen, gehören wirklich hinein.']] Sacrebleu: {'score': 20.706193828327603, 'counts': [7, 5, 3, 1], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 31.25, 20.0, 7.142857142857143], 'bp': 1.0, 'sys_len': 17, 'ref_len': 16} Bleu: {'bleu': 0.207061938283276, 'precisions': [0.4117647058823529, 0.3125, 0.2, 0.07142857142857142], 'brevity_penalty': 1.0, 'length_ratio': 1.0625, 'translation_length': 17, 'reference_length': 16} Rouge: {'rouge1': 0.5333333333333333, 'rouge2': 0.3571428571428571, 'rougeL': 0.5333333333333333, 'rougeLsum': 0.4666666666666667} Sari: {'sari': 30.716544751071606} Flesh Reading Ease: 49.65 ---------------------------------------- Source: ['Würde man einfach weniger kaufen oder richtig lagern und auch besser verarbeiten, gäbe es das Problem nicht.'] Prediction: ['Würde man einfach weniger kaufen oder richtig lagern?\nDas Problem ist nicht bekannt.'] Label: [['Einfach weniger kaufen oder richtig lagern löst das Problem.']] Sacrebleu: {'score': 26.760322756637922, 'counts': [7, 4, 3, 2], 'totals': [15, 14, 13, 12], 'precisions': [46.666666666666664, 28.571428571428573, 23.076923076923077, 16.666666666666668], 'bp': 1.0, 'sys_len': 15, 'ref_len': 10} Bleu: {'bleu': 0.2676032275663791, 'precisions': [0.4666666666666667, 0.2857142857142857, 0.23076923076923078, 0.16666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 15, 'reference_length': 10} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.5454545454545455, 'rougeL': 0.6666666666666666, 'rougeLsum': 0.6666666666666666} Sari: {'sari': 60.535714285714285} Flesh Reading Ease: 74.05 ---------------------------------------- Source: ['Wenn das abgelaufen ist, wird der Joghurt oder der Käse weggeworfen.'] Prediction: ['Der Joghurt ist abgelaufen.\nDas wird der Joghurt oder der Käse weggeworfen.'] Label: [['Wenn das abgelaufen ist, wird der Joghurt oder der Käse häufig einfach weggeworfen.']] Sacrebleu: {'score': 38.73920998972052, 'counts': [10, 6, 4, 3], 'totals': [14, 13, 12, 11], 'precisions': [71.42857142857143, 46.15384615384615, 33.333333333333336, 27.272727272727273], 'bp': 0.9310627797040228, 'sys_len': 14, 'ref_len': 15} Bleu: {'bleu': 0.38739209989720524, 'precisions': [0.7142857142857143, 0.46153846153846156, 0.3333333333333333, 0.2727272727272727], 'brevity_penalty': 0.9310627797040228, 'length_ratio': 0.9333333333333333, 'translation_length': 14, 'reference_length': 15} Rouge: {'rouge1': 0.7857142857142856, 'rouge2': 0.4615384615384615, 'rougeL': 0.6428571428571429, 'rougeLsum': 0.6428571428571429} Sari: {'sari': 21.485042735042732} Flesh Reading Ease: 68.7 ---------------------------------------- Source: ['Doch „abgelaufen“ bedeutet in den seltensten Fällen „nicht mehr genießbar“.'] Prediction: ['Die Schweizer Welt ist über die Schweizer Welt.\nIn den letzten Tagen wird der Mann über die Welt geschützt.'] Label: [['Doch „abgelaufen“ bedeutet nicht „nicht mehr genießbar“.\nOft kann man die Ware noch Wochen später essen.']] Sacrebleu: {'score': 2.3901021968803136, 'counts': [3, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [14.285714285714286, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 1.0, 'sys_len': 21, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1666666666666667, 'translation_length': 21, 'reference_length': 18} Rouge: {'rouge1': 0.052631578947368425, 'rouge2': 0.0, 'rougeL': 0.052631578947368425, 'rougeLsum': 0.052631578947368425} Sari: {'sari': 21.09457671957672} Flesh Reading Ease: 94.45 ---------------------------------------- Source: ['Über ihre Webseite oder ihre App organisieren sie sich.'] Prediction: ['Die App-Sektionen von Google und Apple sind organisiert.\nSie organisieren sie sich.'] Label: [['Über ihre Webseite organisieren sie sich.']] Sacrebleu: {'score': 17.77835117834348, 'counts': [4, 3, 2, 1], 'totals': [14, 13, 12, 11], 'precisions': [28.571428571428573, 23.076923076923077, 16.666666666666668, 9.090909090909092], 'bp': 1.0, 'sys_len': 14, 'ref_len': 7} Bleu: {'bleu': 0.1777835117834348, 'precisions': [0.2857142857142857, 0.23076923076923078, 0.16666666666666666, 0.09090909090909091], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 14, 'reference_length': 7} Rouge: {'rouge1': 0.3157894736842105, 'rouge2': 0.23529411764705882, 'rougeL': 0.3157894736842105, 'rougeLsum': 0.3157894736842105} Sari: {'sari': 52.310606060606055} Flesh Reading Ease: 39.45 ---------------------------------------- Source: ['Rund 14,5 Millionen Diesel-PKW tuckern aktuell über Deutschlands Straßen.'] Prediction: ['Deutschland will 14,5 Millionen Diesel-PKW tuckern.\nDie Diesel-PKW-Pfunde werden aktuell über Deutschlands Straßen verstossen.'] Label: [['Rund 14,5 Millionen Diesel-PKW fahren aktuell über Deutschlands Straßen.']] Sacrebleu: {'score': 22.894156860669913, 'counts': [8, 5, 3, 1], 'totals': [16, 15, 14, 13], 'precisions': [50.0, 33.333333333333336, 21.428571428571427, 7.6923076923076925], 'bp': 1.0, 'sys_len': 16, 'ref_len': 10} Bleu: {'bleu': 0.22894156860669912, 'precisions': [0.5, 0.3333333333333333, 0.21428571428571427, 0.07692307692307693], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 16, 'reference_length': 10} Rouge: {'rouge1': 0.6451612903225806, 'rouge2': 0.5517241379310345, 'rougeL': 0.6451612903225806, 'rougeLsum': 0.6451612903225806} Sari: {'sari': 34.65099715099715} Flesh Reading Ease: 26.75 ---------------------------------------- Source: ['Die meisten von ihnen – nach den Zahlen des Kraftfahrt-Bundesamts rund 13,2 Millionen – produzieren beim Verbrennen von Dieseltreibstoff zu viele Schadstoffe, darunter die gefährlichen Stickoxide.'] Prediction: ['Dieseltreibstoff produziert zu viele Schadstoffe.\nDie meisten von ihnen produzieren beim Verbrennen von Dieseltreibstoff zu viele Stickoxide.'] Label: [['Die meisten von ihnen – nach den Zahlen des Kraftfahrt-Bundesamts rund 13,2 Millionen – produzieren beim Verbrennen von Dieseltreibstoff zu viele Schadstoffe.']] Sacrebleu: {'score': 43.48638230241987, 'counts': [13, 11, 9, 6], 'totals': [19, 18, 17, 16], 'precisions': [68.42105263157895, 61.111111111111114, 52.94117647058823, 37.5], 'bp': 0.8101577349324267, 'sys_len': 19, 'ref_len': 23} Bleu: {'bleu': 0.43486382302419874, 'precisions': [0.6842105263157895, 0.6111111111111112, 0.5294117647058824, 0.375], 'brevity_penalty': 0.8101577349324267, 'length_ratio': 0.8260869565217391, 'translation_length': 19, 'reference_length': 23} Rouge: {'rouge1': 0.6153846153846153, 'rouge2': 0.5405405405405405, 'rougeL': 0.5641025641025642, 'rougeLsum': 0.6153846153846153} Sari: {'sari': 34.5266862507031} Flesh Reading Ease: 36.95 ---------------------------------------- Source: ['Der Rest, also nur 1,3 Millionen Diesel-PKW, hat vergleichsweise geringe Schadstoffemissionen und erfüllt die so genannte Euro-6-Norm mit maximal 80 Milligramm Stickoxide pro Kilometer.'] Prediction: ['Der Rest von Diesel-PKW ist nur 1,3 Millionen Diesel-PKW.\nDie so genannte Euro-6-Norm mit maximal 80 Milligramm Stickoxide pro Kilometer.'] Label: [['Nur etwa 1,3 Millionen Diesel-PKW haben geringe Schadstoffemissionen und erfüllen die so genannte Euro-6-Norm: maximal 80 Milligramm Stickoxide pro Kilometer.']] Sacrebleu: {'score': 44.18463817237388, 'counts': [15, 12, 9, 6], 'totals': [24, 23, 22, 21], 'precisions': [62.5, 52.17391304347826, 40.90909090909091, 28.571428571428573], 'bp': 1.0, 'sys_len': 24, 'ref_len': 24} Bleu: {'bleu': 0.4418463817237387, 'precisions': [0.625, 0.5217391304347826, 0.4090909090909091, 0.2857142857142857], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 24, 'reference_length': 24} Rouge: {'rouge1': 0.72, 'rouge2': 0.5833333333333334, 'rougeL': 0.72, 'rougeLsum': 0.72} Sari: {'sari': 54.71334038768249} Flesh Reading Ease: 53.0 ---------------------------------------- Source: ['Gegen die Luftverschmutzung nützen Fahrverbote aber nur wenig, vielleicht helfen gute Filter oder gar insgesamt weniger Autos.'] Prediction: ['Die Fahrverbote in der Schweiz sind nicht mehr weniger.\nWegen der Corona-Pandemie sind aber nur wenig, vielleicht helfen gute Filter oder gar insgesamt weniger Autos.'] Label: [['Gegen die Luftverschmutzung nützen Fahrverbote aber nur wenig, vielleicht helfen gute Filter oder weniger Autos.']] Sacrebleu: {'score': 33.56891925037239, 'counts': [13, 10, 8, 6], 'totals': [28, 27, 26, 25], 'precisions': [46.42857142857143, 37.03703703703704, 30.76923076923077, 24.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 17} Bleu: {'bleu': 0.3356891925037239, 'precisions': [0.4642857142857143, 0.37037037037037035, 0.3076923076923077, 0.24], 'brevity_penalty': 1.0, 'length_ratio': 1.6470588235294117, 'translation_length': 28, 'reference_length': 17} Rouge: {'rouge1': 0.5714285714285714, 'rouge2': 0.4, 'rougeL': 0.5714285714285714, 'rougeLsum': 0.5714285714285714} Sari: {'sari': 22.9018759018759} Flesh Reading Ease: 62.2 ---------------------------------------- Source: ['Am 1. Januar 2016 waren 25.502 Elektroautos angemeldet, unter den Hybrid-Pkw sind es etwas mehr: 130.365. Hybrid-PKW kombinieren den Elektroantrieb mit dem Verbrennungsmotor und sind von daher schadstoffärmer als reine Verbrennungsmotoren.'] Prediction: ['Der Hybrid-Pkw kombinieren den Elektroantrieb mit dem Verbrennungsmotor.\nDer Hybrid-PKW kombinieren schadstoffärmer als reine Verbrennungsmotoren.'] Label: [['Aber am 1.\nJanuar 2016 waren erst 25.502 Elektroautos angemeldet, unter den Hybrid-Pkw sind es etwas mehr: 130.365.\nHybrid-PKW kombinieren den Elektroantrieb mit dem Verbrennungsmotor.']] Sacrebleu: {'score': 18.417361569208452, 'counts': [10, 7, 5, 4], 'totals': [17, 16, 15, 14], 'precisions': [58.8235294117647, 43.75, 33.333333333333336, 28.571428571428573], 'bp': 0.4654708140240617, 'sys_len': 17, 'ref_len': 30} Bleu: {'bleu': 0.18417361569208457, 'precisions': [0.5882352941176471, 0.4375, 0.3333333333333333, 0.2857142857142857], 'brevity_penalty': 0.4654708140240617, 'length_ratio': 0.5666666666666667, 'translation_length': 17, 'reference_length': 30} Rouge: {'rouge1': 0.4255319148936171, 'rouge2': 0.35555555555555557, 'rougeL': 0.3404255319148936, 'rougeLsum': 0.4255319148936171} Sari: {'sari': 25.718791939909718} Flesh Reading Ease: 14.55 ---------------------------------------- Source: ['Um Anreize zu schaffen gibt es eine Prämie seit Juni 2016 den sogenannten Umweltbonus:'] Prediction: ['Eine Prämie seit Juni 2016 hatte den sogenannten Umweltbonus gesprochen.\nEs ist der erste Mal seit Juni 2016.'] Label: [['Als Anreiz gibt es den Umweltbonus seit Juni 2016:']] Sacrebleu: {'score': 8.097785064266205, 'counts': [5, 2, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 10.526315789473685, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.10526315789473684, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 20, 'reference_length': 10} Rouge: {'rouge1': 0.42857142857142855, 'rouge2': 0.15384615384615383, 'rougeL': 0.35714285714285715, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 42.433278867102395} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Bis zu 4.000 Euro bekommt der Käufer erstattet, wenn er ein Elektro- oder Hybrid-Fahrzeug kauft.'] Prediction: ['Der Käufer hat einen Elektro oder Hybrid-Fahrzeug kauft.\nDas kostet 4.000 Euro.'] Label: [['Bis zu 4.000 Euro bekommt der Käufer zurück, wenn er ein Elektro- oder Hybrid-Fahrzeug kauft.']] Sacrebleu: {'score': 17.73464803015646, 'counts': [7, 4, 2, 1], 'totals': [14, 13, 12, 11], 'precisions': [50.0, 30.76923076923077, 16.666666666666668, 9.090909090909092], 'bp': 0.8071177470053894, 'sys_len': 14, 'ref_len': 17} Bleu: {'bleu': 0.1773464803015646, 'precisions': [0.5, 0.3076923076923077, 0.16666666666666666, 0.09090909090909091], 'brevity_penalty': 0.8071177470053892, 'length_ratio': 0.8235294117647058, 'translation_length': 14, 'reference_length': 17} Rouge: {'rouge1': 0.6470588235294117, 'rouge2': 0.5, 'rougeL': 0.47058823529411764, 'rougeLsum': 0.6470588235294117} Sari: {'sari': 20.765881292197083} Flesh Reading Ease: 80.4 ---------------------------------------- Source: ['Außerdem fällt die jährliche Steuer, die fast alle Autos in Deutschland zahlen müssen, für einige Jahre weg.'] Prediction: ['Die jährliche Steuer in Deutschland muss für einige Jahre weg weg weg sein.\nDie jährliche Autos fällt für einige Jahre weg weg.'] Label: [['Außerdem fällt die jährliche Steuer für einige Jahre weg.']] Sacrebleu: {'score': 13.308442527111026, 'counts': [8, 5, 2, 1], 'totals': [24, 23, 22, 21], 'precisions': [33.333333333333336, 21.73913043478261, 9.090909090909092, 4.761904761904762], 'bp': 1.0, 'sys_len': 24, 'ref_len': 10} Bleu: {'bleu': 0.13308442527111022, 'precisions': [0.3333333333333333, 0.21739130434782608, 0.09090909090909091, 0.047619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 2.4, 'translation_length': 24, 'reference_length': 10} Rouge: {'rouge1': 0.5499999999999999, 'rouge2': 0.42105263157894735, 'rougeL': 0.45, 'rougeLsum': 0.45} Sari: {'sari': 49.48816206102475} Flesh Reading Ease: 75.4 ---------------------------------------- Source: ['Dieser Spruch der Feuerwehr sagt schon viel aus über die Einstellung zu ihrem Beruf:'] Prediction: ['Ein Spruch der Feuerwehr sagt, dass die Polizei einen Berufsalltag ausgebrochen hatte.\nDie Polizei ermittelt auf die Einstellung.'] Label: [['Dieser Spruch der Feuerwehr zeigt die Einstellung zum Beruf:']] Sacrebleu: {'score': 8.500539049202116, 'counts': [5, 3, 1, 0], 'totals': [21, 20, 19, 18], 'precisions': [23.80952380952381, 15.0, 5.2631578947368425, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.23809523809523808, 0.15, 0.05263157894736842, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1, 'translation_length': 21, 'reference_length': 10} Rouge: {'rouge1': 0.3703703703703704, 'rouge2': 0.24, 'rougeL': 0.3703703703703704, 'rougeLsum': 0.3703703703703704} Sari: {'sari': 43.048340548340555} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Als Retter in der Not genießen Feuerwehrleute ein besonderes Ansehen – weltweit übrigens, wie die Gesellschaft für Konsum-, Markt- und Absatzforschung e. V. (GfK Verein) in der Studie „Trust in Professions 2015“ herausgefunden hat.'] Prediction: ['Eine Studie von Grossbritannien und Grossbritannien zeigt, wie die Gesellschaft für Konsum-, Markt und Absatzforschung e. V. (GfK Verein) in der Studie "Trust in Professions 2015" herausgefunden hat.\nDie Studie hat ihre Retter in der Not genießen Feuerwehrleute ein besonderes Ansehen.'] Label: [['Sie sind die Retter in der Not.\nUnd daher haben Feuerwehrleute ein besonderes Ansehen weltweit.\nDies zeigt die Studie Gesellschaft für Konsum-, Markt- und Absatzforschung e. V. (GfK Verein) „Trust in Professions 2015“.']] Sacrebleu: {'score': 33.67639029566805, 'counts': [29, 19, 14, 10], 'totals': [51, 50, 49, 48], 'precisions': [56.86274509803921, 38.0, 28.571428571428573, 20.833333333333332], 'bp': 1.0, 'sys_len': 51, 'ref_len': 41} Bleu: {'bleu': 0.33676390295668057, 'precisions': [0.5686274509803921, 0.38, 0.2857142857142857, 0.20833333333333334], 'brevity_penalty': 1.0, 'length_ratio': 1.2439024390243902, 'translation_length': 51, 'reference_length': 41} Rouge: {'rouge1': 0.7272727272727273, 'rouge2': 0.5333333333333333, 'rougeL': 0.4675324675324676, 'rougeLsum': 0.7272727272727273} Sari: {'sari': 45.29755308226859} Flesh Reading Ease: 49.3 ---------------------------------------- Source: ['In über 29.000 Interviews wurden Menschen aus 27 Ländern weltweit nach ihrem Vertrauen in 32 Berufsgruppen gefragt.'] Prediction: ['Die Schweiz hat über 29.000 Interviews mit dem Vertrauen in 32 Berufsgruppen gefragt.\nDie Schweiz hat über 29.000 Interviews in über 29.000 Fällen gefragt.'] Label: [['Hier wurden Menschen aus 27 Ländern weltweit nach ihrem Vertrauen in 32 Berufsgruppen gefragt.']] Sacrebleu: {'score': 17.7976440457712, 'counts': [6, 5, 4, 3], 'totals': [26, 25, 24, 23], 'precisions': [23.076923076923077, 20.0, 16.666666666666668, 13.043478260869565], 'bp': 1.0, 'sys_len': 26, 'ref_len': 15} Bleu: {'bleu': 0.17797644045771208, 'precisions': [0.23076923076923078, 0.2, 0.16666666666666666, 0.13043478260869565], 'brevity_penalty': 1.0, 'length_ratio': 1.7333333333333334, 'translation_length': 26, 'reference_length': 15} Rouge: {'rouge1': 0.23255813953488372, 'rouge2': 0.1951219512195122, 'rougeL': 0.23255813953488372, 'rougeLsum': 0.23255813953488372} Sari: {'sari': 20.812229896199362} Flesh Reading Ease: 87.45 ---------------------------------------- Source: ['In Deutschland haben alle Berufe, die für Recht, Ordnung und Sicherheit sorgen, ein hohes Ansehen.'] Prediction: ['In Deutschland haben alle Berufe ein hohes Ansehen.\nDie Berufe sind für Recht, Ordnung und Sicherheit geworden.'] Label: [['In Deutschland haben alle Berufe ein hohes Ansehen, die für Recht, Ordnung und Sicherheit sorgen.']] Sacrebleu: {'score': 59.32180640699454, 'counts': [15, 12, 10, 8], 'totals': [20, 19, 18, 17], 'precisions': [75.0, 63.1578947368421, 55.55555555555556, 47.05882352941177], 'bp': 1.0, 'sys_len': 20, 'ref_len': 18} Bleu: {'bleu': 0.5932180640699449, 'precisions': [0.75, 0.631578947368421, 0.5555555555555556, 0.47058823529411764], 'brevity_penalty': 1.0, 'length_ratio': 1.1111111111111112, 'translation_length': 20, 'reference_length': 18} Rouge: {'rouge1': 0.8823529411764706, 'rouge2': 0.8125, 'rougeL': 0.8823529411764706, 'rougeLsum': 0.823529411764706} Sari: {'sari': 49.547197083961784} Flesh Reading Ease: 60.35 ---------------------------------------- Source: ['Das sind Rechtsanwälte, Richter und Polizisten, die im Vergleich zu Berufskollegen in Europa oder weltweit besser abschneiden.'] Prediction: ['Polizeimeldungen sind in den letzten Tagen aufgeboten.\nDie Polizei hatte sich mit dem Rechtsanwälten aufgefordert.'] Label: [['Das sind Rechtsanwälte, Richter und Polizisten.']] Sacrebleu: {'score': 2.719665272174911, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.125, 'translation_length': 17, 'reference_length': 8} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.0, 'rougeL': 0.17391304347826086, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 26.14837747964683} Flesh Reading Ease: 37.95 ---------------------------------------- Source: ['Und auch Journalisten und Werbefachleute schneiden in Europa schlecht ab.'] Prediction: ['Die Schweizer Medien schneiden in Europa schlecht ab.\nAuch Journalisten und Werbefachleute schneiden in Europa schlecht ab.'] Label: [['Auch Journalisten und Werbefachleute schneiden in Europa schlecht ab.']] Sacrebleu: {'score': 48.2457299495954, 'counts': [10, 9, 8, 7], 'totals': [19, 18, 17, 16], 'precisions': [52.63157894736842, 50.0, 47.05882352941177, 43.75], 'bp': 1.0, 'sys_len': 19, 'ref_len': 10} Bleu: {'bleu': 0.4824572994959539, 'precisions': [0.5263157894736842, 0.5, 0.47058823529411764, 0.4375], 'brevity_penalty': 1.0, 'length_ratio': 1.9, 'translation_length': 19, 'reference_length': 10} Rouge: {'rouge1': 0.6923076923076924, 'rouge2': 0.6666666666666666, 'rougeL': 0.6923076923076924, 'rougeLsum': 0.6923076923076924} Sari: {'sari': 58.333333333333336} Flesh Reading Ease: 48.65 ---------------------------------------- Source: ['Die drei bevölkerungsreichsten Städte der Erde sind Tokio (37,75 Millionen Menschen), der Großraum Jakarta (fast 40 Millionen) und Delhi (25,73 Millionen).'] Prediction: ['Die drei bevölkerungsreichsten Städte der Erde sind Tokio (37,75 Millionen Menschen), der Großraum Jakarta (fast 40 Millionen) und Delhi (25,73 Millionen).\nDie drei bevölkerungsreichsten Städte der Erde sind Tokio (37,75 Millionen Menschen), der Großraum Jakarta (fast 40 Millionen) und Delhi (25,73 Millionen).'] Label: [['Die drei bevölkerungsreichsten Städte der Erde sind Tokio (37,75 Millionen Menschen), der Großraum Jakarta (fast 40 Millionen) und Delhi (25,73 Millionen).Immer']] Sacrebleu: {'score': 48.641828693596324, 'counts': [29, 28, 27, 26], 'totals': [58, 57, 56, 55], 'precisions': [50.0, 49.12280701754386, 48.214285714285715, 47.27272727272727], 'bp': 1.0, 'sys_len': 58, 'ref_len': 30} Bleu: {'bleu': 0.4864182869359634, 'precisions': [0.5, 0.49122807017543857, 0.48214285714285715, 0.4727272727272727], 'brevity_penalty': 1.0, 'length_ratio': 1.9333333333333333, 'translation_length': 58, 'reference_length': 30} Rouge: {'rouge1': 0.6582278481012659, 'rouge2': 0.6493506493506493, 'rougeL': 0.6582278481012659, 'rougeLsum': 0.6582278481012659} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 42.0 ---------------------------------------- Source: ['Immer größer, immer mehr Menschen, immer mehr Ressourcen – das ist der Trend der Urbanisierung.'] Prediction: ['Die Zürcher Welt ist eine neue Trend.\nImmer größer, immer mehr Menschen, immer mehr Ressourcen.\nImmer größer, immer mehr Menschen, das ist der Trend der Urbanisierung.'] Label: [['größer, immer mehr Menschen, immer mehr Ressourcen – das ist der Trend der Urbanisierung.']] Sacrebleu: {'score': 40.67434794181574, 'counts': [16, 14, 12, 10], 'totals': [33, 32, 31, 30], 'precisions': [48.484848484848484, 43.75, 38.70967741935484, 33.333333333333336], 'bp': 1.0, 'sys_len': 33, 'ref_len': 17} Bleu: {'bleu': 0.4067434794181572, 'precisions': [0.48484848484848486, 0.4375, 0.3870967741935484, 0.3333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.9411764705882353, 'translation_length': 33, 'reference_length': 17} Rouge: {'rouge1': 0.6511627906976745, 'rouge2': 0.5853658536585366, 'rougeL': 0.6511627906976745, 'rougeLsum': 0.6511627906976745} Sari: {'sari': 29.24343445624685} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['Dies führt zu weniger bezahlbarem Wohnraum, wachsenden Elendsvierten; Armut und Kriminalität steigen, die Infrastruktur bricht teilweise zusammen.'] Prediction: ['Weniger bezahlbarem Wohnraum, wachsenden Elendsvierten steigen, steigen die Infrastruktur teilweise zusammen.\nDie Infrastruktur bricht teilweise zusammen.'] Label: [['Doch dies bedeutet zu wenig bezahlbarer Wohnraum, die Elendsviertel wachsen, Armut und Kriminalität steigen, die Infrastruktur bricht teilweise zusammen.']] Sacrebleu: {'score': 21.10045860625116, 'counts': [10, 7, 3, 2], 'totals': [20, 19, 18, 17], 'precisions': [50.0, 36.8421052631579, 16.666666666666668, 11.764705882352942], 'bp': 0.8607079764250579, 'sys_len': 20, 'ref_len': 23} Bleu: {'bleu': 0.21100458606251166, 'precisions': [0.5, 0.3684210526315789, 0.16666666666666666, 0.11764705882352941], 'brevity_penalty': 0.8607079764250577, 'length_ratio': 0.8695652173913043, 'translation_length': 20, 'reference_length': 23} Rouge: {'rouge1': 0.4444444444444445, 'rouge2': 0.29411764705882354, 'rougeL': 0.38888888888888884, 'rougeLsum': 0.38888888888888884} Sari: {'sari': 34.87355252754809} Flesh Reading Ease: 8.2 ---------------------------------------- Source: ['Die Slums tragen besonders stark zum Ausstoß von Treibhausgasen bei.'] Prediction: ['In Treibhausgasen werden die Slums geschickt.\nDie Slums tragen besonders stark zum Ausstoß von Treibhausgasen bei.'] Label: [['Die Slums der riesigen Städte tragen besonders stark zum Ausstoß von Treibhausgasen bei.']] Sacrebleu: {'score': 48.77956849311216, 'counts': [11, 9, 7, 6], 'totals': [18, 17, 16, 15], 'precisions': [61.111111111111114, 52.94117647058823, 43.75, 40.0], 'bp': 1.0, 'sys_len': 18, 'ref_len': 14} Bleu: {'bleu': 0.4877956849311217, 'precisions': [0.6111111111111112, 0.5294117647058824, 0.4375, 0.4], 'brevity_penalty': 1.0, 'length_ratio': 1.2857142857142858, 'translation_length': 18, 'reference_length': 14} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.5714285714285715, 'rougeL': 0.6666666666666666, 'rougeLsum': 0.6666666666666666} Sari: {'sari': 63.99592731829574} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Die Entwicklung in den Regionen in der Nähe der Städte steht daher an erster Stelle.'] Prediction: ['Die Entwicklung in den Regionen in der Nähe der Städte steht daher an erster Stelle.\nDie Entwicklung in den Regionen in der Nähe der Städte steht daher an erster Stelle.'] Label: [['Die Entwicklung in den Regionen in der Nähe der Städte und die Lebensbedingungen der Menschen stehen an erster Stelle.']] Sacrebleu: {'score': 35.94039880288691, 'counts': [15, 12, 10, 8], 'totals': [32, 31, 30, 29], 'precisions': [46.875, 38.70967741935484, 33.333333333333336, 27.586206896551722], 'bp': 1.0, 'sys_len': 32, 'ref_len': 20} Bleu: {'bleu': 0.3594039880288692, 'precisions': [0.46875, 0.3870967741935484, 0.3333333333333333, 0.27586206896551724], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 32, 'reference_length': 20} Rouge: {'rouge1': 0.6181818181818182, 'rouge2': 0.490566037735849, 'rougeL': 0.6181818181818182, 'rougeLsum': 0.5454545454545455} Sari: {'sari': 61.72669922669923} Flesh Reading Ease: 65.55 ---------------------------------------- Source: ['Warum muss man sich unbedingt Geschenke kaufen?'] Prediction: ['Der Schweizer Stürmer hat sich unbedingt in Geschenke kaufen.\nDer Mann muss sich unbedingt in Geschenke kaufen.'] Label: [['Warum muss man unbedingt Geschenke kaufen?']] Sacrebleu: {'score': 4.814971807094068, 'counts': [4, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [21.05263157894737, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 1.0, 'sys_len': 19, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7142857142857144, 'translation_length': 19, 'reference_length': 7} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.0909090909090909, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 20.43650793650794} Flesh Reading Ease: 72.05 ---------------------------------------- Source: ['Das hat einen ganz besonderen Wert für den Beschenkten: Aufmerksamkeit, gemeinsame Zeit und geschenkte Erlebnisse.'] Prediction: ['Der Schweizer Beschenkte hat einen besonderen Wert für den Beschenkten.\nAufmerksamkeit, gemeinsame Zeit und geschenkte Erlebnisse sind die ganze Wert.'] Label: [['Das hat einen ganz besonderen Wert: Aufmerksamkeit, gemeinsame Zeit und geschenkte Erlebnisse.']] Sacrebleu: {'score': 30.830129955021516, 'counts': [12, 8, 5, 4], 'totals': [23, 22, 21, 20], 'precisions': [52.17391304347826, 36.36363636363637, 23.80952380952381, 20.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 15} Bleu: {'bleu': 0.3083012995502152, 'precisions': [0.5217391304347826, 0.36363636363636365, 0.23809523809523808, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 1.5333333333333334, 'translation_length': 23, 'reference_length': 15} Rouge: {'rouge1': 0.6060606060606061, 'rouge2': 0.45161290322580644, 'rougeL': 0.6060606060606061, 'rougeLsum': 0.6060606060606061} Sari: {'sari': 28.22855750487329} Flesh Reading Ease: 53.0 ---------------------------------------- Source: ['Die einen lieben sie, die anderen finden sie überflüssig – aber eines ist sicher: Weihnachtsfeiern mit Kolleginnen und Kollegen und Freunden fördern das Miteinander – vorausgesetzt, man ist kreativ genug und belässt es nicht bei einem Plätzchenessen in der Mittagspause.'] Prediction: ['Weihnachtsfeiern mit Kolleginnen und Kollegen fördern das Miteinander vorausgesetzt.\nDas Miteinander belässt es nicht bei einem Plätzchenessen in der Mittagspause.'] Label: [['Weihnachtsfeiern mit Kolleginnen und Kollegen oder mit Freunden fördern das Miteinander.']] Sacrebleu: {'score': 22.27227312202058, 'counts': [9, 6, 4, 2], 'totals': [22, 21, 20, 19], 'precisions': [40.90909090909091, 28.571428571428573, 20.0, 10.526315789473685], 'bp': 1.0, 'sys_len': 22, 'ref_len': 12} Bleu: {'bleu': 0.2227227312202058, 'precisions': [0.4090909090909091, 0.2857142857142857, 0.2, 0.10526315789473684], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 22, 'reference_length': 12} Rouge: {'rouge1': 0.5142857142857143, 'rouge2': 0.4242424242424242, 'rougeL': 0.5142857142857143, 'rougeLsum': 0.5142857142857143} Sari: {'sari': 48.25683984821449} Flesh Reading Ease: 35.45 ---------------------------------------- Source: ['Was sich anbietet, ist zum Beispiel ein gemeinsamer Nachmittag draußen, etwa zum Eisstockschießen mit anschließendem Besuch auf dem Weihnachtsmarkt.'] Prediction: ['Zum Beispiel eines Eisstockschießen ist ein gemeinsamer Nachmittag draußen.\nWas sich anbietet, ist ein gemeinsamer Nachmittag.'] Label: [['Ein gemeinsamer Nachmittag draußen, etwa zum Eisstockschießen mit anschließendem Besuch auf dem Weihnachtsmarkt, ist sehr beliebt.']] Sacrebleu: {'score': 10.307386760781874, 'counts': [7, 3, 1, 0], 'totals': [19, 18, 17, 16], 'precisions': [36.8421052631579, 16.666666666666668, 5.882352941176471, 3.125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.3684210526315789, 0.16666666666666666, 0.058823529411764705, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 19, 'reference_length': 19} Rouge: {'rouge1': 0.4864864864864865, 'rouge2': 0.28571428571428575, 'rougeL': 0.3243243243243243, 'rougeLsum': 0.27027027027027023} Sari: {'sari': 19.00741823535941} Flesh Reading Ease: 49.15 ---------------------------------------- Source: ['Trifft man sich mit Freunden, ist es entspannt, wenn alle gemeinsam kochen und sich ein Motto überlegen – rein vegetarisch, fernöstlich, rustikal oder eben weihnachtlich mit internationalen Rezepten.'] Prediction: ['Manche Freunde sind sich mit Freunden überlegen.\nSie sind sich mit vegetarisch, fernöstlich, rustikal oder eben weihnachtlich mit internationalen Rezepten.'] Label: [['Trifft man sich mit Freunden, ist es entspannt, wenn alle gemeinsam kochen – rein vegetarisch, fernöstlich, rustikal oder eben weihnachtlich mit internationalen Rezepten.']] Sacrebleu: {'score': 44.400695652134225, 'counts': [15, 13, 11, 9], 'totals': [24, 23, 22, 21], 'precisions': [62.5, 56.52173913043478, 50.0, 42.857142857142854], 'bp': 0.846481724890614, 'sys_len': 24, 'ref_len': 28} Bleu: {'bleu': 0.444006956521342, 'precisions': [0.625, 0.5652173913043478, 0.5, 0.42857142857142855], 'brevity_penalty': 0.846481724890614, 'length_ratio': 0.8571428571428571, 'translation_length': 24, 'reference_length': 28} Rouge: {'rouge1': 0.5909090909090909, 'rouge2': 0.5238095238095238, 'rougeL': 0.5909090909090909, 'rougeLsum': 0.5909090909090909} Sari: {'sari': 31.602233069232216} Flesh Reading Ease: 41.3 ---------------------------------------- Source: ['Hier werden Dinge, die man eigentlich nicht braucht, schön verpackt, mit einer Nummer versehen und verlost.'] Prediction: ['Der Schweizer Nummer 2021 ist auf der Suche nach der Nummer gekommen.\nDie Welt ist eine Nummer mit einer Nummer versehen und verlost.\nDie Welt ist eine Nummer mit einer Nummer versehen und verlost.'] Label: [['Hier werden Dinge, die man eigentlich nicht braucht, schön verpackt, bekommen eine Nummer und werden verlost.']] Sacrebleu: {'score': 2.9799893137327635, 'counts': [5, 2, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [13.513513513513514, 5.555555555555555, 1.4285714285714286, 0.7352941176470589], 'bp': 1.0, 'sys_len': 37, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.13513513513513514, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.85, 'translation_length': 37, 'reference_length': 20} Rouge: {'rouge1': 0.19607843137254904, 'rouge2': 0.04081632653061225, 'rougeL': 0.19607843137254904, 'rougeLsum': 0.19607843137254904} Sari: {'sari': 10.140013495276651} Flesh Reading Ease: 75.1 ---------------------------------------- Source: ['Nichts stimmt so sehr auf die Festtage ein wie der Weihnachtsbaum, den man zusammen mit der Familie aussucht.'] Prediction: ['In der Nähe von St. Gallen wurde ein Weihnachtsbaum gefunden.\nNichts stimmt so sehr auf die Festtage ein wie der Weihnachtsbaum, den man zusammen mit der Familie aussucht.'] Label: [['Zu Weihnachten gehört der Weihnachtsbaum, den man zusammen mit der Familie aussucht.']] Sacrebleu: {'score': 30.950920105373314, 'counts': [11, 10, 9, 8], 'totals': [32, 31, 30, 29], 'precisions': [34.375, 32.25806451612903, 30.0, 27.586206896551722], 'bp': 1.0, 'sys_len': 32, 'ref_len': 14} Bleu: {'bleu': 0.30950920105373303, 'precisions': [0.34375, 0.3225806451612903, 0.3, 0.27586206896551724], 'brevity_penalty': 1.0, 'length_ratio': 2.2857142857142856, 'translation_length': 32, 'reference_length': 14} Rouge: {'rouge1': 0.4285714285714286, 'rouge2': 0.4, 'rougeL': 0.4285714285714286, 'rougeLsum': 0.4285714285714286} Sari: {'sari': 55.71647509578545} Flesh Reading Ease: 77.1 ---------------------------------------- Source: ['Ein gemeinsamer Besuch eines Weihnachtskonzertes erhellt die Sinne und erweckt Vorfreude auf die anstehenden Weihnachtsfeiertage.'] Prediction: ['Ein gemeinsamer Besuch eines Weihnachtskonzertes erweckt die Sinne.\nDas Opfer erweckt Vorfreude auf die anstehenden Weihnachtsfeiertage.'] Label: [['Ein Weihnachtskonzert stimmt besonders schön ein auf die Weihnachtsfeiertage.']] Sacrebleu: {'score': 6.423094863383858, 'counts': [5, 2, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [27.77777777777778, 11.764705882352942, 3.125, 1.6666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.11764705882352941, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 18, 'reference_length': 10} Rouge: {'rouge1': 0.3076923076923077, 'rouge2': 0.08333333333333334, 'rougeL': 0.3076923076923077, 'rougeLsum': 0.3076923076923077} Sari: {'sari': 40.18315018315018} Flesh Reading Ease: 31.6 ---------------------------------------- Source: ['Das wusste schon der amerikanische Philosoph Ralph Waldo Emerson.'] Prediction: ['Der amerikanische Philosoph Ralph Waldo Emerson hat eine Nobel-Debatte.\nEr wurde zum ersten Mal in seinem Interview mit der "New Yorker Zeit" veröffentlicht.'] Label: [['Das sagte der amerikanische Philosoph Ralph Waldo Emerson.']] Sacrebleu: {'score': 14.132052098159443, 'counts': [7, 4, 3, 2], 'totals': [27, 26, 25, 24], 'precisions': [25.925925925925927, 15.384615384615385, 12.0, 8.333333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 9} Bleu: {'bleu': 0.14132052098159442, 'precisions': [0.25925925925925924, 0.15384615384615385, 0.12, 0.08333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 27, 'reference_length': 9} Rouge: {'rouge1': 0.36363636363636365, 'rouge2': 0.3225806451612903, 'rougeL': 0.36363636363636365, 'rougeLsum': 0.36363636363636365} Sari: {'sari': 54.20935545935546} Flesh Reading Ease: 51.5 ---------------------------------------- Source: ['Und so sind die Wörter des Jahres, die die Gesellschaft für deutsche Sprache e. V. (GfdS) alle Jahre wieder auswählt, ein interessanter Rückblick in das gerade vergangene Jahr.'] Prediction: ['Die deutsche Sprache e. V. (GfdS) hat alle Jahre wieder auswählt.\nDie Wörter des Jahres sind ein interessanter Rückblick in das gerade vergangene Jahr.'] Label: [['Die Wörter des Jahres, die die Gesellschaft für deutsche Sprache e. V. (GfdS) jedes Jahr auswählt, sind daher ein interessanter Rückblick in das gerade vergangene Jahr.']] Sacrebleu: {'score': 55.75930271901959, 'counts': [24, 19, 16, 13], 'totals': [30, 29, 28, 27], 'precisions': [80.0, 65.51724137931035, 57.142857142857146, 48.148148148148145], 'bp': 0.9048374180359595, 'sys_len': 30, 'ref_len': 33} Bleu: {'bleu': 0.5575930271901961, 'precisions': [0.8, 0.6551724137931034, 0.5714285714285714, 0.48148148148148145], 'brevity_penalty': 0.9048374180359595, 'length_ratio': 0.9090909090909091, 'translation_length': 30, 'reference_length': 33} Rouge: {'rouge1': 0.8070175438596491, 'rouge2': 0.6181818181818182, 'rougeL': 0.631578947368421, 'rougeLsum': 0.8070175438596491} Sari: {'sari': 41.74943026412847} Flesh Reading Ease: 66.7 ---------------------------------------- Source: ['Postfaktisch bedeutet: Die „gefühlte“ Wahrheit ist für manche Menschen wichtiger als Tatsachen.'] Prediction: ['Die Wahrheit in den Schweizerischen Staaten ist wichtiger als Tatsachen.\nDie Wahrheit ist für manche Menschen wichtiger als Tatsachen.'] Label: [['Postfaktisch bedeutet „gefühlte“ Wahrheit.\nSie ist für manche Menschen wichtiger als Tatsachen.']] Sacrebleu: {'score': 34.77250470582592, 'counts': [10, 7, 6, 5], 'totals': [21, 20, 19, 18], 'precisions': [47.61904761904762, 35.0, 31.57894736842105, 27.77777777777778], 'bp': 1.0, 'sys_len': 21, 'ref_len': 14} Bleu: {'bleu': 0.34772504705825924, 'precisions': [0.47619047619047616, 0.35, 0.3157894736842105, 0.2777777777777778], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 21, 'reference_length': 14} Rouge: {'rouge1': 0.5294117647058824, 'rouge2': 0.4375, 'rougeL': 0.5294117647058824, 'rougeLsum': 0.5294117647058824} Sari: {'sari': 52.6989921842863} Flesh Reading Ease: 65.2 ---------------------------------------- Source: ['In den politischen und gesellschaftlichen Diskussionen stehen heute oft eher die Emotionen statt Fakten im Mittelpunkt und sogar Lügen werden von einigen Menschen akzeptiert.'] Prediction: ['In den politischen und gesellschaftlichen Diskussionen stehen heute oft eher die Emotionen statt Fakten im Mittelpunkt.\nDiese werden von einigen Menschen akzeptiert.'] Label: [['In den politischen und gesellschaftlichen Diskussionen stehen heute oft die Emotionen statt Fakten im Mittelpunkt.\nEinige Menschen akzeptieren sogar Lügen.']] Sacrebleu: {'score': 58.68136174076831, 'counts': [18, 14, 12, 10], 'totals': [24, 23, 22, 21], 'precisions': [75.0, 60.869565217391305, 54.54545454545455, 47.61904761904762], 'bp': 1.0, 'sys_len': 24, 'ref_len': 22} Bleu: {'bleu': 0.5868136174076833, 'precisions': [0.75, 0.6086956521739131, 0.5454545454545454, 0.47619047619047616], 'brevity_penalty': 1.0, 'length_ratio': 1.0909090909090908, 'translation_length': 24, 'reference_length': 22} Rouge: {'rouge1': 0.7441860465116279, 'rouge2': 0.6341463414634146, 'rougeL': 0.7441860465116279, 'rougeLsum': 0.7441860465116279} Sari: {'sari': 52.5814529322544} Flesh Reading Ease: 40.3 ---------------------------------------- Source: ['Auf Platz 2: Brexit (aus: Britain + Exit).'] Prediction: ['Die EU will noch bis am 27.\nJuni sein.\nDie EU-Stimmung hat noch bis am 28.\nJuli stattgefunden.\nDie EU-Stimmung ist noch unklar.'] Label: [['Auf Platz 2 steht das Wort Brexit (aus: Britain + Exit).']] Sacrebleu: {'score': 1.3353534059549443, 'counts': [1, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [3.5714285714285716, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.03571428571428571, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8666666666666667, 'translation_length': 28, 'reference_length': 15} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 8.655788655788655} Flesh Reading Ease: 90.4 ---------------------------------------- Source: ['Die Herkunft des Wortes ist ein passendes Beispiel für postfaktische Politik.'] Prediction: ['Die Herkunft des Wortes ist ein passendes Beispiel für postfaktische Politik.\nDie Herkunft des Wortes ist ein passendes Beispiel für postfaktische Politik.'] Label: [['Die Herkunft des Wortes ist ein Beispiel für postfaktische Politik.']] Sacrebleu: {'score': 34.14133873034847, 'counts': [11, 9, 7, 5], 'totals': [24, 23, 22, 21], 'precisions': [45.833333333333336, 39.130434782608695, 31.818181818181817, 23.80952380952381], 'bp': 1.0, 'sys_len': 24, 'ref_len': 11} Bleu: {'bleu': 0.34141338730348464, 'precisions': [0.4583333333333333, 0.391304347826087, 0.3181818181818182, 0.23809523809523808], 'brevity_penalty': 1.0, 'length_ratio': 2.1818181818181817, 'translation_length': 24, 'reference_length': 11} Rouge: {'rouge1': 0.6285714285714286, 'rouge2': 0.5454545454545454, 'rougeL': 0.6285714285714286, 'rougeLsum': 0.6285714285714286} Sari: {'sari': 69.95280720984044} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Denn mit vielen gezielten Fehlinformationen bekamen die Befürworter des Austritts Großbritanniens die Stimmen in der Bevölkerung.'] Prediction: ['In Großbritannien wurden viele Fehlinformationen veröffentlicht.\nDie Befürworter des Austritts Großbritanniens bekamen die Stimmen in der Bevölkerung.'] Label: [['Denn mit vielen falschen Informationen bekamen die Befürworter des Austritts Großbritanniens aus der EU die Stimmen der Bevölkerung.']] Sacrebleu: {'score': 21.797469124036954, 'counts': [10, 7, 3, 1], 'totals': [19, 18, 17, 16], 'precisions': [52.63157894736842, 38.888888888888886, 17.647058823529413, 6.25], 'bp': 1.0, 'sys_len': 19, 'ref_len': 19} Bleu: {'bleu': 0.21797469124036953, 'precisions': [0.5263157894736842, 0.3888888888888889, 0.17647058823529413, 0.0625], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 19, 'reference_length': 19} Rouge: {'rouge1': 0.6046511627906977, 'rouge2': 0.4878048780487805, 'rougeL': 0.5581395348837208, 'rougeLsum': 0.5581395348837208} Sari: {'sari': 43.998030836266125} Flesh Reading Ease: 13.55 ---------------------------------------- Source: ['Er spielt an auf die Veröffentlichung der Panama-Papiere.'] Prediction: ['Ein US-Amerikaner hatte in Panama seine Veröffentlichung verstorben.\nEr spielt an die Veröffentlichung der Panama-Papiere.'] Label: [['Er meint die Veröffentlichung der Panama-Papiere.']] Sacrebleu: {'score': 22.407508680204355, 'counts': [6, 4, 3, 2], 'totals': [17, 16, 15, 14], 'precisions': [35.294117647058826, 25.0, 20.0, 14.285714285714286], 'bp': 1.0, 'sys_len': 17, 'ref_len': 7} Bleu: {'bleu': 0.2240750868020436, 'precisions': [0.35294117647058826, 0.25, 0.2, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 2.4285714285714284, 'translation_length': 17, 'reference_length': 7} Rouge: {'rouge1': 0.5185185185185185, 'rouge2': 0.4, 'rougeL': 0.5185185185185185, 'rougeLsum': 0.5185185185185185} Sari: {'sari': 62.61904761904762} Flesh Reading Ease: 26.25 ---------------------------------------- Source: ['Es geht um Geldwäsche und Steuerbetrug.'] Prediction: ['Der Geldwäsche ist derzeit betroffen.\nEs geht um Geldwäsche und Steuerbetrug.'] Label: [['Sie dienen der Geldwäsche und dem Steuerbetrug.']] Sacrebleu: {'score': 8.73716785171588, 'counts': [4, 2, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [30.76923076923077, 16.666666666666668, 4.545454545454546, 2.5], 'bp': 1.0, 'sys_len': 13, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.3076923076923077, 0.16666666666666666, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.625, 'translation_length': 13, 'reference_length': 8} Rouge: {'rouge1': 0.4761904761904762, 'rouge2': 0.3157894736842105, 'rougeL': 0.4761904761904762, 'rougeLsum': 0.4761904761904762} Sari: {'sari': 47.159090909090914} Flesh Reading Ease: 63.35 ---------------------------------------- Source: ['Einige führende Politiker waren beteiligt und mussten zurücktreten.'] Prediction: ['Einige führende Politiker waren beteiligt und mussten zurücktreten.\nEinige führende Politiker waren beteiligt und mussten zurücktreten.'] Label: [['Einige bekannte Politiker waren beteiligt.']] Sacrebleu: {'score': 9.083627868206413, 'counts': [5, 2, 1, 0], 'totals': [18, 17, 16, 15], 'precisions': [27.77777777777778, 11.764705882352942, 6.25, 3.3333333333333335], 'bp': 1.0, 'sys_len': 18, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.11764705882352941, 0.0625, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 18, 'reference_length': 6} Rouge: {'rouge1': 0.32000000000000006, 'rouge2': 0.17391304347826086, 'rougeL': 0.32000000000000006, 'rougeLsum': 0.32000000000000006} Sari: {'sari': 44.70238095238095} Flesh Reading Ease: 8.2 ---------------------------------------- Source: ['Aber viele Deutsche verlassen auch ihr Land – rund 25.000 jedes Jahr.'] Prediction: ['Aber viele Deutsche verlassen auch ihr Land.\nDas Land verlassen 25.000 jedes Jahr.'] Label: [['Einige Deutsche verlassen ihr Land – rund 25.000 jedes Jahr.']] Sacrebleu: {'score': 22.229849552064017, 'counts': [8, 5, 2, 1], 'totals': [15, 14, 13, 12], 'precisions': [53.333333333333336, 35.714285714285715, 15.384615384615385, 8.333333333333334], 'bp': 1.0, 'sys_len': 15, 'ref_len': 11} Bleu: {'bleu': 0.22229849552064015, 'precisions': [0.5333333333333333, 0.35714285714285715, 0.15384615384615385, 0.08333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.3636363636363635, 'translation_length': 15, 'reference_length': 11} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.4545454545454546, 'rougeL': 0.6666666666666666, 'rougeLsum': 0.6666666666666666} Sari: {'sari': 17.148603030955975} Flesh Reading Ease: 87.95 ---------------------------------------- Source: ['Eine Veröffentlichung der OECD zeigt: 2011 lebten rund 3,4 Millionen in Deutschland geborene Menschen in einem anderen OECD-Land.'] Prediction: ['Deutschland lebte rund 3,4 Millionen Menschen in einem anderen OECD-Land.\nDie Veröffentlichung der OECD zeigt: 2011 lebten rund 3,4 Millionen in Deutschland geborene Menschen in einem anderen OECD-Land.'] Label: [['Eine Veröffentlichung der OECD (Organisation für wirtschaftliche Zusammenarbeit und Entwicklung) zeigt: 2011 lebten rund 3,4 Millionen in Deutschland geborene Menschen in einem anderen Land.']] Sacrebleu: {'score': 47.55160782268483, 'counts': [18, 15, 13, 11], 'totals': [31, 30, 29, 28], 'precisions': [58.064516129032256, 50.0, 44.827586206896555, 39.285714285714285], 'bp': 1.0, 'sys_len': 31, 'ref_len': 28} Bleu: {'bleu': 0.4755160782268483, 'precisions': [0.5806451612903226, 0.5, 0.4482758620689655, 0.39285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 1.1071428571428572, 'translation_length': 31, 'reference_length': 28} Rouge: {'rouge1': 0.6333333333333334, 'rouge2': 0.5517241379310345, 'rougeL': 0.6333333333333334, 'rougeLsum': 0.6333333333333334} Sari: {'sari': 28.77234231180631} Flesh Reading Ease: 49.0 ---------------------------------------- Source: ['Zu den Motiven, Deutschland den Rücken zu kehren, hat man herausgefunden, dass es für fast 67 Prozent berufliche Gründe waren.'] Prediction: ['Die Schweiz hat sich mit 67 Prozent mehr Motiven zu verhindern.\nDie Motiven sind für 67 Prozent gefragt.'] Label: [['Für fast 67 Prozent der Auswanderer waren es berufliche Gründe, Deutschland zu verlassen.']] Sacrebleu: {'score': 4.553719184146073, 'counts': [4, 1, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [20.0, 5.2631578947368425, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 20, 'reference_length': 15} Rouge: {'rouge1': 0.29411764705882354, 'rouge2': 0.125, 'rougeL': 0.23529411764705882, 'rougeLsum': 0.29411764705882354} Sari: {'sari': 33.46244398875977} Flesh Reading Ease: 83.25 ---------------------------------------- Source: ['Für über 41 Prozent der Befragten war Unzufriedenheit mit dem Leben in Deutschland der Grund, auszuwandern.'] Prediction: ['In Deutschland wurden Unzufriedenheit mit dem Leben ausgeführt.\nDie Befragten sind unter anderem von 41 Prozent der Befragten.'] Label: [['Über 41 Prozent der Befragten waren unzufrieden mit dem Leben in Deutschland.']] Sacrebleu: {'score': 18.45895819969781, 'counts': [9, 5, 3, 1], 'totals': [20, 19, 18, 17], 'precisions': [45.0, 26.31578947368421, 16.666666666666668, 5.882352941176471], 'bp': 1.0, 'sys_len': 20, 'ref_len': 13} Bleu: {'bleu': 0.1845895819969781, 'precisions': [0.45, 0.2631578947368421, 0.16666666666666666, 0.058823529411764705], 'brevity_penalty': 1.0, 'length_ratio': 1.5384615384615385, 'translation_length': 20, 'reference_length': 13} Rouge: {'rouge1': 0.5806451612903226, 'rouge2': 0.41379310344827586, 'rougeL': 0.2580645161290323, 'rougeLsum': 0.4516129032258065} Sari: {'sari': 47.29950604950605} Flesh Reading Ease: 54.0 ---------------------------------------- Source: ['Und fast 47 Prozent erhofften sich mehr Geld, das heißt ein höheres Einkommen.'] Prediction: ['Einige Schweizer erhofften sich mehr Geld.\nDas heißt ein höheres Einkommen.'] Label: [['Und fast 47 Prozent wünschten sich ein höheres Einkommen.']] Sacrebleu: {'score': 20.448007360218387, 'counts': [5, 3, 2, 1], 'totals': [13, 12, 11, 10], 'precisions': [38.46153846153846, 25.0, 18.181818181818183, 10.0], 'bp': 1.0, 'sys_len': 13, 'ref_len': 10} Bleu: {'bleu': 0.2044800736021839, 'precisions': [0.38461538461538464, 0.25, 0.18181818181818182, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 1.3, 'translation_length': 13, 'reference_length': 10} Rouge: {'rouge1': 0.41666666666666663, 'rouge2': 0.2727272727272727, 'rougeL': 0.41666666666666663, 'rougeLsum': 0.41666666666666663} Sari: {'sari': 33.14588554720133} Flesh Reading Ease: 69.2 ---------------------------------------- Source: ['Immer mehr deutsche Studierende zieht es ins Ausland.'] Prediction: ['Die Schweiz hat mehr Studierende.\nIm Ausland zieht es ins Ausland.'] Label: [['Im Ausland studierenImmer mehr deutsche Studierende gehen ins Ausland.']] Sacrebleu: {'score': 15.727800941615351, 'counts': [7, 3, 1, 0], 'totals': [13, 12, 11, 10], 'precisions': [53.84615384615385, 25.0, 9.090909090909092, 5.0], 'bp': 1.0, 'sys_len': 13, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.5384615384615384, 0.25, 0.09090909090909091, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3, 'translation_length': 13, 'reference_length': 10} Rouge: {'rouge1': 0.6, 'rouge2': 0.22222222222222224, 'rougeL': 0.39999999999999997, 'rougeLsum': 0.6} Sari: {'sari': 40.48992673992674} Flesh Reading Ease: 86.75 ---------------------------------------- Source: ['Viele studieren in Österreich (31.000), in den Niederlanden (25.000), in Großbritannien (16.000) und in der Schweiz (12.000).Diese internationale Mobilität ist wichtig, denn Auslandsaufenthalte im Studium sind oft wichtige Zusatzqualifikationen für den späteren Beruf.'] Prediction: ['Auslandsaufenthalte im Studium sind oft wichtige Zusatzqualifikationen für den späteren Beruf.\nDas internationale Mobilität ist wichtig, denn Auslandsaufenthalte im Studium sind oft wichtige Zusatzqualifikationen für den späteren Beruf.'] Label: [['Viele studieren in Österreich (31.000), in den Niederlanden (25.000), in Großbritannien (16.000) und in der Schweiz (12.000).Diese internationale Mobilität ist wichtig.\nAuslandsaufenthalte im Studium sind oft eine wichtige Zusatzqualifikation für den späteren Beruf.']] Sacrebleu: {'score': 19.099392788226435, 'counts': [18, 11, 8, 5], 'totals': [31, 30, 29, 28], 'precisions': [58.064516129032256, 36.666666666666664, 27.586206896551722, 17.857142857142858], 'bp': 0.59682637785056, 'sys_len': 31, 'ref_len': 47} Bleu: {'bleu': 0.19099392788226421, 'precisions': [0.5806451612903226, 0.36666666666666664, 0.27586206896551724, 0.17857142857142858], 'brevity_penalty': 0.5968263778505599, 'length_ratio': 0.6595744680851063, 'translation_length': 31, 'reference_length': 47} Rouge: {'rouge1': 0.4799999999999999, 'rouge2': 0.3561643835616438, 'rougeL': 0.4799999999999999, 'rougeLsum': 0.4799999999999999} Sari: {'sari': 12.102038511944048} Flesh Reading Ease: 2.2 ---------------------------------------- Source: ['Auslandsaufenthalte im Studium gehören schon an vielen Hochschulen zu den Studiengängen.'] Prediction: ['Auslandsaufenthalte im Studium gehören schon an vielen Hochschulen zu den Studiengängen.\nDas ist der erste Mal in der Schweiz.'] Label: [['Auslandsaufenthalte im Studium gehören an vielen Hochschulen zu den Studiengängen.']] Sacrebleu: {'score': 39.41004770986059, 'counts': [11, 9, 7, 5], 'totals': [21, 20, 19, 18], 'precisions': [52.38095238095238, 45.0, 36.8421052631579, 27.77777777777778], 'bp': 1.0, 'sys_len': 21, 'ref_len': 11} Bleu: {'bleu': 0.394100477098606, 'precisions': [0.5238095238095238, 0.45, 0.3684210526315789, 0.2777777777777778], 'brevity_penalty': 1.0, 'length_ratio': 1.9090909090909092, 'translation_length': 21, 'reference_length': 11} Rouge: {'rouge1': 0.7272727272727273, 'rouge2': 0.6451612903225806, 'rougeL': 0.7272727272727273, 'rougeLsum': 0.7272727272727273} Sari: {'sari': 61.61947387650712} Flesh Reading Ease: 65.2 ---------------------------------------- Source: ['Auch für die Entwicklung der Persönlichkeit bedeuten Auslandsaufenthalte viel, etwa dem Erwerb von Fremdsprachen und interkulturellen Kompetenzen.'] Prediction: ['Die Persönlichkeit bedeutet Auslandsaufenthalte viel.\nAuslandsaufenthalte bedeuten Auslandsaufenthalte viel.'] Label: [['Auch für die Entwicklung der Persönlichkeit ist ein Studium im Ausland wichtig.']] Sacrebleu: {'score': 3.7159390072518104, 'counts': [2, 0, 0, 0], 'totals': [11, 10, 9, 8], 'precisions': [18.181818181818183, 5.0, 2.7777777777777777, 1.5625], 'bp': 0.8337529180751805, 'sys_len': 11, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8337529180751805, 'length_ratio': 0.8461538461538461, 'translation_length': 11, 'reference_length': 13} Rouge: {'rouge1': 0.25, 'rouge2': 0.09090909090909093, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 28.36538461538462} Flesh Reading Ease: -23.41 ---------------------------------------- Source: ['Endlich mal ein Winter, der seinen Namen verdient!'] Prediction: ['Der Namen verdient seinen Namen.\nDer Winter verdient seinen Namen.'] Label: [['Endlich ein Winter, der seinen Namen verdient!']] Sacrebleu: {'score': 9.578464408619821, 'counts': [4, 2, 0, 0], 'totals': [12, 11, 10, 9], 'precisions': [33.333333333333336, 18.181818181818183, 5.0, 2.7777777777777777], 'bp': 1.0, 'sys_len': 12, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.18181818181818182, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 12, 'reference_length': 9} Rouge: {'rouge1': 0.588235294117647, 'rouge2': 0.26666666666666666, 'rougeL': 0.47058823529411764, 'rougeLsum': 0.47058823529411764} Sari: {'sari': 18.167989417989418} Flesh Reading Ease: 69.7 ---------------------------------------- Source: ['Der Jahresbeginn in Deutschland hatte viel Frost und Schnee im Gepäck – sehr zur Freude der Wintersportfans.'] Prediction: ['Die Schweizer Wintersportfans haben ihren ersten Titel erreicht.\nIn Deutschland wurde die Weltbeginn sehr zur Freude gekommen.'] Label: [['Der Jahresbeginn in Deutschland brachte viel Frost und Schnee – sehr zur Freude der Wintersportfans.']] Sacrebleu: {'score': 8.961672320242714, 'counts': [6, 2, 1, 0], 'totals': [19, 18, 17, 16], 'precisions': [31.57894736842105, 11.11111111111111, 5.882352941176471, 3.125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.3157894736842105, 0.1111111111111111, 0.058823529411764705, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1875, 'translation_length': 19, 'reference_length': 16} Rouge: {'rouge1': 0.3870967741935484, 'rouge2': 0.20689655172413793, 'rougeL': 0.3225806451612903, 'rougeLsum': 0.3870967741935484} Sari: {'sari': 24.66810966810967} Flesh Reading Ease: 54.5 ---------------------------------------- Source: ['Und endlich kamen auch die Bewohner der flacheren Regionen auf ihre Kosten.'] Prediction: ['Die Bewohner der flacheren Regionen kamen auf ihre Kosten.\nSie kamen auf ihre Kosten.'] Label: [['Da kamen auch die Bewohner der flacheren Regionen auf ihre Kosten.']] Sacrebleu: {'score': 31.53554052490134, 'counts': [9, 6, 4, 2], 'totals': [16, 15, 14, 13], 'precisions': [56.25, 40.0, 28.571428571428573, 15.384615384615385], 'bp': 1.0, 'sys_len': 16, 'ref_len': 12} Bleu: {'bleu': 0.31535540524901323, 'precisions': [0.5625, 0.4, 0.2857142857142857, 0.15384615384615385], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 16, 'reference_length': 12} Rouge: {'rouge1': 0.7200000000000001, 'rouge2': 0.5217391304347826, 'rougeL': 0.64, 'rougeLsum': 0.7200000000000001} Sari: {'sari': 39.344707580001696} Flesh Reading Ease: 61.85 ---------------------------------------- Source: ['Doch wenn es keine steilen Skipisten gibt, kann man sich trotzdem auf Skier stellen:'] Prediction: ['Die Schweizer Skirennfahrt ist nicht mehr.\nDoch wenn es keine steilen Skipisten gibt, kann man sich trotzdem auf Skier stellen.'] Label: [['Doch auch ohne steile Skipisten kann man sich auf Skier stellen:']] Sacrebleu: {'score': 11.07739246519549, 'counts': [8, 4, 2, 0], 'totals': [23, 22, 21, 20], 'precisions': [34.78260869565217, 18.181818181818183, 9.523809523809524, 2.5], 'bp': 1.0, 'sys_len': 23, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.34782608695652173, 0.18181818181818182, 0.09523809523809523, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9166666666666667, 'translation_length': 23, 'reference_length': 12} Rouge: {'rouge1': 0.5161290322580645, 'rouge2': 0.27586206896551724, 'rougeL': 0.5161290322580645, 'rougeLsum': 0.5161290322580645} Sari: {'sari': 11.147660818713451} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['Skilanglauf ist schon seit vielen Jahren „in“ und ideal, um fit zu bleiben oder zu werden.'] Prediction: ['Skilanglauf ist schon seit vielen Jahren "in“ und ideal, um fit zu bleiben oder zu werden.\nAuf Instagram ist der Schauspieler über die vielen Liebesbeschritte.'] Label: [['Skilanglauf ist schon seit vielen Jahren „in“.\nLanglauf ist ideal, um fit zu bleiben oder zu werden.']] Sacrebleu: {'score': 47.992366044240754, 'counts': [18, 14, 12, 10], 'totals': [29, 28, 27, 26], 'precisions': [62.06896551724138, 50.0, 44.44444444444444, 38.46153846153846], 'bp': 1.0, 'sys_len': 29, 'ref_len': 20} Bleu: {'bleu': 0.47992366044240764, 'precisions': [0.6206896551724138, 0.5, 0.4444444444444444, 0.38461538461538464], 'brevity_penalty': 1.0, 'length_ratio': 1.45, 'translation_length': 29, 'reference_length': 20} Rouge: {'rouge1': 0.7619047619047621, 'rouge2': 0.65, 'rougeL': 0.7142857142857143, 'rougeLsum': 0.7619047619047621} Sari: {'sari': 46.84585391777173} Flesh Reading Ease: 73.9 ---------------------------------------- Source: ['Das Laufen ist dennoch sehr anstrengend, aber es macht fit.'] Prediction: ['Das Laufen ist dennoch sehr anstrengend, aber es macht fit.\nDas ist dennoch sehr anstrengend.'] Label: [['Das Laufen ist dennoch sehr anstrengend.']] Sacrebleu: {'score': 32.70292922455489, 'counts': [7, 6, 5, 4], 'totals': [18, 17, 16, 15], 'precisions': [38.888888888888886, 35.294117647058826, 31.25, 26.666666666666668], 'bp': 1.0, 'sys_len': 18, 'ref_len': 7} Bleu: {'bleu': 0.32702929224554894, 'precisions': [0.3888888888888889, 0.35294117647058826, 0.3125, 0.26666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 2.5714285714285716, 'translation_length': 18, 'reference_length': 7} Rouge: {'rouge1': 0.5714285714285715, 'rouge2': 0.5263157894736842, 'rougeL': 0.5714285714285715, 'rougeLsum': 0.5714285714285715} Sari: {'sari': 72.22170008354219} Flesh Reading Ease: 84.75 ---------------------------------------- Source: ['Kitesurfen im Sommer und Snowkiten im Winter – ein Trend, der sich auch in den letzten Jahren durchgesetzt hat.'] Prediction: ['Kitesurfen im Sommer und Snowkiten im Winter sind ein Trend, der sich auch in den letzten Jahren durchgesetzt hat.\nAuch in den letzten Jahren hat es auch auch in den letzten Jahren durchgesetzt.'] Label: [['Kitesurfen im Sommer und Snowkiten im Winter – das ist ein weiterer Trend.']] Sacrebleu: {'score': 17.06885782679538, 'counts': [10, 6, 5, 4], 'totals': [36, 35, 34, 33], 'precisions': [27.77777777777778, 17.142857142857142, 14.705882352941176, 12.121212121212121], 'bp': 1.0, 'sys_len': 36, 'ref_len': 14} Bleu: {'bleu': 0.1706885782679538, 'precisions': [0.2777777777777778, 0.17142857142857143, 0.14705882352941177, 0.12121212121212122], 'brevity_penalty': 1.0, 'length_ratio': 2.5714285714285716, 'translation_length': 36, 'reference_length': 14} Rouge: {'rouge1': 0.39999999999999997, 'rouge2': 0.27906976744186046, 'rougeL': 0.39999999999999997, 'rougeLsum': 0.39999999999999997} Sari: {'sari': 32.459184358610685} Flesh Reading Ease: 75.75 ---------------------------------------- Source: ['Allerdings sind hier eher die mutigen Sportler am Start.'] Prediction: ['Am Start von den Schweizer Nationalmannschaftlichen ist es zu einem Start.\nDie mutigen Sportler sind am Start.'] Label: [['Allerdings ist das eher für die mutigen Sportler.']] Sacrebleu: {'score': 4.814971807094068, 'counts': [4, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [21.05263157894737, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 1.0, 'sys_len': 19, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.111111111111111, 'translation_length': 19, 'reference_length': 9} Rouge: {'rouge1': 0.30769230769230765, 'rouge2': 0.16666666666666666, 'rougeL': 0.30769230769230765, 'rougeLsum': 0.30769230769230765} Sari: {'sari': 53.865578865578854} Flesh Reading Ease: 72.05 ---------------------------------------- Source: ['Neben den Rodlern auf ihren Schlitten sieht man häufig Menschen in dicken Gummireifen – neudeutsch „Snowtubing“!'] Prediction: ['Im Video-Interview "Snowtubing" spricht der Comedian über seine Gummireifen.\nIm Gespräch mit der Welt wird er von der Welt geschickt.\nIm Gespräch mit der Welt wird er von der Welt geschickt.'] Label: [['Neben den Rodlern auf ihren Schlitten sieht man häufig Menschen in dicken Gummireifen, man sagt auch „Snowtubing“ dazu.']] Sacrebleu: {'score': 1.2193311110766474, 'counts': [2, 0, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [5.555555555555555, 1.4285714285714286, 0.7352941176470589, 0.3787878787878788], 'bp': 1.0, 'sys_len': 36, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.05555555555555555, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8, 'translation_length': 36, 'reference_length': 20} Rouge: {'rouge1': 0.07547169811320754, 'rouge2': 0.0, 'rougeL': 0.03773584905660377, 'rougeLsum': 0.03773584905660377} Sari: {'sari': 10.117694805194805} Flesh Reading Ease: 81.95 ---------------------------------------- Source: ['Auch Hundeschlittentouren wie in Alaska sind im Wintersportangebot.'] Prediction: ['In den USA sind auch Hundeschlittentouren im Wintersportangebot.\nDie Schweiz hat den Ausgang der Täter erlassen.'] Label: [['Und auch Hundeschlittentouren wie in Alaska werden angeboten.']] Sacrebleu: {'score': 4.753622060013117, 'counts': [3, 1, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [16.666666666666668, 5.882352941176471, 3.125, 1.6666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.058823529411764705, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 18, 'reference_length': 9} Rouge: {'rouge1': 0.24, 'rouge2': 0.08695652173913043, 'rougeL': 0.15999999999999998, 'rougeLsum': 0.15999999999999998} Sari: {'sari': 20.564713064713068} Flesh Reading Ease: 60.85 ---------------------------------------- Source: ['Inzwischen gibt es sechs Skihallen in Deutschland – mit allem Drum und Dran wie Lift und Skihütten.'] Prediction: ['In Deutschland gibt es sechs Skihallen.\nDie Skihallen sind inzwischen Drum und Dran.'] Label: [['Inzwischen gibt es in Deutschland sechs Skihallen.']] Sacrebleu: {'score': 12.874330508144842, 'counts': [6, 3, 1, 0], 'totals': [15, 14, 13, 12], 'precisions': [40.0, 21.428571428571427, 7.6923076923076925, 4.166666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.4, 0.21428571428571427, 0.07692307692307693, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.875, 'translation_length': 15, 'reference_length': 8} Rouge: {'rouge1': 0.7000000000000001, 'rouge2': 0.3333333333333333, 'rougeL': 0.4, 'rougeLsum': 0.5} Sari: {'sari': 46.57853842064368} Flesh Reading Ease: 79.9 ---------------------------------------- Source: ['Hier kann man das ganze Jahr zumindest rodeln, Skifahren oder Snowboarden und sich für den nächsten Winter fit machen.'] Prediction: ['Der nächste Winter ist derzeit nicht mehr.\nDas hat das ganze Jahr zumindest rodeln, Skifahren oder Snowboarden geschlossen.\nWir haben die besten Challenges für den nächsten Winter fit.'] Label: [['Hier kann man das ganze Jahr zumindest rodeln, Skifahren oder Snowboarden.']] Sacrebleu: {'score': 24.979117342213524, 'counts': [10, 8, 7, 6], 'totals': [32, 31, 30, 29], 'precisions': [31.25, 25.806451612903224, 23.333333333333332, 20.689655172413794], 'bp': 1.0, 'sys_len': 32, 'ref_len': 13} Bleu: {'bleu': 0.24979117342213525, 'precisions': [0.3125, 0.25806451612903225, 0.23333333333333334, 0.20689655172413793], 'brevity_penalty': 1.0, 'length_ratio': 2.4615384615384617, 'translation_length': 32, 'reference_length': 13} Rouge: {'rouge1': 0.38095238095238093, 'rouge2': 0.35, 'rougeL': 0.38095238095238093, 'rougeLsum': 0.38095238095238093} Sari: {'sari': 44.229057565055} Flesh Reading Ease: 71.25 ---------------------------------------- Source: ['Kurz vor der Fastenzeit wird im Karneval ausgelassen gefeiert.'] Prediction: ['Vor der Fastenzeit wird im Karneval ausgelassen.\nDie Veranstalter werden immer wieder ausgelassen.'] Label: [['Im Karneval wird ausgelassen gefeiert.']] Sacrebleu: {'score': 3.716499092256817, 'counts': [4, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [26.666666666666668, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 15, 'reference_length': 6} Rouge: {'rouge1': 0.4444444444444444, 'rouge2': 0.125, 'rougeL': 0.33333333333333337, 'rougeLsum': 0.33333333333333337} Sari: {'sari': 28.63756613756614} Flesh Reading Ease: 44.8 ---------------------------------------- Source: ['Mit Spiel und Tanz, Umzügen, Sitzungen und Kostümen wird die Regierung verspottet.'] Prediction: ['Die Regierung verspottet mit den Spielen und Umzügen.\nMit Spiel und Tanz, Umzügen, Sitzungen und Kostümen wird die Regierung verspottet.'] Label: [['Mit Spiel und Tanz, Umzügen, Sitzungen und Kostümen werden die Politiker verspottet.']] Sacrebleu: {'score': 41.10433074789491, 'counts': [13, 10, 8, 7], 'totals': [24, 23, 22, 21], 'precisions': [54.166666666666664, 43.47826086956522, 36.36363636363637, 33.333333333333336], 'bp': 1.0, 'sys_len': 24, 'ref_len': 15} Bleu: {'bleu': 0.4110433074789492, 'precisions': [0.5416666666666666, 0.43478260869565216, 0.36363636363636365, 0.3333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 24, 'reference_length': 15} Rouge: {'rouge1': 0.6486486486486486, 'rouge2': 0.5142857142857142, 'rougeL': 0.6486486486486486, 'rougeLsum': 0.6486486486486486} Sari: {'sari': 60.406223893066} Flesh Reading Ease: 58.85 ---------------------------------------- Source: ['Karneval vereint die Menschen, denn es schafft Geselligkeit durch gemeinsames Singen und Tanzen.'] Prediction: ['Die Menschen in der Schweiz sind sich gefährlich.\nDas ist die Geselligkeit der Menschen.'] Label: [['Karneval vereint die Menschen, es bedeutet fröhliches Zusammensein.']] Sacrebleu: {'score': 3.21858262703621, 'counts': [3, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 16, 'reference_length': 10} Rouge: {'rouge1': 0.16666666666666669, 'rouge2': 0.09090909090909091, 'rougeL': 0.16666666666666669, 'rougeLsum': 0.16666666666666669} Sari: {'sari': 32.94677544677545} Flesh Reading Ease: 85.25 ---------------------------------------- Source: ['Beim Verkleiden kann man in eine andere Rolle schlüpfen.'] Prediction: ['Beim Verkleiden kann man in eine andere Rolle schlüpfen.\nDer Verkehrsverband ist in der Nacht auf Sonntag in St. Gallen gefunden.'] Label: [['Mit einem Kostüm kann man sogar in eine andere Rolle schlüpfen – für ein paar Stunden oder Tage.']] Sacrebleu: {'score': 17.51489536280261, 'counts': [8, 5, 3, 2], 'totals': [24, 23, 22, 21], 'precisions': [33.333333333333336, 21.73913043478261, 13.636363636363637, 9.523809523809524], 'bp': 1.0, 'sys_len': 24, 'ref_len': 19} Bleu: {'bleu': 0.1751489536280261, 'precisions': [0.3333333333333333, 0.21739130434782608, 0.13636363636363635, 0.09523809523809523], 'brevity_penalty': 1.0, 'length_ratio': 1.263157894736842, 'translation_length': 24, 'reference_length': 19} Rouge: {'rouge1': 0.380952380952381, 'rouge2': 0.3, 'rougeL': 0.380952380952381, 'rougeLsum': 0.380952380952381} Sari: {'sari': 54.942279942279946} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['In der neuen Rolle zeigt man sich anders und sieht auch andere anders – ein Perspektivwechsel findet statt - wenn auch nur für ein paar Tage.'] Prediction: ['In der Schweiz sind die Menschen auf die Strasse gestorben.\nEin Perspektivwechsel findet statt.'] Label: [['In der neuen Rolle zeigt man sich anders und sieht auch andere anders.']] Sacrebleu: {'score': 5.412989186545263, 'counts': [3, 1, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 6.666666666666667, 3.5714285714285716, 1.9230769230769231], 'bp': 1.0, 'sys_len': 16, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 16, 'reference_length': 14} Rouge: {'rouge1': 0.14814814814814817, 'rouge2': 0.08, 'rougeL': 0.14814814814814817, 'rougeLsum': 0.14814814814814817} Sari: {'sari': 20.582441913963653} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Wolfgang Oelsner, Psychotherapeut und Karnevalsexperte, erklärt, dass sich die Menschen nach Exotik, nach Wandel sehnen.'] Prediction: ['Ein Psychotherapeut und Karnevalsexperte erklärt, dass sich die Menschen nach Exotik, nach Wandel sehnen.\nDas ist unklar, ob sie sich nach Exotik, nach Wandel sehnen.'] Label: [['Wolfgang Oelsner, Psychotherapeut und Karnevalsexperte, erklärt, dass sich die Menschen nach Wandel sehnen.']] Sacrebleu: {'score': 30.575688093263597, 'counts': [15, 11, 8, 5], 'totals': [31, 30, 29, 28], 'precisions': [48.38709677419355, 36.666666666666664, 27.586206896551722, 17.857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 17} Bleu: {'bleu': 0.30575688093263587, 'precisions': [0.4838709677419355, 0.36666666666666664, 0.27586206896551724, 0.17857142857142858], 'brevity_penalty': 1.0, 'length_ratio': 1.8235294117647058, 'translation_length': 31, 'reference_length': 17} Rouge: {'rouge1': 0.6, 'rouge2': 0.5789473684210525, 'rougeL': 0.6, 'rougeLsum': 0.6} Sari: {'sari': 22.3493707594126} Flesh Reading Ease: 68.05 ---------------------------------------- Source: ['Als Cowboy oder Prinzessin verkleidet erlebt man diesen Perspektivwechsel.'] Prediction: ['Der Schweizer Cowboy und Prinzessin verkleideten diesen Perspektivwechsel.\nAls Cowboy oder Prinzessin verkleidet erlebt man diesen Perspektivwechsel.'] Label: [['Als Cowboy oder Prinzessin verkleidet erlebt man einen Perspektivwechsel.']] Sacrebleu: {'score': 34.11488281065382, 'counts': [9, 7, 5, 4], 'totals': [19, 18, 17, 16], 'precisions': [47.36842105263158, 38.888888888888886, 29.41176470588235, 25.0], 'bp': 1.0, 'sys_len': 19, 'ref_len': 10} Bleu: {'bleu': 0.3411488281065382, 'precisions': [0.47368421052631576, 0.3888888888888889, 0.29411764705882354, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.9, 'translation_length': 19, 'reference_length': 10} Rouge: {'rouge1': 0.6153846153846153, 'rouge2': 0.5, 'rougeL': 0.6153846153846153, 'rougeLsum': 0.6153846153846153} Sari: {'sari': 60.99059931296774} Flesh Reading Ease: 31.1 ---------------------------------------- Source: ['Die gewohnte Ordnung werde aufgelöst, aber innerhalb bestimmter Spielregeln.'] Prediction: ['Die gewohnte Spielveranstaltung der Schweiz wird aufgelöst.\nDie gewohnte Ordnung wird innerhalb bestimmter Spielregeln geworden.'] Label: [['Die gewohnte Ordnung werde aufgelöst.']] Sacrebleu: {'score': 10.70454632987902, 'counts': [5, 3, 1, 0], 'totals': [17, 16, 15, 14], 'precisions': [29.41176470588235, 18.75, 6.666666666666667, 3.5714285714285716], 'bp': 1.0, 'sys_len': 17, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.29411764705882354, 0.1875, 0.06666666666666667, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8333333333333335, 'translation_length': 17, 'reference_length': 6} Rouge: {'rouge1': 0.45454545454545453, 'rouge2': 0.3, 'rougeL': 0.36363636363636365, 'rougeLsum': 0.45454545454545453} Sari: {'sari': 38.154761904761905} Flesh Reading Ease: 37.95 ---------------------------------------- Source: ['Es zählt nicht, was man normalerweise ist oder verdient.'] Prediction: ['Ein Schweizer hat sich mit einem grossen Verdienst ausgesprochen.\nDas ist aber nicht bekannt.'] Label: [['Es ist nicht wichtig, wer man im Alltag ist oder wie viel Geld man verdient.']] Sacrebleu: {'score': 3.0235785635823293, 'counts': [3, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 0.9394130628134758, 'sys_len': 16, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9394130628134758, 'length_ratio': 0.9411764705882353, 'translation_length': 16, 'reference_length': 17} Rouge: {'rouge1': 0.1379310344827586, 'rouge2': 0.0, 'rougeL': 0.1379310344827586, 'rougeLsum': 0.1379310344827586} Sari: {'sari': 47.67045454545455} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Heute ist Karneval in Städten wie Köln oder Düsseldorf eine einzige Party, und die Kostüme und Masken richten sich nach Filmhits aus Hollywood oder politischer Aktualität.'] Prediction: ['Die Karneval-Party in den USA sind in den letzten Monaten gefeiert.\nHollywood und Politiker richten sich mit einem Masken-Party.\nAuch Filmhits aus Hollywood und politischer Aktualität sind gefährlich.'] Label: [['Heute ist Karneval in Städten wie Köln oder Düsseldorf eine einzige Party.\nDie Kostüme und Masken orientieren sich oft an Filmhits aus Hollywood.']] Sacrebleu: {'score': 5.875581881262648, 'counts': [9, 2, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [29.032258064516128, 6.666666666666667, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.2903225806451613, 0.06666666666666667, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.24, 'translation_length': 31, 'reference_length': 25} Rouge: {'rouge1': 0.3389830508474576, 'rouge2': 0.07017543859649122, 'rougeL': 0.23728813559322032, 'rougeLsum': 0.3050847457627119} Sari: {'sari': 20.913554400183283} Flesh Reading Ease: 47.85 ---------------------------------------- Source: ['Besonders beliebt sollen Kostüme der Könige aus der Fantasy-Serie „Game of Thrones“ sein. Der allerneueste Trend aber sind Faschingskostüme mit LED-Beleuchtung.'] Prediction: ['In der TV-Serie "Game of Thrones" sollen Kostüme der Könige sein.\nFaschingskostüme mit LED-Beleuchtung sind besonders beliebt.'] Label: [['Besonders beliebt sind Kostüme der Könige aus der Fantasy-Serie „Game of Thrones“ und Kostüme mit LED-Beleuchtung.']] Sacrebleu: {'score': 10.108901518669624, 'counts': [10, 3, 1, 0], 'totals': [21, 20, 19, 18], 'precisions': [47.61904761904762, 15.0, 5.2631578947368425, 2.7777777777777777], 'bp': 1.0, 'sys_len': 21, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.47619047619047616, 0.15, 0.05263157894736842, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2352941176470589, 'translation_length': 21, 'reference_length': 17} Rouge: {'rouge1': 0.7906976744186046, 'rouge2': 0.5365853658536585, 'rougeL': 0.46511627906976744, 'rougeLsum': 0.46511627906976744} Sari: {'sari': 29.683055281670363} Flesh Reading Ease: 48.65 ---------------------------------------- Source: ['Über 80 Prozent aller Einwohner in Deutschland besitzen also ein Zweirad.'] Prediction: ['Die Schweiz hat einen Zweirad.\n80 Prozent aller Einwohner in Deutschland besitzen also ein Zweirad.'] Label: [['So haben über 80 Prozent aller Einwohner in Deutschland ein Zweirad.']] Sacrebleu: {'score': 35.86417974203252, 'counts': [9, 7, 5, 3], 'totals': [17, 16, 15, 14], 'precisions': [52.94117647058823, 43.75, 33.333333333333336, 21.428571428571427], 'bp': 1.0, 'sys_len': 17, 'ref_len': 12} Bleu: {'bleu': 0.35864179742032526, 'precisions': [0.5294117647058824, 0.4375, 0.3333333333333333, 0.21428571428571427], 'brevity_penalty': 1.0, 'length_ratio': 1.4166666666666667, 'translation_length': 17, 'reference_length': 12} Rouge: {'rouge1': 0.6153846153846153, 'rouge2': 0.5, 'rougeL': 0.6153846153846153, 'rougeLsum': 0.6153846153846153} Sari: {'sari': 23.346560846560845} Flesh Reading Ease: 73.05 ---------------------------------------- Source: ['Damit ist das Fahrrad beliebter als das Auto – wer hätte das gedacht im Autoland Deutschland.'] Prediction: ['In Deutschland ist das Fahrrad beliebt als das Auto.\nDas Auto war beliebt als das Auto.'] Label: [['Damit ist das Fahrrad beliebter als das Auto.']] Sacrebleu: {'score': 19.445278057635548, 'counts': [7, 5, 3, 1], 'totals': [18, 17, 16, 15], 'precisions': [38.888888888888886, 29.41176470588235, 18.75, 6.666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 9} Bleu: {'bleu': 0.19445278057635548, 'precisions': [0.3888888888888889, 0.29411764705882354, 0.1875, 0.06666666666666667], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 18, 'reference_length': 9} Rouge: {'rouge1': 0.5, 'rouge2': 0.36363636363636365, 'rougeL': 0.5, 'rougeLsum': 0.5} Sari: {'sari': 44.89597439597439} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Ein erstes Modell erfand im Jahr 1817 der Mannheimer Forstbeamte Karl Freiherr von Drais.'] Prediction: ['Karl Freiherr von Drais hat ein Modell eröffnet.\nDer Mannheimer Forstbeamte hatte den Modell erfasst.'] Label: [['Ein erstes Modell erfand im Jahr 1817 Karl Freiherr von Drais aus Mannheim.']] Sacrebleu: {'score': 15.844501337268932, 'counts': [6, 3, 2, 1], 'totals': [17, 16, 15, 14], 'precisions': [35.294117647058826, 18.75, 13.333333333333334, 7.142857142857143], 'bp': 1.0, 'sys_len': 17, 'ref_len': 14} Bleu: {'bleu': 0.15844501337268932, 'precisions': [0.35294117647058826, 0.1875, 0.13333333333333333, 0.07142857142857142], 'brevity_penalty': 1.0, 'length_ratio': 1.2142857142857142, 'translation_length': 17, 'reference_length': 14} Rouge: {'rouge1': 0.41379310344827586, 'rouge2': 0.22222222222222224, 'rougeL': 0.27586206896551724, 'rougeLsum': 0.3448275862068966} Sari: {'sari': 27.233044733044736} Flesh Reading Ease: 61.35 ---------------------------------------- Source: ['Doch damals war man noch weit entfernt von Pedalen, Ketten oder einer Gangschaltung.'] Prediction: ['Wegen der Corona-Pandemie hat man noch weit entfernt.\nDas war man noch weit entfernt.'] Label: [['Doch damals gab es noch keine Pedale, Ketten oder eine Gangschaltung.']] Sacrebleu: {'score': 2.908317710573757, 'counts': [2, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [12.5, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2307692307692308, 'translation_length': 16, 'reference_length': 13} Rouge: {'rouge1': 0.07692307692307691, 'rouge2': 0.0, 'rougeL': 0.07692307692307691, 'rougeLsum': 0.07692307692307691} Sari: {'sari': 25.992063492063494} Flesh Reading Ease: 79.4 ---------------------------------------- Source: ['Das Rad von Karl Drais war ein Laufrad aus Holz, auch Draisine genannt nach seinem Erfinder.'] Prediction: ['Ein Rad von Karl Drais ist auf dem Laufrad aus Holz.\nDas ist ein Laufrad aus Holz.'] Label: [['Das Rad von Karl Drais war ein Laufrad aus Holz.']] Sacrebleu: {'score': 32.59481888833584, 'counts': [10, 7, 5, 3], 'totals': [19, 18, 17, 16], 'precisions': [52.63157894736842, 38.888888888888886, 29.41176470588235, 18.75], 'bp': 1.0, 'sys_len': 19, 'ref_len': 11} Bleu: {'bleu': 0.32594818888335836, 'precisions': [0.5263157894736842, 0.3888888888888889, 0.29411764705882354, 0.1875], 'brevity_penalty': 1.0, 'length_ratio': 1.7272727272727273, 'translation_length': 19, 'reference_length': 11} Rouge: {'rouge1': 0.6666666666666667, 'rouge2': 0.4800000000000001, 'rougeL': 0.5925925925925927, 'rougeLsum': 0.6666666666666667} Sari: {'sari': 52.14449901949902} Flesh Reading Ease: 101.3 ---------------------------------------- Source: ['Fahrräder schonen die Umwelt, denn sie verpesten nicht die Luft mit Abgasen und schädigen nicht durch Lärm.'] Prediction: ['Fahrräder schädigen nicht durch Lärm.\nDas hat die Umwelt mit Abgasen und schädigen nicht durch Lärm.'] Label: [['Fahrräder schonen die Umwelt, denn sie verschmutzen die Luft nicht mit Abgasen.']] Sacrebleu: {'score': 6.986768364373987, 'counts': [7, 2, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [38.888888888888886, 11.764705882352942, 3.125, 1.6666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.3888888888888889, 0.11764705882352941, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2857142857142858, 'translation_length': 18, 'reference_length': 14} Rouge: {'rouge1': 0.41176470588235287, 'rouge2': 0.18749999999999997, 'rougeL': 0.35294117647058826, 'rougeLsum': 0.41176470588235287} Sari: {'sari': 21.15119014112822} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Experten schätzen, dass in den großen Städten bis zu 30 Prozent der Fahrten mit dem Auto auf den Radverkehr umgestellt werden könnten.'] Prediction: ['In den großen Städten könnten bis zu 30 Prozent der Fahrten mit dem Auto auf den Radverkehr umgestellt werden.\nExperten schätzen, dass in den großen Städten bis zu 30 Prozent der Fahrten mit dem Auto auf den Radverkehr umgestellt werden könnten.'] Label: [['Experten schätzen: In den großen Städten kann man bis zu 30 Prozent der Fahrten mit dem Rad anstatt mit dem Auto erledigen.']] Sacrebleu: {'score': 24.95535972635078, 'counts': [18, 13, 9, 6], 'totals': [44, 43, 42, 41], 'precisions': [40.90909090909091, 30.232558139534884, 21.428571428571427, 14.634146341463415], 'bp': 1.0, 'sys_len': 44, 'ref_len': 24} Bleu: {'bleu': 0.24955359726350776, 'precisions': [0.4090909090909091, 0.3023255813953488, 0.21428571428571427, 0.14634146341463414], 'brevity_penalty': 1.0, 'length_ratio': 1.8333333333333333, 'translation_length': 44, 'reference_length': 24} Rouge: {'rouge1': 0.547945205479452, 'rouge2': 0.4507042253521127, 'rougeL': 0.4931506849315069, 'rougeLsum': 0.4931506849315069} Sari: {'sari': 54.29998913869881} Flesh Reading Ease: 65.9 ---------------------------------------- Source: ['Wer also mit dem Auto zur Arbeit fährt und wieder nach Hause, spart bei zehn Kilometern täglich jedes Jahr rund 350 Kilogramm CO2-Emissionen.'] Prediction: ['Jedes Jahr spart bei zehn Kilometern rund 350 Kilogramm CO2-Emissionen.\nDas Auto spart bei zehn Kilometern täglich jedes Jahr rund 350 Kilogramm CO2-Emissionen.'] Label: [['Wer jeden Tag mit dem Auto zur Arbeit fährt und wieder nach Hause, spart bei zehn Kilometern täglich jedes Jahr rund 350 Kilogramm CO2-Emissionen.']] Sacrebleu: {'score': 46.09765680697782, 'counts': [15, 13, 12, 11], 'totals': [29, 28, 27, 26], 'precisions': [51.724137931034484, 46.42857142857143, 44.44444444444444, 42.30769230769231], 'bp': 1.0, 'sys_len': 29, 'ref_len': 28} Bleu: {'bleu': 0.46097656806977805, 'precisions': [0.5172413793103449, 0.4642857142857143, 0.4444444444444444, 0.4230769230769231], 'brevity_penalty': 1.0, 'length_ratio': 1.0357142857142858, 'translation_length': 29, 'reference_length': 28} Rouge: {'rouge1': 0.5283018867924528, 'rouge2': 0.47058823529411764, 'rougeL': 0.5283018867924528, 'rougeLsum': 0.5283018867924528} Sari: {'sari': 27.763856391905172} Flesh Reading Ease: 51.5 ---------------------------------------- Source: ['Durch regelmäßiges Radfahren erhöht sich die Lebenserwartung um 3 bis 14 Monate.'] Prediction: ['Durch regelmäßiges Radfahren erhöht sich die Lebenserwartung um 3 bis 14 Monate.\nDie Lebenserwartung erhöht sich durch regelmäßiges Radfahren um 3 bis 14 Monate.'] Label: [['Regelmäßiges Radfahren erhöht die Lebenserwartung um 3 bis 14 Monate.']] Sacrebleu: {'score': 28.59826603326731, 'counts': [10, 8, 6, 5], 'totals': [26, 25, 24, 23], 'precisions': [38.46153846153846, 32.0, 25.0, 21.73913043478261], 'bp': 1.0, 'sys_len': 26, 'ref_len': 11} Bleu: {'bleu': 0.2859826603326731, 'precisions': [0.38461538461538464, 0.32, 0.25, 0.21739130434782608], 'brevity_penalty': 1.0, 'length_ratio': 2.3636363636363638, 'translation_length': 26, 'reference_length': 11} Rouge: {'rouge1': 0.6, 'rouge2': 0.5263157894736842, 'rougeL': 0.6, 'rougeLsum': 0.6} Sari: {'sari': 68.48544973544973} Flesh Reading Ease: 45.15 ---------------------------------------- Source: ['Nur rund fünf Zentimeter groß, ohne Schwanz, und 15 bis 35 Gramm schwer ist die kleine Haselmaus.'] Prediction: ['Nur fünf Zentimeter groß, ohne Schwanz, und 15 bis 35 Gramm schwer ist die kleine Haselmaus.\nDie kleine Haselmaus ist nur fünf Zentimeter groß, ohne Schwanz, und 15 bis 35 Gramm schwer.'] Label: [['Die Haselmaus ist ohne Schwanz nur fünf Zentimeter groß und 15 bis 35 Gramm schwer.']] Sacrebleu: {'score': 24.283216483861978, 'counts': [16, 11, 7, 5], 'totals': [38, 37, 36, 35], 'precisions': [42.10526315789474, 29.72972972972973, 19.444444444444443, 14.285714285714286], 'bp': 1.0, 'sys_len': 38, 'ref_len': 16} Bleu: {'bleu': 0.24283216483861972, 'precisions': [0.42105263157894735, 0.2972972972972973, 0.19444444444444445, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 2.375, 'translation_length': 38, 'reference_length': 16} Rouge: {'rouge1': 0.6399999999999999, 'rouge2': 0.45833333333333326, 'rougeL': 0.56, 'rougeLsum': 0.56} Sari: {'sari': 69.593554965846} Flesh Reading Ease: 82.1 ---------------------------------------- Source: ['Sie schläft den ganzen Winter über und ist meistens nachts unterwegs, um Nüsse, Beeren, Samen und Insekten zu fressen.'] Prediction: ['Am Samstag wurde die Schweizerin über das ganze Winter geschlagen.\nSie schlägt den ganzen Winter über und ist meistens nachts unterwegs, um Nüsse, Beeren, Samen und Insekten zu fressen.'] Label: [['Sie ist meistens nachts unterwegs, um Nüsse, Beeren, Samen und Insekten zu fressen.']] Sacrebleu: {'score': 45.188378715000056, 'counts': [17, 15, 14, 13], 'totals': [34, 33, 32, 31], 'precisions': [50.0, 45.45454545454545, 43.75, 41.935483870967744], 'bp': 1.0, 'sys_len': 34, 'ref_len': 17} Bleu: {'bleu': 0.45188378715000066, 'precisions': [0.5, 0.45454545454545453, 0.4375, 0.41935483870967744], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 34, 'reference_length': 17} Rouge: {'rouge1': 0.6222222222222222, 'rouge2': 0.5581395348837209, 'rougeL': 0.6222222222222222, 'rougeLsum': 0.6222222222222222} Sari: {'sari': 61.750075206984214} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['Da sehr viel natürlicher Lebensraum zerstört ist, etwa durch Gebäude, ist die Haselmaus bedroht.'] Prediction: ['Der Haselmaus ist sehr viel natürlicher Lebensraum zerstört.\nDer Haselmaus ist sehr viel natürlicher Lebensraum zerstört.'] Label: [['Ihr natürlicher Lebensraum ist häufig zerstört, etwa durch Gebäude.']] Sacrebleu: {'score': 5.401157445454033, 'counts': [5, 1, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [27.77777777777778, 5.882352941176471, 3.125, 1.6666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.058823529411764705, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6363636363636365, 'translation_length': 18, 'reference_length': 11} Rouge: {'rouge1': 0.3636363636363637, 'rouge2': 0.1935483870967742, 'rougeL': 0.3636363636363637, 'rougeLsum': 0.30303030303030304} Sari: {'sari': 31.741718426501038} Flesh Reading Ease: 55.0 ---------------------------------------- Source: ['Den Waldkauz sieht man kaum, aber man kann ihn hören und erkennt ihn sofort.'] Prediction: ['Ein Waldkauz-Wagen ist in den vergangenen Tagen im Kanton Bern gekommen.\nDer Waldkauz ist sofort gefährlich, dass man den Waldkauz hören kann.\nDas hat der Schauspieler in der Nacht auf Sonntag zu Gast.'] Label: [['Den Waldkauz sieht man kaum.\nMan kann ihn hören:']] Sacrebleu: {'score': 1.4899946568663818, 'counts': [5, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [13.513513513513514, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.13513513513513514, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3636363636363638, 'translation_length': 37, 'reference_length': 11} Rouge: {'rouge1': 0.2608695652173913, 'rouge2': 0.0909090909090909, 'rougeL': 0.2173913043478261, 'rougeLsum': 0.2173913043478261} Sari: {'sari': 28.334859584859583} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['Mit seinem typischen „Huuh-Hu-Huuh“ ruft er in die Nacht.'] Prediction: ['Einige Tage nach der Nacht auf Sonntag hat sich mit einem ähnlichen Tag über den Namen "Huuh-Hu-Huuh" geschickt.\nDie Täter sind über den Namen "Huuh-Hu-Huuh" und die Nacht geschickt.'] Label: [['Mit seinem „Huuh-Hu-Huuh“ ruft er in die Nacht.']] Sacrebleu: {'score': 2.3372496156461082, 'counts': [3, 1, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [8.571428571428571, 2.9411764705882355, 1.5151515151515151, 0.78125], 'bp': 1.0, 'sys_len': 35, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.08571428571428572, 0.029411764705882353, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.888888888888889, 'translation_length': 35, 'reference_length': 9} Rouge: {'rouge1': 0.2727272727272727, 'rouge2': 0.14285714285714288, 'rougeL': 0.2727272727272727, 'rougeLsum': 0.2727272727272727} Sari: {'sari': 17.38018925518925} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['Siedlungs- und Straßenbau bedrohen ihren Lebensraum.'] Prediction: ['In den USA werden die Lebensraum in den vergangenen Tagen verboten.\nDie Tagen werden von den Opfern bedroht.'] Label: [['Ihr Lebensraum ist durch Wohnsiedlungen und Straßen bedroht.']] Sacrebleu: {'score': 4.237713199752784, 'counts': [3, 1, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [15.0, 5.2631578947368425, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.05263157894736842, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2222222222222223, 'translation_length': 20, 'reference_length': 9} Rouge: {'rouge1': 0.14814814814814814, 'rouge2': 0.0, 'rougeL': 0.14814814814814814, 'rougeLsum': 0.14814814814814814} Sari: {'sari': 64.95475113122173} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Es wächst auf vielen Wiesen, aber kaum jemand nimmt es wahr.'] Prediction: ['Die Schweizer Wirtschaftswahl ist auf vielen Wiesen gekommen.\nDas wächst auf vielen Wiesen.'] Label: [['Es wächst auf vielen Wiesen, aber man übersieht es schnell.']] Sacrebleu: {'score': 17.395797375642243, 'counts': [5, 3, 2, 1], 'totals': [15, 14, 13, 12], 'precisions': [33.333333333333336, 21.428571428571427, 15.384615384615385, 8.333333333333334], 'bp': 1.0, 'sys_len': 15, 'ref_len': 12} Bleu: {'bleu': 0.17395797375642236, 'precisions': [0.3333333333333333, 0.21428571428571427, 0.15384615384615385, 0.08333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 15, 'reference_length': 12} Rouge: {'rouge1': 0.4, 'rouge2': 0.34782608695652173, 'rougeL': 0.4, 'rougeLsum': 0.4} Sari: {'sari': 41.03174603174604} Flesh Reading Ease: 74.05 ---------------------------------------- Source: ['Dank seiner Glasfassade erinnert das 110 Meter hohe Gebäude an einen Kristall.'] Prediction: ['Dank seiner Glasfassade erinnert das 110 Meter hohe Gebäude an einen Kristall.\nDas 110 Meter hohe Gebäude erinnert das 110 Meter hohe Gebäude an einen Kristall.'] Label: [['Die Fassade der Elbphilharmonie ist aus Glas und erinnert an einen Kristall.']] Sacrebleu: {'score': 8.839374326825924, 'counts': [5, 3, 2, 1], 'totals': [28, 27, 26, 25], 'precisions': [17.857142857142858, 11.11111111111111, 7.6923076923076925, 4.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 13} Bleu: {'bleu': 0.08839374326825923, 'precisions': [0.17857142857142858, 0.1111111111111111, 0.07692307692307693, 0.04], 'brevity_penalty': 1.0, 'length_ratio': 2.1538461538461537, 'translation_length': 28, 'reference_length': 13} Rouge: {'rouge1': 0.1951219512195122, 'rouge2': 0.10256410256410255, 'rougeL': 0.1951219512195122, 'rougeLsum': 0.1951219512195122} Sari: {'sari': 45.375550375550375} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Beeindruckend sind auch die Eckdaten der Elbphilharmonie – inzwischen liebevoll „Elphi“ genannt: zwei Konzertsäle, ein Hotel, 45 Luxus-Appartements zu rund 35.000 Euro pro Quadratmeter, ein Parkhaus, 26 Etagen und 120.000 Quadratmeter Nutzfläche.'] Prediction: ['Die Elbphilharmonie hat inzwischen liebevoll "Elphi" genannt.\nSie hat zwei Konzertsäle, ein Hotel, 45 Luxus-Appartements zu rund 35.000 Euro pro Quadratmeter und 120.000 Quadratmeter Nutzfläche.'] Label: [['Beeindruckend sind auch die Eckdaten der Elbphilharmonie: zwei Konzertsäle, ein Hotel, 45 Luxus-Appartements, ein Parkhaus, 26 Etagen und 120.000 Quadratmeter Nutzfläche.']] Sacrebleu: {'score': 33.66708947010078, 'counts': [14, 11, 9, 7], 'totals': [31, 30, 29, 28], 'precisions': [45.16129032258065, 36.666666666666664, 31.03448275862069, 25.0], 'bp': 1.0, 'sys_len': 31, 'ref_len': 27} Bleu: {'bleu': 0.3366708947010077, 'precisions': [0.45161290322580644, 0.36666666666666664, 0.3103448275862069, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.1481481481481481, 'translation_length': 31, 'reference_length': 27} Rouge: {'rouge1': 0.5818181818181818, 'rouge2': 0.4528301886792453, 'rougeL': 0.5818181818181818, 'rougeLsum': 0.5818181818181818} Sari: {'sari': 28.806523590577537} Flesh Reading Ease: 45.0 ---------------------------------------- Source: ['Die Bauzeit lag bei zehn Jahren.'] Prediction: ['Die Bauzeit lag bei zehn Jahren.\nDie Bauzeit lag bei zehn Jahren.'] Label: [['Es dauerte zehn Jahre bis das Konzerthaus fertig war.']] Sacrebleu: {'score': 3.377156414337854, 'counts': [2, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [14.285714285714286, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.14285714285714285, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 14, 'reference_length': 10} Rouge: {'rouge1': 0.09523809523809525, 'rouge2': 0.0, 'rougeL': 0.09523809523809525, 'rougeLsum': 0.09523809523809525} Sari: {'sari': 37.03703703703704} Flesh Reading Ease: 97.95 ---------------------------------------- Source: ['Das Herzstück der Elbphilharmonie ist der große Konzertsaal.'] Prediction: ['Im Herbst ist die Elbphilharmonie in den vergangenen Tagen gestartet.\nDas Herzstück der Elbphilharmonie ist der große Konzertsaal.\nDie Veranstalterin ist eine der grössten Personen der Veranstalterin.'] Label: [['Der wichtigste Raum der Elbphilharmonie ist der große Konzertsaal.']] Sacrebleu: {'score': 18.90425467840326, 'counts': [7, 6, 5, 4], 'totals': [30, 29, 28, 27], 'precisions': [23.333333333333332, 20.689655172413794, 17.857142857142858, 14.814814814814815], 'bp': 1.0, 'sys_len': 30, 'ref_len': 10} Bleu: {'bleu': 0.18904254678403262, 'precisions': [0.23333333333333334, 0.20689655172413793, 0.17857142857142858, 0.14814814814814814], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 30, 'reference_length': 10} Rouge: {'rouge1': 0.4, 'rouge2': 0.31578947368421056, 'rougeL': 0.35, 'rougeLsum': 0.4} Sari: {'sari': 61.23015873015872} Flesh Reading Ease: 48.15 ---------------------------------------- Source: ['Die Orgel ist mitten zwischen den Zuschauern platziert. Ihre 4.765 Pfeifen brauchen daher eine Spezialbeschichtung.'] Prediction: ['Die Orgel in den Zuschauern ist mitten zwischen den Zuschauern platziert.\nMehr als 4.765 Pfeifen brauchen eine Spezialbeschichtung.'] Label: [['Die Orgel ist mitten zwischen den Zuschauern platziert und hat 4.765 Orgelpfeifen.']] Sacrebleu: {'score': 28.05155032016295, 'counts': [10, 6, 4, 3], 'totals': [20, 19, 18, 17], 'precisions': [50.0, 31.57894736842105, 22.22222222222222, 17.647058823529413], 'bp': 1.0, 'sys_len': 20, 'ref_len': 13} Bleu: {'bleu': 0.28051550320162943, 'precisions': [0.5, 0.3157894736842105, 0.2222222222222222, 0.17647058823529413], 'brevity_penalty': 1.0, 'length_ratio': 1.5384615384615385, 'translation_length': 20, 'reference_length': 13} Rouge: {'rouge1': 0.625, 'rouge2': 0.4666666666666666, 'rougeL': 0.625, 'rougeLsum': 0.625} Sari: {'sari': 50.89357155846517} Flesh Reading Ease: 62.85 ---------------------------------------- Source: ['Und damit nichts die Konzerterlebnisse stört– kein Tuten der Schiffe, kein Brummen der Dieselmaschinen – wurde der 12.500 Tonnen schwere Saal vom restlichen Gebäude getrennt.'] Prediction: ['Der 12.500 Tonnen schwere Diesel-Saal wurde vom restlichen Gebäude getrennt.\nEs wurde kein Tuten der Schiffe, kein Brummen der Dieselmaschinen.'] Label: [['Der 12.500 Tonnen schwere Saal ist vom restlichen Gebäude getrennt, damit keine Geräusche von außen die Konzerte stören können.']] Sacrebleu: {'score': 21.800193956058234, 'counts': [10, 6, 4, 2], 'totals': [23, 22, 21, 20], 'precisions': [43.47826086956522, 27.272727272727273, 19.047619047619047, 10.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 21} Bleu: {'bleu': 0.21800193956058223, 'precisions': [0.43478260869565216, 0.2727272727272727, 0.19047619047619047, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 1.0952380952380953, 'translation_length': 23, 'reference_length': 21} Rouge: {'rouge1': 0.4583333333333333, 'rouge2': 0.34782608695652173, 'rougeL': 0.4583333333333333, 'rougeLsum': 0.4583333333333333} Sari: {'sari': 45.028203238232514} Flesh Reading Ease: 53.0 ---------------------------------------- Source: ['Genügend Arbeitsplätze für alle: Das ist die Voraussetzung für nachhaltiges und inklusives Wirtschaftswachstum.'] Prediction: ['Genügend Arbeitsplätze für alle: Das ist die Voraussetzung für nachhaltiges und inklusives Wirtschaftswachstum.\nGenügend Arbeitsplätze für alle: Das ist die Voraussetzung für nachhaltiges und inklusives Wirtschaftswachstum.'] Label: [['Genügend Arbeitsplätze für alle: Das ist die Voraussetzung für nachhaltiges Wirtschaftswachstum.']] Sacrebleu: {'score': 35.37177643681065, 'counts': [13, 11, 9, 8], 'totals': [30, 29, 28, 27], 'precisions': [43.333333333333336, 37.93103448275862, 32.142857142857146, 29.62962962962963], 'bp': 1.0, 'sys_len': 30, 'ref_len': 13} Bleu: {'bleu': 0.3537177643681064, 'precisions': [0.43333333333333335, 0.3793103448275862, 0.32142857142857145, 0.2962962962962963], 'brevity_penalty': 1.0, 'length_ratio': 2.3076923076923075, 'translation_length': 30, 'reference_length': 13} Rouge: {'rouge1': 0.6122448979591837, 'rouge2': 0.5531914893617021, 'rougeL': 0.6122448979591837, 'rougeLsum': 0.6122448979591837} Sari: {'sari': 70.17715617715618} Flesh Reading Ease: 26.6 ---------------------------------------- Source: ['Nach der Arbeitsmarktprognose 2030 für Deutschland wird es auf dem Arbeitsmarkt große Probleme geben, denn es werden viele Fachkräfte fehlen.'] Prediction: ['2021 findet in Deutschland eine neue Arbeitsmarktprognose statt.\nDie Prognose für Deutschland ist nach der Arbeitsmarktprognose 2030 für Deutschland große Probleme.'] Label: [['Der demografische Wandel bedeutet für Deutschland große Probleme.\nDenn wenn die jetzigen Fachkräfte im Ruhestand sind, werden viele Fachkräfte fehlen.']] Sacrebleu: {'score': 16.133948681475342, 'counts': [6, 4, 3, 2], 'totals': [23, 22, 21, 20], 'precisions': [26.08695652173913, 18.181818181818183, 14.285714285714286, 10.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 23} Bleu: {'bleu': 0.16133948681475338, 'precisions': [0.2608695652173913, 0.18181818181818182, 0.14285714285714285, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 23, 'reference_length': 23} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.21739130434782608, 'rougeL': 0.2916666666666667, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 36.26210744154293} Flesh Reading Ease: 46.65 ---------------------------------------- Source: ['In Deutschland könnten daher in den kommenden 15 Jahren 5,8 bis 7,7 Millionen Arbeitskräfte fehlen, zeigt eine Studie der Boston Consulting Group.'] Prediction: ['Deutschland hat in den kommenden 15 Jahren 5,8 bis 7,7 Millionen Arbeitskräfte fehlen.\nIn den kommenden 15 Jahren könnten 5,8 bis 7,7 Millionen Arbeitskräfte fehlen.'] Label: [['In Deutschland könnten in 15 Jahren 5,8 bis 7,7 Millionen Arbeitskräfte fehlen.\nDas zeigt eine Studie der Boston Consulting Group.']] Sacrebleu: {'score': 32.508335831521066, 'counts': [14, 8, 7, 6], 'totals': [27, 26, 25, 24], 'precisions': [51.851851851851855, 30.76923076923077, 28.0, 25.0], 'bp': 1.0, 'sys_len': 27, 'ref_len': 22} Bleu: {'bleu': 0.32508335831521057, 'precisions': [0.5185185185185185, 0.3076923076923077, 0.28, 0.25], 'brevity_penalty': 1.0, 'length_ratio': 1.2272727272727273, 'translation_length': 27, 'reference_length': 22} Rouge: {'rouge1': 0.5714285714285715, 'rouge2': 0.40740740740740744, 'rougeL': 0.46428571428571425, 'rougeLsum': 0.5714285714285715} Sari: {'sari': 36.71717010205411} Flesh Reading Ease: 56.35 ---------------------------------------- Source: ['Tatsache ist aber auch: Die Digitalisierung ist nicht mehr aufzuhalten und wird einige Arbeitsplätze kosten.'] Prediction: ['Die Digitalisierung ist nicht mehr aufzuhalten.\nDie Arbeitsplätze kosten einige Arbeitsplätze.'] Label: [['Tatsache ist aber auch: Die Digitalisierung ist nicht mehr aufzuhalten.\nSie wird einige Arbeitsplätze kosten.']] Sacrebleu: {'score': 38.52232641594116, 'counts': [11, 8, 5, 4], 'totals': [13, 12, 11, 10], 'precisions': [84.61538461538461, 66.66666666666667, 45.45454545454545, 40.0], 'bp': 0.6807123983233854, 'sys_len': 13, 'ref_len': 18} Bleu: {'bleu': 0.38522326415941144, 'precisions': [0.8461538461538461, 0.6666666666666666, 0.45454545454545453, 0.4], 'brevity_penalty': 0.6807123983233854, 'length_ratio': 0.7222222222222222, 'translation_length': 13, 'reference_length': 18} Rouge: {'rouge1': 0.6896551724137931, 'rouge2': 0.5925925925925926, 'rougeL': 0.6206896551724138, 'rougeLsum': 0.6206896551724138} Sari: {'sari': 33.311364561364556} Flesh Reading Ease: 28.25 ---------------------------------------- Source: ['Dies ist eines der Ergebnisse einer Prognose von PwC und dem Wifor-Institut.'] Prediction: ['Ein Schweizer-CEO hat eine Prognose einer Wifor-Institut beantwortet.\nEr hat das Ergebnisse einer Prognose von PwC und dem Wifor-Institut beantwortet.'] Label: [['Dies ist eines der Ergebnisse einer Prognose von PwC und des WifOR-Instituts.']] Sacrebleu: {'score': 22.115966812339867, 'counts': [7, 5, 4, 3], 'totals': [22, 21, 20, 19], 'precisions': [31.818181818181817, 23.80952380952381, 20.0, 15.789473684210526], 'bp': 1.0, 'sys_len': 22, 'ref_len': 13} Bleu: {'bleu': 0.22115966812339863, 'precisions': [0.3181818181818182, 0.23809523809523808, 0.2, 0.15789473684210525], 'brevity_penalty': 1.0, 'length_ratio': 1.6923076923076923, 'translation_length': 22, 'reference_length': 13} Rouge: {'rouge1': 0.3888888888888889, 'rouge2': 0.29411764705882354, 'rougeL': 0.3888888888888889, 'rougeLsum': 0.3888888888888889} Sari: {'sari': 24.9702380952381} Flesh Reading Ease: 35.45 ---------------------------------------- Source: ['Und Digitalisierung und Zuwanderung können den demografischen Wandel zwar abschwächen, aber auf lange Sicht nicht ausgleichen.'] Prediction: ['Immer mehr Menschen sind sich in den vergangenen Tagen zu Gast.\nDas wird von demografischen Wandel auf dem Markt nicht ausgleichen.'] Label: [['Digitalisierung und Zuwanderung können den demografischen Wandel zwar abschwächen, aber auf lange Sicht nicht ausgleichen.']] Sacrebleu: {'score': 8.383924775392588, 'counts': [7, 3, 1, 0], 'totals': [23, 22, 21, 20], 'precisions': [30.434782608695652, 13.636363636363637, 4.761904761904762, 2.5], 'bp': 1.0, 'sys_len': 23, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.30434782608695654, 0.13636363636363635, 0.047619047619047616, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3529411764705883, 'translation_length': 23, 'reference_length': 17} Rouge: {'rouge1': 0.31578947368421056, 'rouge2': 0.11111111111111112, 'rougeL': 0.31578947368421056, 'rougeLsum': 0.31578947368421056} Sari: {'sari': 10.657372598162071} Flesh Reading Ease: 75.9 ---------------------------------------- Source: ['Die Analyse zeigt, dass die Digitalisierung ein großes Potential für die Produktivität der Wirtschaft hat.'] Prediction: ['Die Analyse zeigt, dass die Digitalisierung ein großes Potential für die Produktivität der Wirtschaft hat.\nDie Wirtschaft hat ein großes Potential für die Produktivität der Wirtschaft hat.'] Label: [['Die Digitalisierung bietet also große Chancen für den Arbeitsmarkt der Zukunft.']] Sacrebleu: {'score': 1.8564670505078418, 'counts': [5, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 30, 'reference_length': 12} Rouge: {'rouge1': 0.26086956521739135, 'rouge2': 0.09090909090909091, 'rougeL': 0.26086956521739135, 'rougeLsum': 0.26086956521739135} Sari: {'sari': 38.04935767410413} Flesh Reading Ease: 49.5 ---------------------------------------- Source: ['Aber die Digitalisierung verlangt hohe Qualifikationen.'] Prediction: ['Die Quali-Experten verlangen für die Schweizer Grenze.\nDie Quali-Experten verlangen trotzdem hohe Qualifikationen.'] Label: [['Die Digitalisierung verlangt hohe Qualifikationen.']] Sacrebleu: {'score': 10.511846841633776, 'counts': [4, 2, 1, 0], 'totals': [15, 14, 13, 12], 'precisions': [26.666666666666668, 14.285714285714286, 7.6923076923076925, 4.166666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.14285714285714285, 0.07692307692307693, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 15, 'reference_length': 6} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.10526315789473685, 'rougeL': 0.2857142857142857, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 23.789682539682534} Flesh Reading Ease: 15.55 ---------------------------------------- Source: ['Der demografische Wandel bedeutet für Deutschland, dass nur eine gute fundierte Bildung und ein Ausbau der beruflichen Weiterbildung die Zukunft sichert.'] Prediction: ['Die Zukunft von einem demografischen Wandel in Deutschland sichert.\nDie Bildungs-Bildung und eine Ausbau der beruflichen Weiterbildung sichert für Deutschland.'] Label: [['Der demografische Wandel bedeutet für Deutschland, dass nur eine gute Bildung und ein Ausbau der beruflichen Weiterbildung die Zukunft sichert.']] Sacrebleu: {'score': 16.1692143534558, 'counts': [12, 5, 2, 1], 'totals': [22, 21, 20, 19], 'precisions': [54.54545454545455, 23.80952380952381, 10.0, 5.2631578947368425], 'bp': 1.0, 'sys_len': 22, 'ref_len': 22} Bleu: {'bleu': 0.161692143534558, 'precisions': [0.5454545454545454, 0.23809523809523808, 0.1, 0.05263157894736842], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 22, 'reference_length': 22} Rouge: {'rouge1': 0.6511627906976744, 'rouge2': 0.3414634146341463, 'rougeL': 0.4186046511627907, 'rougeLsum': 0.4186046511627907} Sari: {'sari': 17.62886429875594} Flesh Reading Ease: 41.3 ---------------------------------------- Source: ['Die Vereinbarkeit von Familie und Beruf, die bessere berufliche Integration von Migranten sowie die verbesserte Anerkennung von Qualifikationen sind weitere Anforderungen, die Deutschlands Zukunft sichern helfen.'] Prediction: ['Die Vereinbarkeit von Familie und Beruf, die bessere berufliche Integration von Migranten sowie die verbesserte Anerkennung von Qualifikationen sind, sind weitere Anforderungen.\nDie Deutschlands Zukunft sichern helfen.'] Label: [['Familie und Beruf müssen sich vereinbaren lassen, Migranten müssen besser integriert und ihre Qualifikationen anerkannt werden.']] Sacrebleu: {'score': 5.517784889816492, 'counts': [7, 2, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [22.580645161290324, 6.666666666666667, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.22580645161290322, 0.06666666666666667, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7222222222222223, 'translation_length': 31, 'reference_length': 18} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.0930232558139535, 'rougeL': 0.22222222222222224, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 38.89057035243476} Flesh Reading Ease: 20.25 ---------------------------------------- Source: ['Der Festtag wurde populär und gelangte nach Europa. Nach Großbritannien und Skandinavien griffen auch die Deutschen die Idee auf.'] Prediction: ['Am Freitag fand in Deutschland statt.\nDie Festtag-Gruppe hatte in Europa einen Festtag gefunden.\nDie Deutschen griffen die Idee auf.'] Label: [['Der Festtag gelangte nach Europa und über Großbritannien und Skandinavien nach Deutschland.']] Sacrebleu: {'score': 2.328734903585348, 'counts': [4, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [17.391304347826086, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.17391304347826086, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7692307692307692, 'translation_length': 23, 'reference_length': 13} Rouge: {'rouge1': 0.17647058823529413, 'rouge2': 0.0, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.17647058823529413} Sari: {'sari': 28.00929230915667} Flesh Reading Ease: 68.0 ---------------------------------------- Source: ['1923 organisierte der Verband Deutscher Blumengeschäftsinhaber eine Aktion mit Plakaten, auf denen stand „Ehret die Mutter“ – ganz unpolitisch einfach nur als Tag der Blumenwünsche.'] Prediction: ['Die Deutschen Blumengeschäftsinhaber organisierten eine Aktion mit Plakaten.\nSie fanden für eine Aktion mit Plakaten, auf denen die Mutter "Ehret die Mutter" stand.\nDie Aktion wurde von 20 bis 30 Jahren organisiert.'] Label: [['1923 organisierte der Verband Deutscher Blumengeschäftsinhaber eine Aktion mit Plakaten, auf denen stand „Ehret die Mutter“.\nEs war ein Tag der Blumenwünsche.']] Sacrebleu: {'score': 16.88502300099971, 'counts': [12, 6, 5, 4], 'totals': [38, 37, 36, 35], 'precisions': [31.57894736842105, 16.216216216216218, 13.88888888888889, 11.428571428571429], 'bp': 1.0, 'sys_len': 38, 'ref_len': 25} Bleu: {'bleu': 0.16885023000999705, 'precisions': [0.3157894736842105, 0.16216216216216217, 0.1388888888888889, 0.11428571428571428], 'brevity_penalty': 1.0, 'length_ratio': 1.52, 'translation_length': 38, 'reference_length': 25} Rouge: {'rouge1': 0.41379310344827586, 'rouge2': 0.28571428571428575, 'rougeL': 0.3793103448275862, 'rougeLsum': 0.3793103448275862} Sari: {'sari': 30.359150717703347} Flesh Reading Ease: 52.3 ---------------------------------------- Source: ['Die Nationalsozialisten machten aus dem Muttertag einen Tag der Heldinnen, die möglichst viele Nachkommen gebären sollten, um den Fortbestand des Volkes zu sichern – oder einfach für die grausame Tatsache, dass man Soldaten brauchte.'] Prediction: ['Die Nationalsozialisten machten aus dem Muttertag einen Tag der Heldinnen, die möglichst viele Nachkommen gebären sollten, um den Fortbestand des Volkes zu sichern.\nDie Nationalsozialisten machten aus dem Muttertag einen Tag der Heldinnen, die möglichst viele Nachkommen gebären sollten, um den Fortbestand des Volkes zu sichern.'] Label: [['Die Nationalsozialisten machten aus dem Muttertag einen Tag der Heldinnen.\nGeehrt werden sollten die Frauen, die möglichst viele Nachkommen gebären, denn man brauchte Soldaten.']] Sacrebleu: {'score': 27.145462349785312, 'counts': [21, 14, 12, 10], 'totals': [52, 51, 50, 49], 'precisions': [40.38461538461539, 27.45098039215686, 24.0, 20.408163265306122], 'bp': 1.0, 'sys_len': 52, 'ref_len': 28} Bleu: {'bleu': 0.2714546234978531, 'precisions': [0.40384615384615385, 0.27450980392156865, 0.24, 0.20408163265306123], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 52, 'reference_length': 28} Rouge: {'rouge1': 0.5, 'rouge2': 0.40540540540540543, 'rougeL': 0.5, 'rougeLsum': 0.47368421052631576} Sari: {'sari': 54.331309693151795} Flesh Reading Ease: 40.0 ---------------------------------------- Source: ['Nach dem Zweiten Weltkrieg und dem Ende des Nationalsozialismus wurde der Muttertag daher zunächst nicht mehr gefeiert.'] Prediction: ['Der Muttertag wurde nicht mehr gefeiert.\nDer Muttertag wurde nicht mehr gefeiert.'] Label: [['Nach dem Zweiten Weltkrieg und dem Ende des Nationalsozialismus wurde der Muttertag zunächst nicht mehr gefeiert.']] Sacrebleu: {'score': 15.880025377556462, 'counts': [6, 3, 2, 1], 'totals': [14, 13, 12, 11], 'precisions': [42.857142857142854, 23.076923076923077, 16.666666666666668, 9.090909090909092], 'bp': 0.8071177470053894, 'sys_len': 14, 'ref_len': 17} Bleu: {'bleu': 0.15880025377556453, 'precisions': [0.42857142857142855, 0.23076923076923078, 0.16666666666666666, 0.09090909090909091], 'brevity_penalty': 0.8071177470053892, 'length_ratio': 0.8235294117647058, 'translation_length': 14, 'reference_length': 17} Rouge: {'rouge1': 0.41379310344827586, 'rouge2': 0.2222222222222222, 'rougeL': 0.41379310344827586, 'rougeLsum': 0.3448275862068966} Sari: {'sari': 26.5963787674314} Flesh Reading Ease: 68.7 ---------------------------------------- Source: ['Der Muttertag löst regelmäßig Diskussionen aus.'] Prediction: ['Der Muttertag löst regelmäßig Diskussionen aus.\nDie Polizei hatte am Freitag ihre Mutter verlassen.'] Label: [['Der Muttertag wird immer wieder diskutiert.']] Sacrebleu: {'score': 5.412989186545263, 'counts': [3, 1, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 6.666666666666667, 3.5714285714285716, 1.9230769230769231], 'bp': 1.0, 'sys_len': 16, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2857142857142856, 'translation_length': 16, 'reference_length': 7} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.1, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 40.71428571428572} Flesh Reading Ease: 44.3 ---------------------------------------- Source: ['Warum schenkt man einer Mutter nur an einem Tag Blumen, wenn die Blumen-Werbung daran erinnert?'] Prediction: ['Eine Mutter schenkt nur an einem Tag Blumen, wenn die Blumen-Werbung daran erinnert?\nDie Blumen-Werbung wurde von einer Mutter erinnert.'] Label: [['Warum schenkt man einer Mutter nur an einem Tag Blumen?']] Sacrebleu: {'score': 18.879521773374403, 'counts': [9, 5, 3, 2], 'totals': [23, 22, 21, 20], 'precisions': [39.130434782608695, 22.727272727272727, 14.285714285714286, 10.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 11} Bleu: {'bleu': 0.18879521773374403, 'precisions': [0.391304347826087, 0.22727272727272727, 0.14285714285714285, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 2.090909090909091, 'translation_length': 23, 'reference_length': 11} Rouge: {'rouge1': 0.5000000000000001, 'rouge2': 0.33333333333333326, 'rougeL': 0.37499999999999994, 'rougeLsum': 0.5000000000000001} Sari: {'sari': 14.59859584859585} Flesh Reading Ease: 58.85 ---------------------------------------- Source: ['Schließlich ist sie tagtäglich für ihre Kinder da.'] Prediction: ['Eine Kinder-Kindergängerin ist tagtäglich für ihre Kinder da.\nSie ist tagtäglich für ihre Kinder da.'] Label: [['Sie ist schließlich immer für einen da.']] Sacrebleu: {'score': 6.839596061560946, 'counts': [5, 2, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [29.41176470588235, 12.5, 3.3333333333333335, 1.7857142857142858], 'bp': 1.0, 'sys_len': 17, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.29411764705882354, 0.125, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.125, 'translation_length': 17, 'reference_length': 8} Rouge: {'rouge1': 0.33333333333333326, 'rouge2': 0.14285714285714288, 'rougeL': 0.33333333333333326, 'rougeLsum': 0.33333333333333326} Sari: {'sari': 35.24531024531024} Flesh Reading Ease: 55.5 ---------------------------------------- Source: ['So ergab eine Umfrage des Meinungsforschungsinstituts YouGov in Deutschland: 80 Prozent der Erwachsenen schenken ihrer Mutter etwas zu Muttertag.'] Prediction: ['Eine Umfrage des Meinungsforschungsinstituts YouGov in Deutschland zeigt: 80 Prozent der Erwachsenen schenken ihrer Mutter etwas zu Muttertag.'] Label: [['So ergab eine Umfrage des Meinungsforschungsinstituts YouGov: 80 Prozent der Erwachsenen schenken ihrer Mutter etwas zu Muttertag.']] Sacrebleu: {'score': 69.3395566222006, 'counts': [16, 14, 12, 10], 'totals': [20, 19, 18, 17], 'precisions': [80.0, 73.6842105263158, 66.66666666666667, 58.8235294117647], 'bp': 1.0, 'sys_len': 20, 'ref_len': 19} Bleu: {'bleu': 0.693395566222006, 'precisions': [0.8, 0.7368421052631579, 0.6666666666666666, 0.5882352941176471], 'brevity_penalty': 1.0, 'length_ratio': 1.0526315789473684, 'translation_length': 20, 'reference_length': 19} Rouge: {'rouge1': 0.8571428571428571, 'rouge2': 0.787878787878788, 'rougeL': 0.8571428571428571, 'rougeLsum': 0.8571428571428571} Sari: {'sari': 41.0270302452965} Flesh Reading Ease: 33.3 ---------------------------------------- Source: ['18 Prozent der Befragten dagegen sehen keinen Grund, den Muttertag besonders zu feiern.'] Prediction: ['18 Prozent der Befragten sind keinen Grund, den Muttertag besonders zu feiern.\nDie Muttertag-Befragten sind 18 Prozent der Befragten.'] Label: [['18 Prozent dagegen sehen keinen Grund, den Muttertag besonders zu feiern.']] Sacrebleu: {'score': 39.22967662532704, 'counts': [11, 9, 7, 6], 'totals': [22, 21, 20, 19], 'precisions': [50.0, 42.857142857142854, 35.0, 31.57894736842105], 'bp': 1.0, 'sys_len': 22, 'ref_len': 13} Bleu: {'bleu': 0.3922967662532704, 'precisions': [0.5, 0.42857142857142855, 0.35, 0.3157894736842105], 'brevity_penalty': 1.0, 'length_ratio': 1.6923076923076923, 'translation_length': 22, 'reference_length': 13} Rouge: {'rouge1': 0.5806451612903226, 'rouge2': 0.48275862068965514, 'rougeL': 0.5806451612903226, 'rougeLsum': 0.5806451612903226} Sari: {'sari': 38.96205646205646} Flesh Reading Ease: 59.35 ---------------------------------------- Source: ['Zu den ersten ökologischen Gebäuden im europäischen Raum gehörten die Pfahlbauten der Jungsteinzeit und Bronzezeit zwischen ca. 4.300 v. Chr. und 800 v. Chr. Diese waren bis ins letzte Detail nachhaltig:'] Prediction: ['Schweizer ökologische Gebäuden gehörten zu den ersten ökologischen Gebäuden.\nEs gehörten die Pfahlbauten der Jungsteinzeit und Bronzezeit zwischen ca.\n4.300 v. Chr.\nund 800 v. Chr.\nDiese waren bis ins letzte Detail nachhaltig.'] Label: [['Zu den ersten ökologischen Gebäuden im europäischen Raum gehörten die Pfahlbauten der Jungsteinzeit und Bronzezeit (ca.\n4.300 v. Chr.\nund 800 v.\nChr.).\nSie waren komplett nachhaltig:']] Sacrebleu: {'score': 51.399539255289746, 'counts': [27, 21, 18, 15], 'totals': [40, 39, 38, 37], 'precisions': [67.5, 53.84615384615385, 47.36842105263158, 40.54054054054054], 'bp': 1.0, 'sys_len': 40, 'ref_len': 36} Bleu: {'bleu': 0.5139953925528976, 'precisions': [0.675, 0.5384615384615384, 0.47368421052631576, 0.40540540540540543], 'brevity_penalty': 1.0, 'length_ratio': 1.1111111111111112, 'translation_length': 40, 'reference_length': 36} Rouge: {'rouge1': 0.7246376811594202, 'rouge2': 0.5970149253731343, 'rougeL': 0.7246376811594202, 'rougeLsum': 0.7246376811594202} Sari: {'sari': 26.76491064772816} Flesh Reading Ease: 66.4 ---------------------------------------- Source: ['Ausgerechnet ein Wolkenkratzer mit viel Glas und Stahl war eines der ersten ökologischen Gebäude (Green Building) in Deutschland:'] Prediction: ['Ein Wolkenkratzer hat in Deutschland einen Green Building geschlagen.\nDas Gebäude war eines der ersten ökologischen Gebäudes (Green Building).'] Label: [['Ein Wolkenkratzer mit viel Glas und Stahl war eines der ersten ökologischen Gebäude (Green Building) in Deutschland:']] Sacrebleu: {'score': 30.70898761263382, 'counts': [14, 9, 5, 3], 'totals': [23, 22, 21, 20], 'precisions': [60.869565217391305, 40.90909090909091, 23.80952380952381, 15.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 20} Bleu: {'bleu': 0.3070898761263382, 'precisions': [0.6086956521739131, 0.4090909090909091, 0.23809523809523808, 0.15], 'brevity_penalty': 1.0, 'length_ratio': 1.15, 'translation_length': 23, 'reference_length': 20} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.48648648648648646, 'rougeL': 0.5128205128205129, 'rougeLsum': 0.5128205128205129} Sari: {'sari': 21.44192195982477} Flesh Reading Ease: 59.35 ---------------------------------------- Source: ['Der britische Architekt Sir Norman Foster, Träger des Nachhaltigkeitspreises 2012 für Architektur und Baukunst, hat bei diesem Gebäude vor allem den Energiebedarf im Blick gehabt.'] Prediction: ['Der britische Architekt Sir Norman Foster hat bei einem Gebäude den Energiebedarf im Blick gehabt.\nDer britische Architekt Sir Norman Foster, Träger des Nachhaltigkeitspreises 2012 für Architektur und Baukunst, hat bei diesem Gebäude vor allem den Energiebedarf im Blick gehabt.'] Label: [['Der britische Architekt Sir Norman Foster, Träger des Nachhaltigkeitspreises 2012 für Architektur und Baukunst, hat bei diesem Gebäude den Energiebedarf intelligent gelöst.']] Sacrebleu: {'score': 46.77877486660131, 'counts': [23, 21, 19, 17], 'totals': [44, 43, 42, 41], 'precisions': [52.27272727272727, 48.83720930232558, 45.23809523809524, 41.46341463414634], 'bp': 1.0, 'sys_len': 44, 'ref_len': 25} Bleu: {'bleu': 0.4677877486660129, 'precisions': [0.5227272727272727, 0.4883720930232558, 0.4523809523809524, 0.4146341463414634], 'brevity_penalty': 1.0, 'length_ratio': 1.76, 'translation_length': 44, 'reference_length': 25} Rouge: {'rouge1': 0.6571428571428571, 'rouge2': 0.6470588235294118, 'rougeL': 0.6571428571428571, 'rougeLsum': 0.6571428571428571} Sari: {'sari': 64.60664181028922} Flesh Reading Ease: 43.0 ---------------------------------------- Source: ['So gibt es dank der doppelten Außenfassade Frischluft, eine Klimaanlage wird kaum gebraucht.'] Prediction: ['Eine Klimaanlage wird kaum gebraucht.\nEs gibt eine doppelte Außenfassade Frischluft.'] Label: [['Durch die doppelte Außenfassade gibt es Frischluft, eine Klimaanlage wird kaum gebraucht.']] Sacrebleu: {'score': 33.67004718165568, 'counts': [10, 5, 3, 2], 'totals': [13, 12, 11, 10], 'precisions': [76.92307692307692, 41.666666666666664, 27.272727272727273, 20.0], 'bp': 0.925961078642316, 'sys_len': 13, 'ref_len': 14} Bleu: {'bleu': 0.3367004718165569, 'precisions': [0.7692307692307693, 0.4166666666666667, 0.2727272727272727, 0.2], 'brevity_penalty': 0.925961078642316, 'length_ratio': 0.9285714285714286, 'translation_length': 13, 'reference_length': 14} Rouge: {'rouge1': 0.8799999999999999, 'rouge2': 0.5217391304347826, 'rougeL': 0.4, 'rougeLsum': 0.7199999999999999} Sari: {'sari': 57.325336700336706} Flesh Reading Ease: 34.1 ---------------------------------------- Source: ['Im Gebäude selbst gibt es neun Gärten.'] Prediction: ['Im Gebäude selbst gibt es neun Gärten.\nIm Gebäude selbst gibt es neun Gärten.'] Label: [['Im Gebäude gibt es neun Gärten.']] Sacrebleu: {'score': 26.33201939239632, 'counts': [7, 5, 3, 2], 'totals': [16, 15, 14, 13], 'precisions': [43.75, 33.333333333333336, 21.428571428571427, 15.384615384615385], 'bp': 1.0, 'sys_len': 16, 'ref_len': 7} Bleu: {'bleu': 0.26332019392396333, 'precisions': [0.4375, 0.3333333333333333, 0.21428571428571427, 0.15384615384615385], 'brevity_penalty': 1.0, 'length_ratio': 2.2857142857142856, 'translation_length': 16, 'reference_length': 7} Rouge: {'rouge1': 0.6153846153846153, 'rouge2': 0.5, 'rougeL': 0.6153846153846153, 'rougeLsum': 0.6153846153846153} Sari: {'sari': 66.7063492063492} Flesh Reading Ease: 91.1 ---------------------------------------- Source: ['Es bedeutet aber auch: die Natur zu schonen und wenig Fläche zu verbrauchen.'] Prediction: ['Die Natur wird von der Schweiz verbrauchen.\nDas bedeutet aber auch, wenig Fläche zu verbrauchen.'] Label: [['Wichtig beim Green Building ist es die Natur zu schonen und wenig Fläche zu verbrauchen.']] Sacrebleu: {'score': 21.042990347620457, 'counts': [6, 4, 3, 2], 'totals': [18, 17, 16, 15], 'precisions': [33.333333333333336, 23.529411764705884, 18.75, 13.333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 16} Bleu: {'bleu': 0.21042990347620458, 'precisions': [0.3333333333333333, 0.23529411764705882, 0.1875, 0.13333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.125, 'translation_length': 18, 'reference_length': 16} Rouge: {'rouge1': 0.4375, 'rouge2': 0.3333333333333333, 'rougeL': 0.4375, 'rougeLsum': 0.4375} Sari: {'sari': 31.74272486772487} Flesh Reading Ease: 78.9 ---------------------------------------- Source: ['Ein Kriterium ist ein geringer Energieverbrauch, ein weiterer Aspekt sind möglichst geringe Transportkosten und kurze Transportwege der Bauteile.'] Prediction: ['Ein Kriterium ist ein geringer Energieverbrauch.\nEin weiterer Aspekt sind möglichst geringe Transportkosten und kurze Transportwege der Bauteile.'] Label: [['Ein Kriterium ist ein geringer Energieverbrauch.\nVon Bedeutung sind auch möglichst geringe Transportkosten und kurze Transportwege der Bauteile.']] Sacrebleu: {'score': 70.39848207052137, 'counts': [17, 14, 12, 10], 'totals': [20, 19, 18, 17], 'precisions': [85.0, 73.6842105263158, 66.66666666666667, 58.8235294117647], 'bp': 1.0, 'sys_len': 20, 'ref_len': 20} Bleu: {'bleu': 0.7039848207052138, 'precisions': [0.85, 0.7368421052631579, 0.6666666666666666, 0.5882352941176471], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 20, 'reference_length': 20} Rouge: {'rouge1': 0.8421052631578947, 'rouge2': 0.7222222222222222, 'rougeL': 0.8421052631578947, 'rougeLsum': 0.8421052631578947} Sari: {'sari': 67.28320655952234} Flesh Reading Ease: 42.3 ---------------------------------------- Source: ['Das bedeutet zum Beispiel, dass 20 Prozent weniger Wärme verbraucht werden soll, wobei der Anteil an erneuerbaren Energieformen erhöht wird.'] Prediction: ['20 Prozent weniger Wärme sollen in der Schweiz verbraucht werden.\nDas bedeutet zum Beispiel, dass 20 Prozent weniger Wärme verbraucht werden soll, wobei der Anteil an erneuerbaren Energieformen erhöht wird.'] Label: [['Das bedeutet zum Beispiel, dass 20 Prozent weniger Wärme verbraucht werden soll.\nDabei soll der Anteil an erneuerbaren Energieformen erhöht werden.']] Sacrebleu: {'score': 51.322324353568106, 'counts': [22, 18, 15, 13], 'totals': [34, 33, 32, 31], 'precisions': [64.70588235294117, 54.54545454545455, 46.875, 41.935483870967744], 'bp': 1.0, 'sys_len': 34, 'ref_len': 24} Bleu: {'bleu': 0.5132232435356809, 'precisions': [0.6470588235294118, 0.5454545454545454, 0.46875, 0.41935483870967744], 'brevity_penalty': 1.0, 'length_ratio': 1.4166666666666667, 'translation_length': 34, 'reference_length': 24} Rouge: {'rouge1': 0.75, 'rouge2': 0.6666666666666666, 'rougeL': 0.7142857142857143, 'rougeLsum': 0.75} Sari: {'sari': 63.22176819164772} Flesh Reading Ease: 53.85 ---------------------------------------- Source: ['Unsere Mode soll schön bunt, knitterfrei oder wasserabstoßend sein. Aber umweltbewusst und nachhaltig ist sie nicht – ganz zu schweigen von den Bedingungen, unter denen sie in vielen Entwicklungsländern hergestellt wird.'] Prediction: ['Unsere Mode soll schön bunt, knitterfrei oder wasserabstoßend sein.\nAber umweltbewusst und nachhaltig ist sie nicht.\nDie Welt ist nicht bekannt, unter denen sie in vielen Entwicklungsländern hergestellt wird.'] Label: [['Schön bunt soll sie sein, unsere Mode, aber umweltbewusst und nachhaltig ist sie nicht.\nSchlimm sind auch oft die Bedingungen, unter denen die Mode in vielen Entwicklungsländern hergestellt wird.']] Sacrebleu: {'score': 36.62181682248745, 'counts': [22, 13, 10, 7], 'totals': [34, 33, 32, 31], 'precisions': [64.70588235294117, 39.39393939393939, 31.25, 22.580645161290324], 'bp': 1.0, 'sys_len': 34, 'ref_len': 34} Bleu: {'bleu': 0.36621816822487446, 'precisions': [0.6470588235294118, 0.3939393939393939, 0.3125, 0.22580645161290322], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 34, 'reference_length': 34} Rouge: {'rouge1': 0.7619047619047619, 'rouge2': 0.4918032786885246, 'rougeL': 0.634920634920635, 'rougeLsum': 0.6666666666666667} Sari: {'sari': 55.47646354871855} Flesh Reading Ease: 65.0 ---------------------------------------- Source: ['Einige Hersteller zeigen jedoch, dass es auch anders geht.'] Prediction: ['Einige Schweizer Hersteller zeigen jedoch, dass es auch anders geht.\nSie sind ein Paar, die sich auf dem Markt geht.'] Label: [['Aber einige Hersteller zeigen, dass es auch anders geht.']] Sacrebleu: {'score': 26.512298021756173, 'counts': [9, 7, 5, 4], 'totals': [24, 23, 22, 21], 'precisions': [37.5, 30.434782608695652, 22.727272727272727, 19.047619047619047], 'bp': 1.0, 'sys_len': 24, 'ref_len': 11} Bleu: {'bleu': 0.26512298021756175, 'precisions': [0.375, 0.30434782608695654, 0.22727272727272727, 0.19047619047619047], 'brevity_penalty': 1.0, 'length_ratio': 2.1818181818181817, 'translation_length': 24, 'reference_length': 11} Rouge: {'rouge1': 0.5517241379310346, 'rouge2': 0.37037037037037035, 'rougeL': 0.5517241379310346, 'rougeLsum': 0.5517241379310346} Sari: {'sari': 43.47890671420083} Flesh Reading Ease: 88.1 ---------------------------------------- Source: ['Öko-Mode, auch Eco-Fashion genannt, lässt sich kurz so beschreiben: frei von Schadstoffen, sozialverträglich produziert, umweltgerecht.'] Prediction: ['Öko-Mode ist ein neues Schweizer Foto-Fashion.\nDie Schweizer Futter-Fashion-Industrie überzeugt sich kurz so beschreiben.\nDie Schweizer Futter-Futter-Industrie überzeugt sich kurz so beschreiben.'] Label: [['Öko-Mode, auch Eco-Fashion genannt, ist frei von Schadstoffen.\nSie wird sozialverträglich produziert und ist umweltgerecht.']] Sacrebleu: {'score': 2.1300733682208985, 'counts': [4, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [16.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.16, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3157894736842106, 'translation_length': 25, 'reference_length': 19} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.04545454545454545, 'rougeL': 0.13043478260869565, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 21.439215024741333} Flesh Reading Ease: 38.15 ---------------------------------------- Source: ['Das heißt zum Beispiel, dass bestimmte Standards zum Schutz der Näherinnen eingehalten werden, keine umweltschädlichen Chemikalien verwendet werden oder die Wolle aus kontrolliert biologischer Tierhaltung kommt.'] Prediction: ['Der Schweizer Näherinnen hat einen Schutz mit Chemikalien verwendet.\nDas bestimmte Beispiel wurde eingehalten.\nDie Chemikalien werden aus kontrolliert biologischer Tierhaltung kommt zu bestimmten Standards.'] Label: [['Das heißt zum Beispiel, dass bestimmte Standards zum Schutz der Näherinnen gelten, keine umweltschädlichen Chemikalien verwendet werden oder die Wolle aus kontrolliert biologischer Tierhaltung kommt.']] Sacrebleu: {'score': 17.395797375642235, 'counts': [15, 5, 3, 2], 'totals': [28, 27, 26, 25], 'precisions': [53.57142857142857, 18.51851851851852, 11.538461538461538, 8.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 28} Bleu: {'bleu': 0.17395797375642233, 'precisions': [0.5357142857142857, 0.18518518518518517, 0.11538461538461539, 0.08], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 28, 'reference_length': 28} Rouge: {'rouge1': 0.6296296296296297, 'rouge2': 0.23076923076923075, 'rougeL': 0.4074074074074074, 'rougeLsum': 0.4814814814814815} Sari: {'sari': 16.65838288120897} Flesh Reading Ease: 37.15 ---------------------------------------- Source: ['Bio-Baumwolle, Leinen, Hanf und Lyocell sind die bekanntesten Textilien, aus denen Öko-Mode produziert wird.'] Prediction: ['Die bekanntesten Produzenten der Schweizer Welt sind Bio-Baumwolle, Leinen, Hanf und Lyocell.\nBio-Baumwolle, Leinen, Hanf und Lyocell sind die bekanntesten Produzenten der Schweizer Welt.'] Label: [['Bio-Baumwolle, Leinen, Hanf und Lyocell sind häufig die Textilien, aus denen Öko-Mode gemacht wird.']] Sacrebleu: {'score': 24.34404448420529, 'counts': [11, 7, 6, 5], 'totals': [30, 29, 28, 27], 'precisions': [36.666666666666664, 24.137931034482758, 21.428571428571427, 18.51851851851852], 'bp': 1.0, 'sys_len': 30, 'ref_len': 18} Bleu: {'bleu': 0.24344044484205296, 'precisions': [0.36666666666666664, 0.2413793103448276, 0.21428571428571427, 0.18518518518518517], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 30, 'reference_length': 18} Rouge: {'rouge1': 0.372093023255814, 'rouge2': 0.2926829268292683, 'rougeL': 0.372093023255814, 'rougeLsum': 0.372093023255814} Sari: {'sari': 39.858574663461184} Flesh Reading Ease: 51.0 ---------------------------------------- Source: ['IVN zertifiziert BEST“ und „Naturleder IVN zertifiziert“ vom Internationalen Verband der Naturtextilwirtschaft (IVN).'] Prediction: ['Der Internationalen Verband der Naturtextilwirtschaft (IVN) hat nun einen neuen Entscheid entwickelt.\nDer Entscheid entstand mit der Bestseller-BEST und der Naturleder IVN.'] Label: [['IVN zertifiziert BEST“ und „Naturleder IVN zertifiziert“ vom Internationalen Verband der Naturtextilwirtschaft (IVN).Die']] Sacrebleu: {'score': 24.04817938984654, 'counts': [10, 6, 5, 4], 'totals': [26, 25, 24, 23], 'precisions': [38.46153846153846, 24.0, 20.833333333333332, 17.391304347826086], 'bp': 1.0, 'sys_len': 26, 'ref_len': 17} Bleu: {'bleu': 0.24048179389846544, 'precisions': [0.38461538461538464, 0.24, 0.20833333333333334, 0.17391304347826086], 'brevity_penalty': 1.0, 'length_ratio': 1.5294117647058822, 'translation_length': 26, 'reference_length': 17} Rouge: {'rouge1': 0.4864864864864865, 'rouge2': 0.3428571428571428, 'rougeL': 0.27027027027027023, 'rougeLsum': 0.4324324324324324} Sari: {'sari': 19.479694711892854} Flesh Reading Ease: 46.15 ---------------------------------------- Source: ['Sie versprechen strengste Anforderungen weltweit an nachhaltig produzierte Textilien und Lederwaren. Hier geht es um die gesamte Produktionskette.'] Prediction: ['Die gesamte Produktionskette versprechen strengste Anforderungen weltweit an nachhaltig produzierte Textilien und Lederwaren.\nHier geht es um die gesamte Produktionskette.'] Label: [['strengen Anforderungen der Siegel an nachhaltig produzierte Textilien und Lederwaren umfassen die gesamte Produktion.']] Sacrebleu: {'score': 25.306188056493337, 'counts': [10, 6, 4, 3], 'totals': [22, 21, 20, 19], 'precisions': [45.45454545454545, 28.571428571428573, 20.0, 15.789473684210526], 'bp': 1.0, 'sys_len': 22, 'ref_len': 15} Bleu: {'bleu': 0.25306188056493334, 'precisions': [0.45454545454545453, 0.2857142857142857, 0.2, 0.15789473684210525], 'brevity_penalty': 1.0, 'length_ratio': 1.4666666666666666, 'translation_length': 22, 'reference_length': 15} Rouge: {'rouge1': 0.5294117647058824, 'rouge2': 0.37499999999999994, 'rougeL': 0.5294117647058824, 'rougeLsum': 0.5294117647058824} Sari: {'sari': 49.06375787954735} Flesh Reading Ease: 12.05 ---------------------------------------- Source: ['Sie beginnt bei den Naturfasern bis zum fertigen Produkt und umfasst Umweltstandards, verbietet gefährliche Chemikalien und sorgt für faire Sozialstandards.'] Prediction: ['Die Chemikalien-Pflicht ist eine neue Art.\nSie werden bis zum fertigen Produkt und umfasst Umweltstandards.'] Label: [['Sie beginnt bei den Naturfasern bis zum fertigen Produkt.\nDazu gehören auch Umweltstandards und Sozialstandards.\nGefährliche Chemikalien sind verboten.']] Sacrebleu: {'score': 13.066754124624545, 'counts': [9, 3, 2, 1], 'totals': [17, 16, 15, 14], 'precisions': [52.94117647058823, 18.75, 13.333333333333334, 7.142857142857143], 'bp': 0.7451888170134805, 'sys_len': 17, 'ref_len': 22} Bleu: {'bleu': 0.13066754124624547, 'precisions': [0.5294117647058824, 0.1875, 0.13333333333333333, 0.07142857142857142], 'brevity_penalty': 0.7451888170134805, 'length_ratio': 0.7727272727272727, 'translation_length': 17, 'reference_length': 22} Rouge: {'rouge1': 0.4324324324324324, 'rouge2': 0.17142857142857143, 'rougeL': 0.3243243243243243, 'rougeLsum': 0.37837837837837834} Sari: {'sari': 31.885683760683765} Flesh Reading Ease: 61.35 ---------------------------------------- Source: ['Ein beliebter Badeort mit vielen Stränden und Wassersport ist Deutschlands größter See, der Bodensee, ganz im Süden.'] Prediction: ['Deutschlands ist ein beliebter Badeort.\nIm Süden ist ein beliebter See.'] Label: [['Ein beliebter Badeort mit vielen Stränden und Wassersport ist Deutschlands größter See, der Bodensee, ganz im Süden.2016']] Sacrebleu: {'score': 4.566826891072776, 'counts': [7, 1, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [53.84615384615385, 8.333333333333334, 4.545454545454546, 2.5], 'bp': 0.5404329964865341, 'sys_len': 13, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.5384615384615384, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 0.5404329964865341, 'length_ratio': 0.6190476190476191, 'translation_length': 13, 'reference_length': 21} Rouge: {'rouge1': 0.5454545454545454, 'rouge2': 0.25806451612903225, 'rougeL': 0.36363636363636365, 'rougeLsum': 0.24242424242424246} Sari: {'sari': 8.322334048286862} Flesh Reading Ease: 69.2 ---------------------------------------- Source: ['2016 gab es in Deutschland 2.292 Badegewässer, die meisten sind Seen.'] Prediction: ['In Deutschland gab es 2.292 Badegewässer.\nDie meisten sind Seen.'] Label: [['gab es in Deutschland 2.292 Badegewässer, die meisten sind Seen.']] Sacrebleu: {'score': 29.50234363196403, 'counts': [9, 5, 2, 1], 'totals': [12, 11, 10, 9], 'precisions': [75.0, 45.45454545454545, 20.0, 11.11111111111111], 'bp': 1.0, 'sys_len': 12, 'ref_len': 12} Bleu: {'bleu': 0.29502343631964045, 'precisions': [0.75, 0.45454545454545453, 0.2, 0.1111111111111111], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 12, 'reference_length': 12} Rouge: {'rouge1': 1.0, 'rouge2': 0.8181818181818182, 'rougeL': 0.8333333333333334, 'rougeLsum': 0.8333333333333334} Sari: {'sari': 37.57895285069199} Flesh Reading Ease: 75.55 ---------------------------------------- Source: ['Sie werden nach einer in ganz Europa gültigen Richtlinie überwacht.'] Prediction: ['Die Schweizer Nati-Spielerin Andrea ist in Spanien auf der Kippe.\nSie wird in Spanien überwacht.'] Label: [['Sie werden überwacht, dazu gibt es eine europäische Richtlinie.']] Sacrebleu: {'score': 3.0098043843528286, 'counts': [3, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [17.647058823529413, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5454545454545454, 'translation_length': 17, 'reference_length': 11} Rouge: {'rouge1': 0.15384615384615385, 'rouge2': 0.0, 'rougeL': 0.15384615384615385, 'rougeLsum': 0.15384615384615385} Sari: {'sari': 52.24867724867725} Flesh Reading Ease: 67.2 ---------------------------------------- Source: ['Die Untersuchungen achten dabei vor allem auf zwei Darmbakterien, die krank machen.'] Prediction: ['In den USA wurden mehrere Personen verhaftet.\nDie Untersuchungen achten auf zwei Darmbakterien.'] Label: [['Die Untersuchungen achten dabei vor allem auf Darmbakterien, die krank machen.']] Sacrebleu: {'score': 11.633270842295033, 'counts': [6, 2, 1, 0], 'totals': [15, 14, 13, 12], 'precisions': [40.0, 14.285714285714286, 7.6923076923076925, 4.166666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.4, 0.14285714285714285, 0.07692307692307693, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1538461538461537, 'translation_length': 15, 'reference_length': 13} Rouge: {'rouge1': 0.41666666666666663, 'rouge2': 0.1818181818181818, 'rougeL': 0.41666666666666663, 'rougeLsum': 0.41666666666666663} Sari: {'sari': 13.434343434343434} Flesh Reading Ease: 44.8 ---------------------------------------- Source: ['Fast alle geprüften Badegewässer – 98 Prozent – erfüllen die Anforderungen der EU-Richtlinie.'] Prediction: ['Einige Badegewässer erfüllen die Anforderungen der EU-Richtlinie.\nFast alle geprüften Badegewässer erfüllen die Anforderungen der EU-Richtlinie.'] Label: [['Fast alle geprüften Badegewässer – 98 Prozent – erfüllen die EU-Richtlinie.']] Sacrebleu: {'score': 18.16725573641283, 'counts': [8, 5, 2, 1], 'totals': [18, 17, 16, 15], 'precisions': [44.44444444444444, 29.41176470588235, 12.5, 6.666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 12} Bleu: {'bleu': 0.1816725573641283, 'precisions': [0.4444444444444444, 0.29411764705882354, 0.125, 0.06666666666666667], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 18, 'reference_length': 12} Rouge: {'rouge1': 0.6111111111111112, 'rouge2': 0.4705882352941177, 'rougeL': 0.6111111111111112, 'rougeLsum': 0.6111111111111112} Sari: {'sari': 15.776815776815777} Flesh Reading Ease: 2.35 ---------------------------------------- Source: ['Im nordöstlichen Bundesland Mecklenburg-Vorpommern, wo es sehr viele Seen gibt, sind die Bedingungen für die Umwelt besonders gut.'] Prediction: ['Im nordöstlichen Bundesland Mecklenburg-Vorpommern sind die Bedingungen für die Umwelt besonders gut.\nIm nordöstlichen Bundesland Mecklenburg-Vorpommern sind die Bedingungen für die Umwelt besonders gut.'] Label: [['Im Bundesland Mecklenburg-Vorpommern im Nord-Osten gibt es sehr viele Seen.\nHier sind die Bedingungen für die Umwelt besonders gut.']] Sacrebleu: {'score': 34.20941751050785, 'counts': [13, 9, 7, 6], 'totals': [26, 25, 24, 23], 'precisions': [50.0, 36.0, 29.166666666666668, 26.08695652173913], 'bp': 1.0, 'sys_len': 26, 'ref_len': 21} Bleu: {'bleu': 0.3420941751050785, 'precisions': [0.5, 0.36, 0.2916666666666667, 0.2608695652173913], 'brevity_penalty': 1.0, 'length_ratio': 1.2380952380952381, 'translation_length': 26, 'reference_length': 21} Rouge: {'rouge1': 0.576923076923077, 'rouge2': 0.44, 'rougeL': 0.576923076923077, 'rougeLsum': 0.5} Sari: {'sari': 48.97153561346389} Flesh Reading Ease: 33.45 ---------------------------------------- Source: ['Es sind die Düngemittel, die Sorgen bereiten.'] Prediction: ['Die Schweizer Welt ist eine grosser Welt.\nDie Welt ist eine grosser Welt.'] Label: [['Hier macht der Stickstoff aus Düngemitteln Probleme.']] Sacrebleu: {'score': 2.627961710408444, 'counts': [1, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [6.666666666666667, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.875, 'translation_length': 15, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 63.888888888888886} Flesh Reading Ease: 91.6 ---------------------------------------- Source: ['Die Stickstoffe führen zu einem starken Wachstum von Algen.'] Prediction: ['In der Nacht auf Sonntag fand in der Nacht auf Sonntag eine Stickstoffe statt.\nDie Stickstoffe führen zu einem starken Wachstum von Algen.'] Label: [['Das führt zu einem starken Wachstum von Algen.']] Sacrebleu: {'score': 22.93476949918813, 'counts': [7, 6, 5, 4], 'totals': [25, 24, 23, 22], 'precisions': [28.0, 25.0, 21.73913043478261, 18.181818181818183], 'bp': 1.0, 'sys_len': 25, 'ref_len': 9} Bleu: {'bleu': 0.22934769499188126, 'precisions': [0.28, 0.25, 0.21739130434782608, 0.18181818181818182], 'brevity_penalty': 1.0, 'length_ratio': 2.7777777777777777, 'translation_length': 25, 'reference_length': 9} Rouge: {'rouge1': 0.42424242424242425, 'rouge2': 0.3225806451612903, 'rougeL': 0.42424242424242425, 'rougeLsum': 0.42424242424242425} Sari: {'sari': 59.333607568901684} Flesh Reading Ease: 80.75 ---------------------------------------- Source: ['Diese nehmen den Wasserlebewesen den Sauerstoff.'] Prediction: ['Die Wasserlebewesen in den Schweizer Stadt Zürich sind neu geschlossen.\nDie Wasserlebewesen nehmen den Sauerstoff.'] Label: [['Dadurch haben die Lebewesen im Wasser nicht genug Sauerstoff.']] Sacrebleu: {'score': 4.5739135561238005, 'counts': [2, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 1.0, 'sys_len': 17, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0625, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7, 'translation_length': 17, 'reference_length': 10} Rouge: {'rouge1': 0.16, 'rouge2': 0.0, 'rougeL': 0.16, 'rougeLsum': 0.16} Sari: {'sari': 51.63690476190476} Flesh Reading Ease: 49.65 ---------------------------------------- Source: ['Im Jahr 2016 waren über 53,4 Millionen deutsche Urlauber insgesamt 1,7 Milliarden Reisetage unterwegs.'] Prediction: ['Der deutsche Urlauber hat über 53,4 Millionen deutsche Urlauber insgesamt 1,7 Milliarden Reisetage unterwegs.\n2016 waren über 53,4 Millionen deutsche Urlauber insgesamt 1,7 Milliarden Reisetage unterwegs.'] Label: [['Im Jahr 2016 waren 53,4 Millionen deutsche Urlauber insgesamt 1,7 Milliarden Reisetage unterwegs.']] Sacrebleu: {'score': 34.1966473855168, 'counts': [12, 10, 8, 7], 'totals': [28, 27, 26, 25], 'precisions': [42.857142857142854, 37.03703703703704, 30.76923076923077, 28.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 14} Bleu: {'bleu': 0.3419664738551679, 'precisions': [0.42857142857142855, 0.37037037037037035, 0.3076923076923077, 0.28], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 28, 'reference_length': 14} Rouge: {'rouge1': 0.5777777777777778, 'rouge2': 0.5116279069767441, 'rougeL': 0.5777777777777778, 'rougeLsum': 0.5777777777777778} Sari: {'sari': 31.349206349206348} Flesh Reading Ease: 26.6 ---------------------------------------- Source: ['Dazu gehören Kurzreisen und Städtereisen, Sonnen- und Badeurlaube und auch Schiffsreisen.'] Prediction: ['Im Jahr 2020 werden die Schweizer Kantonsraten in den meisten Schweizer Kantonen beschlossen.\nKurzreisen und Badeurlaube gehören Kurzreisen und Städtereisen.'] Label: [['Dazu gehören Kurzreisen in Städte, Badeurlaube und Schiffsreisen.']] Sacrebleu: {'score': 4.546308713404575, 'counts': [6, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [27.272727272727273, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.2727272727272727, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2, 'translation_length': 22, 'reference_length': 10} Rouge: {'rouge1': 0.4375, 'rouge2': 0.13333333333333333, 'rougeL': 0.25000000000000006, 'rougeLsum': 0.3125} Sari: {'sari': 32.68247955747955} Flesh Reading Ease: 41.3 ---------------------------------------- Source: ['über 70 Prozent dieser Reisen fanden mit dem Auto oder Wohnmobil statt.'] Prediction: ['70 Prozent der Schweizer Schweizer Reisen fanden mit dem Auto oder Wohnmobil statt.\nDie Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer Schweizer verzeichneten mit dem Auto oder Wohnmobil.'] Label: [['Weit über 70 Prozent dieser Reisen fanden mit dem Auto oder Wohnmobil statt.']] Sacrebleu: {'score': 23.287896954139942, 'counts': [11, 9, 7, 6], 'totals': [36, 35, 34, 33], 'precisions': [30.555555555555557, 25.714285714285715, 20.58823529411765, 18.181818181818183], 'bp': 1.0, 'sys_len': 36, 'ref_len': 14} Bleu: {'bleu': 0.23287896954139942, 'precisions': [0.3055555555555556, 0.2571428571428571, 0.20588235294117646, 0.18181818181818182], 'brevity_penalty': 1.0, 'length_ratio': 2.5714285714285716, 'translation_length': 36, 'reference_length': 14} Rouge: {'rouge1': 0.4255319148936171, 'rouge2': 0.3555555555555555, 'rougeL': 0.4255319148936171, 'rougeLsum': 0.4255319148936171} Sari: {'sari': 27.513227513227513} Flesh Reading Ease: 57.7 ---------------------------------------- Source: ['Bei Auslandsreisen nehmen 55 Prozent das Flugzeug.'] Prediction: ['Bei Auslandsreisen nehmen 55 Prozent das Flugzeug.\n55 Prozent nehmen das Flugzeug.'] Label: [['Bei Reisen ins Ausland fliegen 55 Prozent mit dem Flugzeug.']] Sacrebleu: {'score': 8.493098745313148, 'counts': [5, 2, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [35.714285714285715, 15.384615384615385, 4.166666666666667, 2.272727272727273], 'bp': 1.0, 'sys_len': 14, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.35714285714285715, 0.15384615384615385, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2727272727272727, 'translation_length': 14, 'reference_length': 11} Rouge: {'rouge1': 0.3636363636363636, 'rouge2': 0.09999999999999999, 'rougeL': 0.3636363636363636, 'rougeLsum': 0.3636363636363636} Sari: {'sari': 43.44729344729345} Flesh Reading Ease: 68.7 ---------------------------------------- Source: ['Pro Person und pro Kilometer stößt ein Flugzeug 211 Gramm klimaschädliches Kohlendioxid aus.'] Prediction: ['Im Flugzeug mit klimaschädlichen Kohlendioxid kostet ein Flugzeug mit.\nImmer mehr Kohlendioxid-Probleme ist es zu mehr als einem Pro Tag.'] Label: [['Pro Person und pro Kilometer produziert ein Flugzeug 211 Gramm Kohlendioxid.\nDas schadet dem Klima.']] Sacrebleu: {'score': 4.546308713404575, 'counts': [6, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [27.272727272727273, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.2727272727272727, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2941176470588236, 'translation_length': 22, 'reference_length': 17} Rouge: {'rouge1': 0.21621621621621623, 'rouge2': 0.057142857142857134, 'rougeL': 0.16216216216216214, 'rougeLsum': 0.16216216216216214} Sari: {'sari': 25.15782828282828} Flesh Reading Ease: 58.85 ---------------------------------------- Source: ['Zum Vergleich: Ein Pkw produziert 142 Gramm, die Bahn im Fernverkehr 41 Gramm.'] Prediction: ['Ein Pkw produziert 142 Gramm, die Bahn im Fernverkehr 41 Gramm.\nDie Schweizer Grenze hat einen Vergleich zum Vergleich.'] Label: [['Zum Vergleich: Ein Pkw produziert 142 Gramm, die Bahn 41 Gramm.']] Sacrebleu: {'score': 38.305978177479744, 'counts': [12, 9, 7, 5], 'totals': [22, 21, 20, 19], 'precisions': [54.54545454545455, 42.857142857142854, 35.0, 26.31578947368421], 'bp': 1.0, 'sys_len': 22, 'ref_len': 14} Bleu: {'bleu': 0.38305978177479755, 'precisions': [0.5454545454545454, 0.42857142857142855, 0.35, 0.2631578947368421], 'brevity_penalty': 1.0, 'length_ratio': 1.5714285714285714, 'translation_length': 22, 'reference_length': 14} Rouge: {'rouge1': 0.7333333333333334, 'rouge2': 0.5714285714285714, 'rougeL': 0.6, 'rougeLsum': 0.7333333333333334} Sari: {'sari': 24.28042328042328} Flesh Reading Ease: 88.6 ---------------------------------------- Source: ['Nach NABU-Informationen stoßen Kreuzfahrtschiffe täglich rund 450 Kilogramm Rußpartikel, 5.250 Kilogramm Stickoxide und 7.500 Kilogramm Schwefeldioxide aus.'] Prediction: ['In den USA wurden rund 450 Kilogramm Rußpartikel, 5.250 Kilogramm Stickoxide und 7.500 Kilogramm Schwefeldioxide ausgegeben.\nDie Kreuzfahrtschiffe in den USA wurden nun rund 450 Kilogramm Rußpartikel, 5.250 Kilogramm Stickoxide und 7.500 Kilogramm Schwefeldioxide ausgegeben.'] Label: [['Nach NABU-Informationen stoßen Kreuzfahrtschiffe rund 450 Kilogramm Rußpartikel aus.\nDazu kommen 5.250 Kilogramm Stickoxide und 7.500 Kilogramm Schwefeldioxide – jeden Tag.']] Sacrebleu: {'score': 21.74060073159203, 'counts': [14, 9, 7, 5], 'totals': [39, 38, 37, 36], 'precisions': [35.8974358974359, 23.68421052631579, 18.91891891891892, 13.88888888888889], 'bp': 1.0, 'sys_len': 39, 'ref_len': 23} Bleu: {'bleu': 0.21740600731592022, 'precisions': [0.358974358974359, 0.23684210526315788, 0.1891891891891892, 0.1388888888888889], 'brevity_penalty': 1.0, 'length_ratio': 1.6956521739130435, 'translation_length': 39, 'reference_length': 23} Rouge: {'rouge1': 0.4545454545454546, 'rouge2': 0.37499999999999994, 'rougeL': 0.4545454545454546, 'rougeLsum': 0.4545454545454546} Sari: {'sari': 43.22773344926944} Flesh Reading Ease: 45.5 ---------------------------------------- Source: ['Das Problem ist, dass Passagierschiffe meist keine Filteranlagen haben und die Umwelt erheblich belasten.'] Prediction: ['Passagierschiffe meist keine Filteranlagen.\nDas Problem ist, dass Passagierschiffe meist keine Filteranlagen haben.'] Label: [['Das Problem ist, dass Passagierschiffe meist keine Filteranlagen haben.']] Sacrebleu: {'score': 65.25452579142082, 'counts': [11, 10, 9, 8], 'totals': [16, 15, 14, 13], 'precisions': [68.75, 66.66666666666667, 64.28571428571429, 61.53846153846154], 'bp': 1.0, 'sys_len': 16, 'ref_len': 11} Bleu: {'bleu': 0.6525452579142078, 'precisions': [0.6875, 0.6666666666666666, 0.6428571428571429, 0.6153846153846154], 'brevity_penalty': 1.0, 'length_ratio': 1.4545454545454546, 'translation_length': 16, 'reference_length': 11} Rouge: {'rouge1': 0.8181818181818181, 'rouge2': 0.8, 'rougeL': 0.8181818181818181, 'rougeLsum': 0.8181818181818181} Sari: {'sari': 85.27777777777779} Flesh Reading Ease: 27.25 ---------------------------------------- Source: ['Das Umweltbundesamt appelliert an das Bewusstsein der Reisenden: Gibt es eine Alternative zum Flugzeug oder zum Auto?'] Prediction: ['Umweltbundesamt appelliert an das Bewusstsein der Reisenden: Gibt es eine Alternative zum Flugzeug oder zum Auto?'] Label: [['Das Umweltbundesamt appelliert: Gibt es eine Alternative zum Flugzeug oder zum Auto?']] Sacrebleu: {'score': 61.19049499906029, 'counts': [13, 11, 9, 8], 'totals': [18, 17, 16, 15], 'precisions': [72.22222222222223, 64.70588235294117, 56.25, 53.333333333333336], 'bp': 1.0, 'sys_len': 18, 'ref_len': 14} Bleu: {'bleu': 0.611904949990603, 'precisions': [0.7222222222222222, 0.6470588235294118, 0.5625, 0.5333333333333333], 'brevity_penalty': 1.0, 'length_ratio': 1.2857142857142858, 'translation_length': 18, 'reference_length': 14} Rouge: {'rouge1': 0.8571428571428571, 'rouge2': 0.6923076923076923, 'rougeL': 0.7857142857142857, 'rougeLsum': 0.7857142857142857} Sari: {'sari': 41.77706018785479} Flesh Reading Ease: 41.15 ---------------------------------------- Source: ['Einige Reiseanbieter bieten inzwischen umweltfreundliche Reisen an.'] Prediction: ['In der Schweiz sind inzwischen umweltfreundliche Reisen geschlossen.\nEinige Reiseanbieter bieten inzwischen umweltfreundliche Reisen an.'] Label: [['Einige Reiseanbieter bieten umweltfreundliche Reisen an.']] Sacrebleu: {'score': 20.706193828327603, 'counts': [7, 5, 3, 1], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 31.25, 20.0, 7.142857142857143], 'bp': 1.0, 'sys_len': 17, 'ref_len': 7} Bleu: {'bleu': 0.207061938283276, 'precisions': [0.4117647058823529, 0.3125, 0.2, 0.07142857142857142], 'brevity_penalty': 1.0, 'length_ratio': 2.4285714285714284, 'translation_length': 17, 'reference_length': 7} Rouge: {'rouge1': 0.5714285714285715, 'rouge2': 0.4210526315789473, 'rougeL': 0.5714285714285715, 'rougeLsum': 0.5714285714285715} Sari: {'sari': 56.388888888888886} Flesh Reading Ease: 26.25 ---------------------------------------- Source: ['Der Brasilianer Claudemir Jeronimo Baretto – besser bekannt als Cacau – spielte für Deutschland 281 Mal in der Bundesliga und 22 Mal in der deutschen Nationalmannschaft.'] Prediction: ['Der Brasilianer Claudemir Jeronimo Baretto spielte für Deutschland 281 Mal in der Bundesliga und 22 Mal in der deutschen Nationalmannschaft.\nDer Brasilianer Claudemir Jeronimo Baretto spielte für Deutschland 281 Mal in der Bundesliga und 22 Mal in der deutschen Nationalmannschaft.'] Label: [['Der Brasilianer Claudemir Jeronimo Baretto – besser bekannt als Cacau – spielte für Deutschland 281 Mal in der Bundesliga Fußball.\n22 Mal spielte er in der deutschen Nationalmannschaft.']] Sacrebleu: {'score': 34.49071268844682, 'counts': [22, 16, 12, 9], 'totals': [42, 41, 40, 39], 'precisions': [52.38095238095238, 39.02439024390244, 30.0, 23.076923076923077], 'bp': 1.0, 'sys_len': 42, 'ref_len': 30} Bleu: {'bleu': 0.34490712688446806, 'precisions': [0.5238095238095238, 0.3902439024390244, 0.3, 0.23076923076923078], 'brevity_penalty': 1.0, 'length_ratio': 1.4, 'translation_length': 42, 'reference_length': 30} Rouge: {'rouge1': 0.6, 'rouge2': 0.47058823529411764, 'rougeL': 0.6, 'rougeLsum': 0.5714285714285714} Sari: {'sari': 23.436272197561223} Flesh Reading Ease: 31.3 ---------------------------------------- Source: ['Seine Aufgabe: Menschen mit Migrationshintergrund in Deutschland noch besser zu integrieren.'] Prediction: ['Migrationshintergrund in Deutschland ist besser zu integrieren.\nDie Aufgabe: Menschen mit Migrationshintergrund in Deutschland noch besser zu integrieren.'] Label: [['Seine Aufgabe: Integration von Menschen mit Migrationshintergrund in Deutschland.']] Sacrebleu: {'score': 20.217803037339237, 'counts': [8, 5, 3, 2], 'totals': [21, 20, 19, 18], 'precisions': [38.095238095238095, 25.0, 15.789473684210526, 11.11111111111111], 'bp': 1.0, 'sys_len': 21, 'ref_len': 11} Bleu: {'bleu': 0.20217803037339238, 'precisions': [0.38095238095238093, 0.25, 0.15789473684210525, 0.1111111111111111], 'brevity_penalty': 1.0, 'length_ratio': 1.9090909090909092, 'translation_length': 21, 'reference_length': 11} Rouge: {'rouge1': 0.4444444444444444, 'rouge2': 0.31999999999999995, 'rougeL': 0.4444444444444444, 'rougeLsum': 0.4444444444444444} Sari: {'sari': 26.186232068585007} Flesh Reading Ease: 24.75 ---------------------------------------- Source: ['Und dabei hilft der Fußball.'] Prediction: ['Die Corona-Pandemie hat einen neuen Corona-Jahr.\nDer Mann hilft der Fußball.'] Label: [['Dabei hilft der Fußball.']] Sacrebleu: {'score': 19.338531381761726, 'counts': [4, 3, 2, 1], 'totals': [13, 12, 11, 10], 'precisions': [30.76923076923077, 25.0, 18.181818181818183, 10.0], 'bp': 1.0, 'sys_len': 13, 'ref_len': 5} Bleu: {'bleu': 0.19338531381761725, 'precisions': [0.3076923076923077, 0.25, 0.18181818181818182, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 2.6, 'translation_length': 13, 'reference_length': 5} Rouge: {'rouge1': 0.4210526315789473, 'rouge2': 0.3529411764705882, 'rougeL': 0.4210526315789473, 'rougeLsum': 0.4210526315789473} Sari: {'sari': 43.43915343915343} Flesh Reading Ease: 63.35 ---------------------------------------- Source: ['Davon haben 2,1 Millionen einen Migrationshintergrund.'] Prediction: ['Davon haben 2,1 Millionen Menschen einen Migrationshintergrund.\nDie Migrationshintergrund ist gross.'] Label: [['2,1 Millionen haben einen Migrationshintergrund.']] Sacrebleu: {'score': 15.133218633429316, 'counts': [6, 3, 1, 0], 'totals': [13, 12, 11, 10], 'precisions': [46.15384615384615, 25.0, 9.090909090909092, 5.0], 'bp': 1.0, 'sys_len': 13, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.46153846153846156, 0.25, 0.09090909090909091, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1666666666666665, 'translation_length': 13, 'reference_length': 6} Rouge: {'rouge1': 0.6666666666666666, 'rouge2': 0.37499999999999994, 'rougeL': 0.5555555555555556, 'rougeLsum': 0.5555555555555556} Sari: {'sari': 51.4423076923077} Flesh Reading Ease: 22.4 ---------------------------------------- Source: ['Im Jahr 2016 haben ungefähr 40.000 Ausländer eine Spielberechtigung beantragt.'] Prediction: ['40.000 Ausländer haben eine Spielberechtigung beantragt.\nDie Schweiz hatte ungefähr 40.000 Ausländer eine Spielberechtigung beantragt.'] Label: [['Im Jahr 2016 haben ungefähr 40.000 Ausländer eine Spielerlaubnis beantragt.']] Sacrebleu: {'score': 17.694975149532556, 'counts': [7, 4, 2, 1], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 25.0, 13.333333333333334, 7.142857142857143], 'bp': 1.0, 'sys_len': 17, 'ref_len': 11} Bleu: {'bleu': 0.17694975149532557, 'precisions': [0.4117647058823529, 0.25, 0.13333333333333333, 0.07142857142857142], 'brevity_penalty': 1.0, 'length_ratio': 1.5454545454545454, 'translation_length': 17, 'reference_length': 11} Rouge: {'rouge1': 0.5454545454545455, 'rouge2': 0.3870967741935484, 'rougeL': 0.5454545454545455, 'rougeLsum': 0.4848484848484849} Sari: {'sari': 16.125541125541126} Flesh Reading Ease: 28.75 ---------------------------------------- Source: ['Für viele Flüchtlinge, besonders die Kinder, bietet sich hier eine Chance.'] Prediction: ['Eine Chance für Flüchtlinge ist nicht bekannt.\nDas ist nur ein Problem, sondern eine Chance.'] Label: [['Hier bekommen viele Flüchtlinge, besonders die Kinder, eine Chance.']] Sacrebleu: {'score': 9.083627868206413, 'counts': [5, 2, 1, 0], 'totals': [18, 17, 16, 15], 'precisions': [27.77777777777778, 11.764705882352942, 6.25, 3.3333333333333335], 'bp': 1.0, 'sys_len': 18, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.11764705882352941, 0.0625, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 18, 'reference_length': 12} Rouge: {'rouge1': 0.29629629629629634, 'rouge2': 0.16, 'rougeL': 0.29629629629629634, 'rougeLsum': 0.29629629629629634} Sari: {'sari': 26.335943468296406} Flesh Reading Ease: 78.9 ---------------------------------------- Source: ['Fast 3.000 Vereine beteiligen sich bereits an der Kampagne „2:0 für ein Willkommen“, ein Programm der Deutschen Kinder- und Jugendstiftung.'] Prediction: ['Die Deutschen Kinder und Jugendstiftung hat einen Kampagnen von 2:0 für ein Willkommen gesorgt.\nFast 3.000 Vereine beteiligen sich bereits an der Kampagne "2:0 für ein Willkommen".'] Label: [['Fast 3.000 Vereine beteiligen sich schon an der Kampagne „2:0 für ein Willkommen“.\nDas ist ein Programm der Deutschen Kinder- und Jugendstiftung.']] Sacrebleu: {'score': 22.53375316053058, 'counts': [18, 10, 6, 3], 'totals': [35, 34, 33, 32], 'precisions': [51.42857142857143, 29.41176470588235, 18.181818181818183, 9.375], 'bp': 1.0, 'sys_len': 35, 'ref_len': 26} Bleu: {'bleu': 0.22533753160530579, 'precisions': [0.5142857142857142, 0.29411764705882354, 0.18181818181818182, 0.09375], 'brevity_penalty': 1.0, 'length_ratio': 1.3461538461538463, 'translation_length': 35, 'reference_length': 26} Rouge: {'rouge1': 0.7017543859649122, 'rouge2': 0.5818181818181819, 'rougeL': 0.5263157894736842, 'rougeLsum': 0.7017543859649122} Sari: {'sari': 26.156696685406867} Flesh Reading Ease: 67.05 ---------------------------------------- Source: ['Hier kooperiert ein Verein der Bundesliga oder 2. Bundesliga mit lokalen Bildungsträgern, Initiativen oder auch Amateurvereinen.'] Prediction: ['Die Bundesliga ist ein internationales Team.\nDie Schweizer hält mit lokalen Bildungsträgern, Initiativen oder auch Amateurvereinen.'] Label: [['Hier kooperiert ein Verein der Bundesliga oder 2.\nBundesliga mit Partnern wie Bildungsträgern oder Amateurvereinen.']] Sacrebleu: {'score': 5.7259987315337755, 'counts': [8, 1, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [42.10526315789474, 5.555555555555555, 2.9411764705882355, 1.5625], 'bp': 1.0, 'sys_len': 19, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.42105263157894735, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1176470588235294, 'translation_length': 19, 'reference_length': 17} Rouge: {'rouge1': 0.411764705882353, 'rouge2': 0.0625, 'rougeL': 0.35294117647058826, 'rougeLsum': 0.411764705882353} Sari: {'sari': 8.213116989364604} Flesh Reading Ease: 31.6 ---------------------------------------- Source: ['Es gibt Trainingsangebote oder regelmäßige Fußballturniere.'] Prediction: ['Die Schweiz ist ein grosser Formel-1-Wettbewerb.\nDie Schweiz ist ein grosser Formel-1-Wettbewerb.'] Label: [['Es gibt Fußballtraining oder regelmäßige Fußballturniere.']] Sacrebleu: {'score': 2.1476912089159055, 'counts': [1, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [5.555555555555555, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.05555555555555555, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5714285714285716, 'translation_length': 18, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 17.797619047619047} Flesh Reading Ease: 74.55 ---------------------------------------- Source: ['Seit Herbst 2015 können Kinder von Flüchtlingen zwischen acht und 14 Jahren an einem wöchentlichen Training teilnehmen.'] Prediction: ['Füchtlinge können sich in den USA an einem Training teilnehmen.\nDie Tiere können sich zwischen acht und 14 Jahren an einem wöchentlichen Training teilnehmen.'] Label: [['Seit Herbst 2015 können Kinder von Flüchtlingen zwischen acht und 14 Jahren jede Woche an einem Training teilnehmen.']] Sacrebleu: {'score': 27.698762715990963, 'counts': [11, 8, 6, 4], 'totals': [26, 25, 24, 23], 'precisions': [42.30769230769231, 32.0, 25.0, 17.391304347826086], 'bp': 1.0, 'sys_len': 26, 'ref_len': 19} Bleu: {'bleu': 0.27698762715990977, 'precisions': [0.4230769230769231, 0.32, 0.25, 0.17391304347826086], 'brevity_penalty': 1.0, 'length_ratio': 1.368421052631579, 'translation_length': 26, 'reference_length': 19} Rouge: {'rouge1': 0.45833333333333337, 'rouge2': 0.34782608695652173, 'rougeL': 0.45833333333333337, 'rougeLsum': 0.45833333333333337} Sari: {'sari': 20.769997131558995} Flesh Reading Ease: 62.7 ---------------------------------------- Source: ['Sie kicken gemeinsam mit Kindern eines Partnervereins des 1. FC Köln.'] Prediction: ['Die Schweizerin Stefanie (23) ist mit ihrem Partner eines 1.\nFC Köln.\nSie war mit Kindern eines Partnervereins.'] Label: [['Sie spielen gemeinsam mit Kindern eines Partnervereins des 1.\nFC Köln.']] Sacrebleu: {'score': 26.512298021756184, 'counts': [10, 7, 5, 3], 'totals': [23, 22, 21, 20], 'precisions': [43.47826086956522, 31.818181818181817, 23.80952380952381, 15.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 13} Bleu: {'bleu': 0.26512298021756175, 'precisions': [0.43478260869565216, 0.3181818181818182, 0.23809523809523808, 0.15], 'brevity_penalty': 1.0, 'length_ratio': 1.7692307692307692, 'translation_length': 23, 'reference_length': 13} Rouge: {'rouge1': 0.5806451612903226, 'rouge2': 0.41379310344827586, 'rougeL': 0.3870967741935484, 'rougeLsum': 0.5806451612903226} Sari: {'sari': 36.20617944147356} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Bei der Initiative engagieren sich auch 180 deutsche Unternehmen für eine Integration von Flüchtlingen in den deutschen Arbeitsmarkt.'] Prediction: ['Aufgrund einer internationalen Flüchtlinge-Strategie in den deutschen Arbeitsmarkt werden 180 deutsche Unternehmen eine Initiative entwickelt.\nSie sind für eine Integration von Flüchtlingen in den deutschen Arbeitsmarkt.'] Label: [['Es beteiligen sich auch 180 deutsche Unternehmen.\nSie engagieren sich für die Integration von Flüchtlingen in den deutschen Arbeitsmarkt.']] Sacrebleu: {'score': 31.600229153053032, 'counts': [14, 10, 7, 5], 'totals': [28, 27, 26, 25], 'precisions': [50.0, 37.03703703703704, 26.923076923076923, 20.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 21} Bleu: {'bleu': 0.31600229153053044, 'precisions': [0.5, 0.37037037037037035, 0.2692307692307692, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 28, 'reference_length': 21} Rouge: {'rouge1': 0.5490196078431373, 'rouge2': 0.40816326530612246, 'rougeL': 0.5490196078431373, 'rougeLsum': 0.5490196078431373} Sari: {'sari': 48.861412547694414} Flesh Reading Ease: 26.6 ---------------------------------------- Source: ['Besonders lange und vielseitig frühstücken die Deutschen am Wochenende – sie lieben ihr „Sonntagsfrühstück“.'] Prediction: ['Am Wochenende wurde die deutsche Staatskanal in Deutschland veröffentlicht.\nDas ist der erste Mal, dass sie sich in der Nacht auf Sonntag entscheidet.'] Label: [['Besonders lange frühstücken die Deutschen am Wochenende.\nSie lieben ihr „Sonntagsfrühstück“.']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 26, 'reference_length': 13} Rouge: {'rouge1': 0.2051282051282051, 'rouge2': 0.05405405405405405, 'rougeL': 0.15384615384615385, 'rougeLsum': 0.15384615384615385} Sari: {'sari': 22.316490698843637} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['69 Prozent der Deutschen wünschen sich bei einem ausgiebigen Sonntagsfrühstück ein Ei.'] Prediction: ['69 Prozent der Deutschen wünschen sich bei einem ausgiebigen Sonntagsfrühstück ein Ei.\nIm Interview mit mehreren Medien verrät, dass es 70 Prozent der Deutschen wünschen sich ein Ei.'] Label: [['69 Prozent der Deutschen wünschen sich beim Sonntagsfrühstück ein Ei.']] Sacrebleu: {'score': 22.455129433835886, 'counts': [10, 8, 6, 4], 'totals': [31, 30, 29, 28], 'precisions': [32.25806451612903, 26.666666666666668, 20.689655172413794, 14.285714285714286], 'bp': 1.0, 'sys_len': 31, 'ref_len': 11} Bleu: {'bleu': 0.2245512943383588, 'precisions': [0.3225806451612903, 0.26666666666666666, 0.20689655172413793, 0.14285714285714285], 'brevity_penalty': 1.0, 'length_ratio': 2.8181818181818183, 'translation_length': 31, 'reference_length': 11} Rouge: {'rouge1': 0.5217391304347827, 'rouge2': 0.45454545454545453, 'rougeL': 0.5217391304347827, 'rougeLsum': 0.5217391304347827} Sari: {'sari': 57.89063451467543} Flesh Reading Ease: 66.55 ---------------------------------------- Source: ['Ein Brötchen ist ein kleines Brot, es kann aus Weißmehl oder Vollkorn bestehen oder auch süß sein.'] Prediction: ['In der Nähe von Weißmehl ist ein Brötchen eingeführt.\nDas ist ein kleines Brot.'] Label: [['Ein Brötchen ist ein kleines Brot.\nEs kann aus Weißmehl oder Vollkorn bestehen oder auch süß sein.']] Sacrebleu: {'score': 21.34638973666068, 'counts': [8, 4, 3, 2], 'totals': [16, 15, 14, 13], 'precisions': [50.0, 26.666666666666668, 21.428571428571427, 15.384615384615385], 'bp': 0.8290291181804004, 'sys_len': 16, 'ref_len': 19} Bleu: {'bleu': 0.21346389736660681, 'precisions': [0.5, 0.26666666666666666, 0.21428571428571427, 0.15384615384615385], 'brevity_penalty': 0.8290291181804004, 'length_ratio': 0.8421052631578947, 'translation_length': 16, 'reference_length': 19} Rouge: {'rouge1': 0.4864864864864865, 'rouge2': 0.34285714285714286, 'rougeL': 0.37837837837837834, 'rougeLsum': 0.4864864864864865} Sari: {'sari': 21.28128815628815} Flesh Reading Ease: 91.1 ---------------------------------------- Source: ['Liest man die Statistiken, so wird Müsli immer beliebter, jedenfalls wenn man den Umsatz betrachtet:'] Prediction: ['Ein Spieler hat die Statistiken von Müsli veröffentlicht.\nDas ist der erste Spieler der Schweiz.'] Label: [['Müsli wird immer beliebter, wenn man den Umsatz betrachtet:']] Sacrebleu: {'score': 2.2869567780619007, 'counts': [1, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [5.882352941176471, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5454545454545454, 'translation_length': 17, 'reference_length': 11} Rouge: {'rouge1': 0.14814814814814817, 'rouge2': 0.08, 'rougeL': 0.14814814814814817, 'rougeLsum': 0.14814814814814817} Sari: {'sari': 20.837912087912088} Flesh Reading Ease: 73.05 ---------------------------------------- Source: ['Sieben Jahre zuvor lag der Umsatz noch bei 275 Millionen Euro.'] Prediction: ['Der Umsatz in der Schweiz ist noch bei 275 Millionen Euro.\nDie Schweizer Umsätze sind noch bei 275 Millionen Euro.'] Label: [['Sieben Jahre zuvor lag der Umsatz bei 275 Millionen Euro.']] Sacrebleu: {'score': 17.588181044237437, 'counts': [7, 4, 3, 2], 'totals': [22, 21, 20, 19], 'precisions': [31.818181818181817, 19.047619047619047, 15.0, 10.526315789473685], 'bp': 1.0, 'sys_len': 22, 'ref_len': 11} Bleu: {'bleu': 0.1758818104423743, 'precisions': [0.3181818181818182, 0.19047619047619047, 0.15, 0.10526315789473684], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 22, 'reference_length': 11} Rouge: {'rouge1': 0.3870967741935483, 'rouge2': 0.2758620689655173, 'rougeL': 0.3870967741935483, 'rougeLsum': 0.3870967741935483} Sari: {'sari': 29.019138755980862} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Erfunden wurde es vor über 100 Jahren in der Schweiz von Dr. Bircher-Benner, der eine „Apfeldiätspeise“ für seine Patienten entwickelt hat.'] Prediction: ['Eine Apfeldiätspeise für Patienten entwickelt in der Schweiz.\nEs wurde von Dr. Bircher-Benner entwickelt.\nEr wurde in der Schweiz über 100 Jahre alt.'] Label: [['Erfunden wurde es vor über 100 Jahren in der Schweiz von Dr. Bircher-Benner.\nEr erfand eine „Apfeldiätspeise“ für seine Patienten.']] Sacrebleu: {'score': 16.536955122214078, 'counts': [15, 7, 3, 1], 'totals': [27, 26, 25, 24], 'precisions': [55.55555555555556, 26.923076923076923, 12.0, 4.166666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 23} Bleu: {'bleu': 0.16536955122214075, 'precisions': [0.5555555555555556, 0.2692307692307692, 0.12, 0.041666666666666664], 'brevity_penalty': 1.0, 'length_ratio': 1.173913043478261, 'translation_length': 27, 'reference_length': 23} Rouge: {'rouge1': 0.7346938775510203, 'rouge2': 0.4255319148936171, 'rougeL': 0.32653061224489793, 'rougeLsum': 0.6122448979591837} Sari: {'sari': 29.877083808004862} Flesh Reading Ease: 72.85 ---------------------------------------- Source: ['Heute kennen die Varianten keine Grenzen, es gibt unendlich viele Fertigmischungen zu kaufen.'] Prediction: ['Die Grenzen in den Schweizer Grenzen sind unter anderem von Fertigmischungen.\nDie Schweizer Grenzen sind für die Schweizer Grenze geschlossen.'] Label: [['Heute gibt es viele Fertigmischungen zu kaufen.']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 22, 'reference_length': 8} Rouge: {'rouge1': 0.07142857142857142, 'rouge2': 0.0, 'rougeL': 0.07142857142857142, 'rougeLsum': 0.07142857142857142} Sari: {'sari': 25.872738372738375} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Aber die Zutaten sind immer Getreide wie Haferflocken. Hinzu kommen Trockenobst und Nüsse.'] Prediction: ['Die Zutaten sind immer Getreide wie Haferflocken.\nTrockenobst und Nüsse kommen aufgrund der Getreide immer Getreide.'] Label: [['Aber die Zutaten sind immer Getreide wie Haferflocken, hinzu kommen Trockenobst und Nüsse.']] Sacrebleu: {'score': 35.412968165085715, 'counts': [11, 7, 5, 3], 'totals': [18, 17, 16, 15], 'precisions': [61.111111111111114, 41.1764705882353, 31.25, 20.0], 'bp': 1.0, 'sys_len': 18, 'ref_len': 15} Bleu: {'bleu': 0.35412968165085734, 'precisions': [0.6111111111111112, 0.4117647058823529, 0.3125, 0.2], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 18, 'reference_length': 15} Rouge: {'rouge1': 0.7741935483870968, 'rouge2': 0.6206896551724138, 'rougeL': 0.7096774193548386, 'rougeLsum': 0.7096774193548386} Sari: {'sari': 32.91662104101834} Flesh Reading Ease: 49.15 ---------------------------------------- Source: ['Fast hätte „Toni Erdmann“ es geschafft: Die tragisch-komische Geschichte einer Vater-Tochter Beziehung war für die Goldene Palme in Cannes (2016) und den Oscar (2017) nominiert.'] Prediction: ['Toni Erdmann ist eine tragisch-komische Geschichte.\nDie tragisch-komische Geschichte war für die Goldene Palme in Cannes (2016) und den Oscar (2017) nominiert.'] Label: [['Der Film „Toni Erdmann“, eine tragisch-komische Geschichte über einen Vater und seine Tochter, war für die Goldene Palme in Cannes (2016) und für den Oscar (2017) nominiert.']] Sacrebleu: {'score': 49.234460676006805, 'counts': [21, 18, 15, 12], 'totals': [28, 27, 26, 25], 'precisions': [75.0, 66.66666666666667, 57.69230769230769, 48.0], 'bp': 0.8071177470053894, 'sys_len': 28, 'ref_len': 34} Bleu: {'bleu': 0.4923446067600677, 'precisions': [0.75, 0.6666666666666666, 0.5769230769230769, 0.48], 'brevity_penalty': 0.8071177470053892, 'length_ratio': 0.8235294117647058, 'translation_length': 28, 'reference_length': 34} Rouge: {'rouge1': 0.7272727272727272, 'rouge2': 0.6037735849056604, 'rougeL': 0.7272727272727272, 'rougeLsum': 0.7272727272727272} Sari: {'sari': 63.98792631346575} Flesh Reading Ease: 52.0 ---------------------------------------- Source: ['FilmNach einer Studie des Bundeswirtschaftsministeriums (BMWI) erwirtschaftet die deutsche Filmindustrie 13,6 Milliarden Euro im Jahr und sie beschäftigt 161.000 Menschen.'] Prediction: ['Die deutsche Filmindustrie erwirtschaftet 13,6 Milliarden Euro im Jahr.\n161.000 Menschen beschäftigt sie im Jahr.'] Label: [['FilmNach einer Studie des Bundeswirtschaftsministeriums (BMWI) erwirtschaftet die deutsche Filmindustrie 13,6 Milliarden Euro im Jahr - das ist die Bruttowertschöpfung.\nIn dieser Branche arbeiten 161.000 Menschen.']] Sacrebleu: {'score': 13.7267063163554, 'counts': [12, 6, 3, 2], 'totals': [17, 16, 15, 14], 'precisions': [70.58823529411765, 37.5, 20.0, 14.285714285714286], 'bp': 0.4654708140240617, 'sys_len': 17, 'ref_len': 30} Bleu: {'bleu': 0.13726706316355403, 'precisions': [0.7058823529411765, 0.375, 0.2, 0.14285714285714285], 'brevity_penalty': 0.4654708140240617, 'length_ratio': 0.5666666666666667, 'translation_length': 17, 'reference_length': 30} Rouge: {'rouge1': 0.5652173913043479, 'rouge2': 0.409090909090909, 'rougeL': 0.5217391304347826, 'rougeLsum': 0.5217391304347826} Sari: {'sari': 24.342592592592595} Flesh Reading Ease: 55.5 ---------------------------------------- Source: ['Denn sie hat große wirtschaftliche Bedeutung.'] Prediction: ['Eine Frau hat große wirtschaftliche Bedeutung.\nSie hat große wirtschaftliche Bedeutung.'] Label: [['Die Filmindustrie hat eine große wirtschaftliche Bedeutung.']] Sacrebleu: {'score': 20.448007360218387, 'counts': [5, 3, 2, 1], 'totals': [13, 12, 11, 10], 'precisions': [38.46153846153846, 25.0, 18.181818181818183, 10.0], 'bp': 1.0, 'sys_len': 13, 'ref_len': 8} Bleu: {'bleu': 0.2044800736021839, 'precisions': [0.38461538461538464, 0.25, 0.18181818181818182, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 1.625, 'translation_length': 13, 'reference_length': 8} Rouge: {'rouge1': 0.5714285714285714, 'rouge2': 0.3157894736842105, 'rougeL': 0.4761904761904762, 'rougeLsum': 0.4761904761904762} Sari: {'sari': 60.21464646464647} Flesh Reading Ease: 45.8 ---------------------------------------- Source: ['Jeder Euro Wertschöpfung, der aus der Filmwirtschaft kommt, bedeutet zusätzlich 1,60 Euro an Wertschöpfung in der gesamten Volkswirtschaft.'] Prediction: ['Die Filmwirtschaft kommt zusätzlich 1,60 Euro an Wertschöpfung.\nDer Euro Wertschöpfung kommt aus der Filmwirtschaft.'] Label: [['Denn jeder Euro Wertschöpfung, der aus der Filmwirtschaft kommt, bedeutet zusätzlich 1,60 Euro an Wertschöpfung in der gesamten Volkswirtschaft.']] Sacrebleu: {'score': 25.37520644171179, 'counts': [12, 8, 4, 2], 'totals': [17, 16, 15, 14], 'precisions': [70.58823529411765, 50.0, 26.666666666666668, 14.285714285714286], 'bp': 0.7451888170134805, 'sys_len': 17, 'ref_len': 22} Bleu: {'bleu': 0.25375206441711784, 'precisions': [0.7058823529411765, 0.5, 0.26666666666666666, 0.14285714285714285], 'brevity_penalty': 0.7451888170134805, 'length_ratio': 0.7727272727272727, 'translation_length': 17, 'reference_length': 22} Rouge: {'rouge1': 0.761904761904762, 'rouge2': 0.65, 'rougeL': 0.5238095238095238, 'rougeLsum': 0.7142857142857143} Sari: {'sari': 15.699671172816954} Flesh Reading Ease: 67.2 ---------------------------------------- Source: ['Das ist zum Beispiel die Verwertung der Filme außerhalb der Kinos, etwa auf DVD oder über die Filmfestspiele wie der Berlinale.'] Prediction: ['Die Berlinale veröffentlicht am Freitag die Kinos.\nDas ist zum Beispiel die Verwertung der Filme außerhalb der Kinos.\nDie Kinos wollen das Format außerhalb der Kinos außerhalb der Kinos sein.'] Label: [['Das ist zum Beispiel die Verwertung der Filme außerhalb der Kinos, etwa auf DVD.\nEs gibt mehrere bekannte Filmfestspiele wie die Berlinale.']] Sacrebleu: {'score': 32.383159743181615, 'counts': [15, 10, 9, 8], 'totals': [33, 32, 31, 30], 'precisions': [45.45454545454545, 31.25, 29.032258064516128, 26.666666666666668], 'bp': 1.0, 'sys_len': 33, 'ref_len': 25} Bleu: {'bleu': 0.32383159743181605, 'precisions': [0.45454545454545453, 0.3125, 0.2903225806451613, 0.26666666666666666], 'brevity_penalty': 1.0, 'length_ratio': 1.32, 'translation_length': 33, 'reference_length': 25} Rouge: {'rouge1': 0.4912280701754386, 'rouge2': 0.43636363636363634, 'rougeL': 0.45614035087719296, 'rougeLsum': 0.4912280701754386} Sari: {'sari': 44.73360618709455} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Es profitieren zum Beispiel die Gastronomie und der Einzelhandel.'] Prediction: ['Die Gastronomie und der Einzelhandel profitieren zum Beispiel.\nDas sind die besten grossen Gastronomen.'] Label: [['Es profitieren die Gastronomie und der Einzelhandel.']] Sacrebleu: {'score': 17.609282679116177, 'counts': [7, 3, 2, 1], 'totals': [16, 15, 14, 13], 'precisions': [43.75, 20.0, 14.285714285714286, 7.6923076923076925], 'bp': 1.0, 'sys_len': 16, 'ref_len': 8} Bleu: {'bleu': 0.17609282679116184, 'precisions': [0.4375, 0.2, 0.14285714285714285, 0.07692307692307693], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 16, 'reference_length': 8} Rouge: {'rouge1': 0.5714285714285714, 'rouge2': 0.42105263157894735, 'rougeL': 0.4761904761904762, 'rougeLsum': 0.4761904761904762} Sari: {'sari': 41.029411764705884} Flesh Reading Ease: 44.3 ---------------------------------------- Source: ['Deutschland ist auch bekannt für seine Filmtechnik.'] Prediction: ['Die Schweizer Film-Macherin Andrea Lotti (34) ist bekannt für seine Filmtechnik.\nDie Schweizerin hat sich mit ihrem Partner über ihre Geschichte geschrieben.\nLotti ist auch bekannt für seine Filmtechnik.'] Label: [['Deutschland ist außerdem bekannt für seine Filmtechnik.']] Sacrebleu: {'score': 10.665089166351967, 'counts': [6, 4, 3, 2], 'totals': [34, 33, 32, 31], 'precisions': [17.647058823529413, 12.121212121212121, 9.375, 6.451612903225806], 'bp': 1.0, 'sys_len': 34, 'ref_len': 8} Bleu: {'bleu': 0.10665089166351972, 'precisions': [0.17647058823529413, 0.12121212121212122, 0.09375, 0.06451612903225806], 'brevity_penalty': 1.0, 'length_ratio': 4.25, 'translation_length': 34, 'reference_length': 8} Rouge: {'rouge1': 0.29268292682926833, 'rouge2': 0.20512820512820512, 'rougeL': 0.29268292682926833, 'rougeLsum': 0.29268292682926833} Sari: {'sari': 41.67568542568542} Flesh Reading Ease: 65.0 ---------------------------------------- Source: ['Viele Spezialtechniken aus den Produktionen werden auch in anderen Branchen verwendet. Ein Beispiel sind Spezialkameras, die bei komplizierten medizinischen Eingriffen beste Bilder liefern.'] Prediction: ['Spezialtechniken werden auch in anderen Branchen verwendet.\nEin Beispiel sind Spezialkameras, die bei komplizierten medizinischen Eingriffen beste Bilder liefern.'] Label: [['Viele Spezialtechniken aus dem Film werden auch in anderen Branchen verwendet, darunter Spezialkameras bei komplizierten medizinischen Operationen.']] Sacrebleu: {'score': 29.694551474502376, 'counts': [13, 7, 5, 3], 'totals': [22, 21, 20, 19], 'precisions': [59.09090909090909, 33.333333333333336, 25.0, 15.789473684210526], 'bp': 1.0, 'sys_len': 22, 'ref_len': 19} Bleu: {'bleu': 0.29694551474502373, 'precisions': [0.5909090909090909, 0.3333333333333333, 0.25, 0.15789473684210525], 'brevity_penalty': 1.0, 'length_ratio': 1.1578947368421053, 'translation_length': 22, 'reference_length': 19} Rouge: {'rouge1': 0.6111111111111113, 'rouge2': 0.411764705882353, 'rougeL': 0.6111111111111113, 'rougeLsum': 0.6111111111111113} Sari: {'sari': 39.78522934127787} Flesh Reading Ease: 24.25 ---------------------------------------- Source: ['Über Listen haben die Parteien vorher festgelegt, welche Personen sie über die Zweitstimme ins Parlament schicken möchten.'] Prediction: ['Die Parteien haben sich über die Zweitstimme ins Parlament gefeiert.\nSie haben sie über die Zweitstimme schicken möchten.'] Label: [['Die Parteien haben vorher festgelegt, welche Personen sie über die Zweitstimme ins Parlament schicken möchten.']] Sacrebleu: {'score': 35.95818888322725, 'counts': [12, 9, 6, 3], 'totals': [20, 19, 18, 17], 'precisions': [60.0, 47.36842105263158, 33.333333333333336, 17.647058823529413], 'bp': 1.0, 'sys_len': 20, 'ref_len': 17} Bleu: {'bleu': 0.3595818888322724, 'precisions': [0.6, 0.47368421052631576, 0.3333333333333333, 0.17647058823529413], 'brevity_penalty': 1.0, 'length_ratio': 1.1764705882352942, 'translation_length': 20, 'reference_length': 17} Rouge: {'rouge1': 0.6857142857142857, 'rouge2': 0.5454545454545454, 'rougeL': 0.6285714285714286, 'rougeLsum': 0.6857142857142857} Sari: {'sari': 35.32311571633822} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['Ob Angela Merkel zum vierten Mal als Bundeskanzlerin gewählt wird oder ob Martin Schulz, ihr Herausforderer, gewinnt, das entscheiden die Bürger nur indirekt.'] Prediction: ['Die Schweiz wird wegen eines neuen Herausforderers aufgefordert.\nDie Bürger sind die letzten Monate nicht mehr.\nDie Schweiz wird aufgefordert, dass die Bürger nur indirekt sind.'] Label: [['Wird Angela Merkel zum vierten Mal als Bundeskanzlerin gewählt?\nOder wird Martin Schulz gewinnen?\nDas entscheiden die Bürger nur indirekt.']] Sacrebleu: {'score': 8.601325107393585, 'counts': [6, 3, 2, 1], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 10.344827586206897, 7.142857142857143, 3.7037037037037037], 'bp': 1.0, 'sys_len': 30, 'ref_len': 23} Bleu: {'bleu': 0.08601325107393584, 'precisions': [0.2, 0.10344827586206896, 0.07142857142857142, 0.037037037037037035], 'brevity_penalty': 1.0, 'length_ratio': 1.3043478260869565, 'translation_length': 30, 'reference_length': 23} Rouge: {'rouge1': 0.28, 'rouge2': 0.16666666666666666, 'rougeL': 0.28, 'rougeLsum': 0.28} Sari: {'sari': 28.187986826094242} Flesh Reading Ease: 66.0 ---------------------------------------- Source: ['Erst die gewählten Mitglieder des Bundestages stimmen dann für den Bundeskanzler oder die Kanzlerin. Insgesamt 42 Parteien nehmen an der Wahl 2017 teil.'] Prediction: ['42 Parteien nehmen an der Wahl 2017 teil.\nInsgesamt 42 Parteien nehmen an der Wahl 2017 teil.'] Label: [['Erst die gewählten Mitglieder des Bundestages stimmen dann für den Bundeskanzler oder die Kanzlerin.42 Parteien nehmen an der Wahl 2017 teil.']] Sacrebleu: {'score': 33.50796439305594, 'counts': [10, 8, 7, 6], 'totals': [19, 18, 17, 16], 'precisions': [52.63157894736842, 44.44444444444444, 41.1764705882353, 37.5], 'bp': 0.7686205265937358, 'sys_len': 19, 'ref_len': 24} Bleu: {'bleu': 0.33507964393055945, 'precisions': [0.5263157894736842, 0.4444444444444444, 0.4117647058823529, 0.375], 'brevity_penalty': 0.7686205265937356, 'length_ratio': 0.7916666666666666, 'translation_length': 19, 'reference_length': 24} Rouge: {'rouge1': 0.39024390243902435, 'rouge2': 0.358974358974359, 'rougeL': 0.39024390243902435, 'rougeLsum': 0.39024390243902435} Sari: {'sari': 26.901692080653234} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['Die wichtigsten Parteien sind CDU/CSU, SPD, Bündnis 90/Die Grünen und die FDP.Noch Der Wahlkampf ist ein Kampf um die Stimmen der Wähler.'] Prediction: ['Die wichtigsten Parteien sind CDU/CSU, SPD, Bündnis 90/Die Grünen und die FDP.\nNoch Der Wahlkampf ist ein Kampf um die Stimmen der Wähler.'] Label: [['Die wichtigsten Parteien sind CDU/CSU, SPD, Bündnis 90/Die Grünen und die FDP.Der Wahlkampf ist ein Kampf um die Stimmen der Wähler.']] Sacrebleu: {'score': 91.27592114472296, 'counts': [30, 28, 26, 24], 'totals': [31, 30, 29, 28], 'precisions': [96.7741935483871, 93.33333333333333, 89.65517241379311, 85.71428571428571], 'bp': 1.0, 'sys_len': 31, 'ref_len': 30} Bleu: {'bleu': 0.9127592114472296, 'precisions': [0.967741935483871, 0.9333333333333333, 0.896551724137931, 0.8571428571428571], 'brevity_penalty': 1.0, 'length_ratio': 1.0333333333333334, 'translation_length': 31, 'reference_length': 30} Rouge: {'rouge1': 0.9818181818181818, 'rouge2': 0.9433962264150944, 'rougeL': 0.9818181818181818, 'rougeLsum': 0.9818181818181818} Sari: {'sari': 73.43976761805081} Flesh Reading Ease: 80.75 ---------------------------------------- Source: ['Gott sah, dass es gut war.'] Prediction: ['Der Schweizer war mit einem guten Fan auf Instagram gefragt.\nDer Fan war mit seinem Fan auf der Suche.\nEr war gut geworden.'] Label: [['Gott sah: Das ist gut.']] Sacrebleu: {'score': 1.7179060012299232, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.7142857142857144, 'translation_length': 26, 'reference_length': 7} Rouge: {'rouge1': 0.07142857142857142, 'rouge2': 0.0, 'rougeL': 0.07142857142857142, 'rougeLsum': 0.07142857142857142} Sari: {'sari': 50.23809523809524} Flesh Reading Ease: 90.4 ---------------------------------------- Source: ['Dann trennte Gott zwischen die Helligkeit und von der Finsternis.'] Prediction: ['Der Gott trennte Gott zwischen die Helligkeit und von der Finsternis.\nDas ist Gott zwischen die Helligkeit und von der Finsternis.'] Label: [['Dann trennte Gott das Licht und die Dunkelheit.']] Sacrebleu: {'score': 4.141141330484801, 'counts': [5, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [21.73913043478261, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5555555555555554, 'translation_length': 23, 'reference_length': 9} Rouge: {'rouge1': 0.3448275862068965, 'rouge2': 0.07407407407407408, 'rougeL': 0.27586206896551724, 'rougeLsum': 0.20689655172413796} Sari: {'sari': 18.390151515151512} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['Da entstand Helligkeit.'] Prediction: ['Die Schweizerin verliert am Freitagmorgen ihre Frauen.\nSie war damit in den vergangenen Tagen geflohen.\nNun wird die Frau verständigt.'] Label: [['Und es wurde hell.']] Sacrebleu: {'score': 1.6466642419110007, 'counts': [1, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [4.3478260869565215, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.043478260869565216, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.6, 'translation_length': 23, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 62.15 ---------------------------------------- Source: ['Gott nannte die Helligkeit „Tag “, die Finsternis aber nannte er „Nacht “.'] Prediction: ['Die Schweizerin überraschend mit ihren Partnern.\nDer "Tag"-Kollegen wurde von der "Welt" aufgezeichnet.\nDie beiden waren nur noch nie, sondern auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch'] Label: [['Und Gott nannte das Licht Tag.\nUnd Gott nannte die Dunkelheit Nacht.']] Sacrebleu: {'score': 0.20819161143049883, 'counts': [3, 0, 0, 0], 'totals': [225, 224, 223, 222], 'precisions': [1.3333333333333333, 0.22321428571428573, 0.11210762331838565, 0.05630630630630631], 'bp': 1.0, 'sys_len': 225, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.013333333333333334, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 16.071428571428573, 'translation_length': 225, 'reference_length': 14} Rouge: {'rouge1': 0.017391304347826087, 'rouge2': 0.0, 'rougeL': 0.017391304347826087, 'rougeLsum': 0.017391304347826087} Sari: {'sari': 42.32804232804233} Flesh Reading Ease: 43.35 ---------------------------------------- Source: ['Gott nannte das Trockene „Erde “ und den Ort des Wassers nannte er „Meer “.'] Prediction: ['Ein 20-Minuten-Podcast "Unchained" ist auf Spotify, Apple Podcasts und Tune In.\nNeue Episoden findest du jeden Donnerstag statt.\nNeue Episoden findest du jeden Donnerstag statt.'] Label: [['Gott sagte: Die trockene Stelle nenne ich Erde.\nUnd Gott sagte: Das Wasser nenne ich Meer.']] Sacrebleu: {'score': 1.3355980882200826, 'counts': [2, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [6.0606060606060606, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.06060606060606061, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.65, 'translation_length': 33, 'reference_length': 20} Rouge: {'rouge1': 0.046511627906976744, 'rouge2': 0.0, 'rougeL': 0.046511627906976744, 'rougeLsum': 0.046511627906976744} Sari: {'sari': 61.01190476190476} Flesh Reading Ease: 54.7 ---------------------------------------- Source: ['Gott erschuf die großen Meereslebewesen und all die verschiedenen Lebewesen, die im Wasser schwärmen und all die verschiedenen geflügelten Tiere.'] Prediction: ['In den vergangenen Tagen sind große Meereslebewesen und verschiedene Lebewesen geflügelt.\nDie großen Meereslebewesen sind in den vergangenen Tagen geflüchtet.'] Label: [['Und so geschah es: Da gab es große Lebe·wesen im Meer.\nViele Fische und andere Meeres·wesen.\nUnd viele verschiedene Vögel am Himmel.']] Sacrebleu: {'score': 2.153418706857618, 'counts': [5, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [22.727272727272727, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 0.8337529180751805, 'sys_len': 22, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.22727272727272727, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8337529180751805, 'length_ratio': 0.8461538461538461, 'translation_length': 22, 'reference_length': 26} Rouge: {'rouge1': 0.16, 'rouge2': 0.041666666666666664, 'rougeL': 0.16, 'rougeLsum': 0.16} Sari: {'sari': 44.89316239316239} Flesh Reading Ease: 23.75 ---------------------------------------- Source: ['Im Anfang von Gottes Schöpfung von Himmel und Erde war die Erde nicht und nichts: Dunkelheit war über der Oberfläche der Tiefe und ein Wind Gottes stürmte über der Oberfläche des Wassers.'] Prediction: ['Im Anfang von Gottes Schöpfung von Himmel und Erde war die Erde nicht und nichts.\nDunkelheit war über der Oberfläche der Tiefe und ein Wind Gottes stürmte über der Oberfläche des Wassers.'] Label: [['So hat Gott die Welt gemacht: Am Anfang gab es die Erde noch nicht.\nEs gab nur Wasser und Dunkelheit.\nEs war dunkel über dem Wasser.\nGott war ein Sturm.\nDer Sturm fegte über dem Wasser.']] Sacrebleu: {'score': 2.747263221446293, 'counts': [13, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [38.23529411764706, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 0.7903383629814982, 'sys_len': 34, 'ref_len': 42} Bleu: {'bleu': 0.0, 'precisions': [0.38235294117647056, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 0.7903383629814982, 'length_ratio': 0.8095238095238095, 'translation_length': 34, 'reference_length': 42} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.02857142857142857, 'rougeL': 0.2777777777777778, 'rougeLsum': 0.3055555555555556} Sari: {'sari': 30.203241462991855} Flesh Reading Ease: 76.25 ---------------------------------------- Source: ['Es wurde Abend und es wurde Morgen: Ein „Tag “.'] Prediction: ['Am 24.\nJuni wurde in Los Angeles ein Tag gefunden.\nEs wurde ein „Tag “.'] Label: [['Es wurde Abend.\nUnd es wurde Tag: Der 1.\nTag war zu Ende.']] Sacrebleu: {'score': 5.875148471810145, 'counts': [7, 1, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [38.888888888888886, 5.882352941176471, 3.125, 1.6666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.3888888888888889, 0.058823529411764705, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0588235294117647, 'translation_length': 18, 'reference_length': 17} Rouge: {'rouge1': 0.3703703703703704, 'rouge2': 0.08, 'rougeL': 0.29629629629629634, 'rougeLsum': 0.3703703703703704} Sari: {'sari': 28.452380952380953} Flesh Reading Ease: 85.25 ---------------------------------------- Source: ['Es wurde Abend und es wurde Morgen: Ein zweiter Tag.'] Prediction: ['Im Alter von 99 Jahren wurde ein zweiter Tag veröffentlicht.\nEs wurde ein zweiter Tag.'] Label: [['Es wurde Abend.\nUnd es wurde Morgen: Der 2.\nTag war zu Ende.']] Sacrebleu: {'score': 6.019608768705656, 'counts': [6, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [35.294117647058826, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 1.0, 'sys_len': 17, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.35294117647058826, 0.0625, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 17, 'reference_length': 17} Rouge: {'rouge1': 0.27586206896551724, 'rouge2': 0.07407407407407407, 'rougeL': 0.27586206896551724, 'rougeLsum': 0.27586206896551724} Sari: {'sari': 19.226190476190474} Flesh Reading Ease: 78.9 ---------------------------------------- Source: ['Gott nannte das Schalenförmige „Himmel “.'] Prediction: ['Am Sonntag wurde in der Nähe von Schalen (D) eine Frau entdeckt.\nSie wurde dabei verletzt.\nSie ist nicht mehr geflohen.'] Label: [['Gott sagte: Himmel.']] Sacrebleu: {'score': 1.4445809981770859, 'counts': [1, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [3.8461538461538463, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.038461538461538464, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.2, 'translation_length': 26, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 62.5} Flesh Reading Ease: 85.25 ---------------------------------------- Source: ['So geschah es.'] Prediction: ['Die Schweizerin hat einen neuen Chef.\nDer Chef hat sich mit dem Chef geschah es.'] Label: [['Die Schale ist der Himmel.']] Sacrebleu: {'score': 2.719665272174911, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8333333333333335, 'translation_length': 17, 'reference_length': 6} Rouge: {'rouge1': 0.2, 'rouge2': 0.0, 'rougeL': 0.2, 'rougeLsum': 0.2} Sari: {'sari': 48.05555555555556} Flesh Reading Ease: 96.45 ---------------------------------------- Source: ['Dann sprach Gott: Das Wasser soll sich von unter dem Himmel weg an einen Ort sammeln und Trockenes soll zum Vorschein kommen.'] Prediction: ['Dann sprach Gott: Das Wasser soll sich von unter dem Himmel weg an einen Ort sammeln.\nTrockenes soll zum Vorschein kommen.'] Label: [['Da sagte Gott: Das Wasser unter dem Himmel soll sich sammeln.\nDas Wasser soll eine Stelle frei lassen.\nDie Stelle soll trocken sein.']] Sacrebleu: {'score': 17.73541107525073, 'counts': [13, 8, 4, 1], 'totals': [24, 23, 22, 21], 'precisions': [54.166666666666664, 34.78260869565217, 18.181818181818183, 4.761904761904762], 'bp': 0.8824969025845955, 'sys_len': 24, 'ref_len': 27} Bleu: {'bleu': 0.1773541107525073, 'precisions': [0.5416666666666666, 0.34782608695652173, 0.18181818181818182, 0.047619047619047616], 'brevity_penalty': 0.8824969025845955, 'length_ratio': 0.8888888888888888, 'translation_length': 24, 'reference_length': 27} Rouge: {'rouge1': 0.4545454545454545, 'rouge2': 0.28571428571428564, 'rougeL': 0.3636363636363636, 'rougeLsum': 0.4090909090909091} Sari: {'sari': 47.71336553945249} Flesh Reading Ease: 93.45 ---------------------------------------- Source: ['Es wurde Abend und es wurde Morgen:'] Prediction: ['Im Interview mit 20 Minuten spricht der Comedian über seine ersten Single.\nIm Interview erklärt er, wie es ihn nun zeigte.'] Label: [['Es wurde Abend.\nUnd es wurde Morgen:']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 24, 'reference_length': 9} Rouge: {'rouge1': 0.06896551724137931, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 11.812169312169313} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['Es wurde Abend und es wurde Morgen: Ein dritter Tag.'] Prediction: ['Im Alter von 99 Jahren wurde ein dritter Tag veröffentlicht.\nEs wurde ein dritter Tag.'] Label: [['Es wurde Abend.\nUnd es wurde Morgen: Der 3.\nTag war zu Ende.']] Sacrebleu: {'score': 6.019608768705656, 'counts': [6, 1, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [35.294117647058826, 6.25, 3.3333333333333335, 1.7857142857142858], 'bp': 1.0, 'sys_len': 17, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.35294117647058826, 0.0625, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 17, 'reference_length': 17} Rouge: {'rouge1': 0.27586206896551724, 'rouge2': 0.07407407407407407, 'rougeL': 0.27586206896551724, 'rougeLsum': 0.27586206896551724} Sari: {'sari': 19.226190476190474} Flesh Reading Ease: 78.9 ---------------------------------------- Source: ['Gott machte die beiden großen Lichter: das größere Licht zur Herrschaft über den Tag und das kleinere Licht zur Herrschaft über die Nacht; auch die Sterne.'] Prediction: ['Die beiden großen Lichter sind einige Jahre alt.\nSie sind das größere Licht zur Herrschaft über den Tag und das kleinere Licht zur Herrschaft über die Nacht.'] Label: [['Gott machte 2 große Lichter: Das große Licht war für den Tag.\nWir nennen das Licht Sonne.\nDas kleine Licht war für die Nacht.\nWir nennen das Licht Mond.\nGott machte auch die Sterne.']] Sacrebleu: {'score': 5.019556084144651, 'counts': [11, 3, 1, 0], 'totals': [29, 28, 27, 26], 'precisions': [37.93103448275862, 10.714285714285714, 3.7037037037037037, 1.9230769230769231], 'bp': 0.6843332004383633, 'sys_len': 29, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.3793103448275862, 0.10714285714285714, 0.037037037037037035, 0.0], 'brevity_penalty': 0.6843332004383633, 'length_ratio': 0.725, 'translation_length': 29, 'reference_length': 40} Rouge: {'rouge1': 0.3283582089552239, 'rouge2': 0.06153846153846154, 'rougeL': 0.2985074626865672, 'rougeLsum': 0.3283582089552239} Sari: {'sari': 24.502349739833694} Flesh Reading Ease: 84.6 ---------------------------------------- Source: ['Und Gott segnete sie folgendermaßen: „Seid fruchtbar und vermehrt euch und füllt das Wasser im Meer, und die Vögel sollen sich über der Erde vermehren! “'] Prediction: ['Eine Frau hat sich in der Nacht auf Sonntag fruchtbar und vermehrt euch.\nSie füllt das Wasser im Meer.\nDie Vögel sollen sich über der Erde vermehren.'] Label: [['Gott segnete alle Lebe·wesen: Seid fruchtbar und vermehrt euch.\nIch möchte viele Tiere im Meer und viele Vögel auf dem Land.']] Sacrebleu: {'score': 14.614031921776125, 'counts': [10, 5, 3, 2], 'totals': [30, 29, 28, 27], 'precisions': [33.333333333333336, 17.24137931034483, 10.714285714285714, 7.407407407407407], 'bp': 1.0, 'sys_len': 30, 'ref_len': 24} Bleu: {'bleu': 0.14614031921776124, 'precisions': [0.3333333333333333, 0.1724137931034483, 0.10714285714285714, 0.07407407407407407], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 30, 'reference_length': 24} Rouge: {'rouge1': 0.339622641509434, 'rouge2': 0.19607843137254902, 'rougeL': 0.3018867924528302, 'rougeLsum': 0.3018867924528302} Sari: {'sari': 44.427985708989944} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['Dann sprach Gott: Das Wasser soll schwärmen mit Schwärmen lebendiger Wesen und Vögel sollen über der Erde unter dem Schalenförmigen des Himmels fliegen.'] Prediction: ['Im Wasser sollen lebendiger Wesen und Vögel schwärmen.\nDas Wasser soll schwärmen mit Schwärmen lebendiger Wesen und Vögel fliegen.\nDas Wasser soll schwärmen mit Schwärmen lebendiger Wesen und Vögel unter dem Schalenförmigen des Himmels fliegen.'] Label: [['Gott sagte: Ich möchte Leben im Wasser: Ich möchte Fische·Schwärme.\nUnd ich möchte Vögel am Himmel.']] Sacrebleu: {'score': 1.3705063051209185, 'counts': [4, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [10.526315789473685, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9, 'translation_length': 38, 'reference_length': 20} Rouge: {'rouge1': 0.1818181818181818, 'rouge2': 0.0625, 'rougeL': 0.1818181818181818, 'rougeLsum': 0.1818181818181818} Sari: {'sari': 36.397227973314926} Flesh Reading Ease: 57.15 ---------------------------------------- Source: ['Dann sprach Gott: Die Erde soll verschiedenste Arten von Lebewesen hervorbringen: Verschiedenste Arten von Vieh, Reptilien und wilden Tieren.'] Prediction: ['Verschiedenste Arten von Lebewesen sollen verschiedenste Arten hervorbringen.\nDas hat eine neue Erde entwickelt.\nDie Erde soll verschiedenste Arten von Vieh, Reptilien und wilden Tieren hervorbringen.'] Label: [['Gott sagte: Ich möchte Tiere auf der Erde.\nAlle Arten: • Nutz·tiere, • wilde Tiere und • Reptilien.\n_Reptilien sind zum Beispiel Schlangen.']] Sacrebleu: {'score': 2.087936282709597, 'counts': [8, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [26.666666666666668, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.26666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 30, 'reference_length': 30} Rouge: {'rouge1': 0.16666666666666669, 'rouge2': 0.0, 'rougeL': 0.12499999999999997, 'rougeLsum': 0.16666666666666669} Sari: {'sari': 33.10931899641577} Flesh Reading Ease: 42.6 ---------------------------------------- Source: ['Gott sah, dass die Helligkeit gut war.'] Prediction: ['Die Helligkeit war gut.\nDie Helligkeit gut war.'] Label: [['Gott schaute herum: Und Gott war zufrieden.']] Sacrebleu: {'score': 4.990049701936832, 'counts': [2, 0, 0, 0], 'totals': [10, 9, 8, 7], 'precisions': [20.0, 5.555555555555555, 3.125, 1.7857142857142858], 'bp': 1.0, 'sys_len': 10, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1111111111111112, 'translation_length': 10, 'reference_length': 9} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 88.25 ---------------------------------------- Source: ['Es wurde Abend und es wurde Morgen: Ein fünfter Tag.'] Prediction: ['Am Mittwochabend wurde die Schweizerin überraschend über die Schweizerin über die Schweizerin überraschend über die Schweizerin.\nDer fünfte Tag wurde am Morgen ein fünfter Tag.'] Label: [['Es wurde Abend.\nUnd es wurde Morgen.\nDer 5.\nTag war zu Ende.']] Sacrebleu: {'score': 3.796469564911484, 'counts': [7, 1, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [25.925925925925927, 3.8461538461538463, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.25925925925925924, 0.038461538461538464, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.588235294117647, 'translation_length': 27, 'reference_length': 17} Rouge: {'rouge1': 0.25, 'rouge2': 0.0, 'rougeL': 0.2, 'rougeLsum': 0.25} Sari: {'sari': 25.104602187935527} Flesh Reading Ease: 62.2 ---------------------------------------- Source: ['Gott machte verschiedenste Arten von wilden Tieren, verschiedenste Arten von Vieh und all die verschiedenen Arten von Reptilien.'] Prediction: ['Am 19.\nApril 2020 wurde in Los Angeles die Polizei erschossen.\nDer mutmassliche Täter, der auf der Suche gefunden hatte, wurde von der Polizei entdeckt.\nDer Täter war auf der Suche gefunden.'] Label: [['Gott machte alle die vielen verschiedenen Tiere.']] Sacrebleu: {'score': 1.1524538390587937, 'counts': [2, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [5.2631578947368425, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.05263157894736842, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.75, 'translation_length': 38, 'reference_length': 8} Rouge: {'rouge1': 0.04878048780487805, 'rouge2': 0.0, 'rougeL': 0.04878048780487805, 'rougeLsum': 0.04878048780487805} Sari: {'sari': 51.09953703703704} Flesh Reading Ease: 69.85 ---------------------------------------- Source: ['Weiterhin sprach Gott: Die Erde soll auf Erden Grünes grünen lassen: Samen tragendes Getreide und verschiedenste Arten von Frucht tragenden Fruchtbäumen, die deren Früchte ihren Samen in sich haben.'] Prediction: ['Erden Grünes sollen Samen tragendes Getreide und verschiedenste Arten von Frucht tragenden Fruchtbäumen gebüsst werden.\nGott sprach, die Erde soll grünen lassen.'] Label: [['Es ging weiter: Gott sagte: Auf der Erde soll es grün und bunt werden.\nKorn soll wachsen.\nAus dem Korn macht man Brot.\nBäume wachsen, Bäume sollen wachsen.\nAn den Bäumen soll Obst wachsen.']] Sacrebleu: {'score': 2.6433212055829403, 'counts': [9, 2, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [36.0, 8.333333333333334, 2.1739130434782608, 1.1363636363636365], 'bp': 0.5066169923655897, 'sys_len': 25, 'ref_len': 42} Bleu: {'bleu': 0.0, 'precisions': [0.36, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 0.5066169923655897, 'length_ratio': 0.5952380952380952, 'translation_length': 25, 'reference_length': 42} Rouge: {'rouge1': 0.25, 'rouge2': 0.03225806451612903, 'rougeL': 0.125, 'rougeLsum': 0.25} Sari: {'sari': 37.99873737373737} Flesh Reading Ease: 52.0 ---------------------------------------- Source: ['Auch allen wilden Tieren, allen Vögeln des Himmels und allen Reptilien, allem das in sich Lebensatem hat, gebe ich alle Pflanzen als Nahrung sein.'] Prediction: ['Einige Tieren, die auf Lebensatem in die Schweiz geschaffen haben, gebe es als Nahrung sein.\nAuch allen Tieren, allen Vögeln des Himmels und allen Reptilien, allem das in sich Lebensatem hat, gebe ich alle Pflanzen als Nahrung sein.'] Label: [['Das Korn und das Obst sollen auch für die Tiere sein.\nFür alle wilden Tiere und alle Vögel und alle Reptilien.\nSo geschah es: Alle haben von den Pflanzen gegessen.']] Sacrebleu: {'score': 2.4901754114263377, 'counts': [11, 1, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [24.444444444444443, 2.272727272727273, 1.1627906976744187, 0.5952380952380952], 'bp': 1.0, 'sys_len': 45, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.24444444444444444, 0.022727272727272728, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3235294117647058, 'translation_length': 45, 'reference_length': 34} Rouge: {'rouge1': 0.3055555555555555, 'rouge2': 0.0, 'rougeL': 0.19444444444444445, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 32.08041958041958} Flesh Reading Ease: 55.7 ---------------------------------------- Source: ['Dann sprach Gott: Ein Schalenförmiges soll inmitten des Wassers entstehen und es soll ein Trenner zwischen Wasser und Wasser sein.'] Prediction: ['Ein Schalenförmiges soll inmitten des Wassers entstehen.\nEin Trenner soll zwischen Wasser und Wasser sein.'] Label: [['Da sagte Gott: Ich brauche einen Himmel.\nGott machte die Himmels·Schale.\nDie Schale teilt das Wasser.']] Sacrebleu: {'score': 2.522888561974022, 'counts': [3, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [17.647058823529413, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 0.8382234324229999, 'sys_len': 17, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8382234324229999, 'length_ratio': 0.85, 'translation_length': 17, 'reference_length': 20} Rouge: {'rouge1': 0.06060606060606061, 'rouge2': 0.0, 'rougeL': 0.06060606060606061, 'rougeLsum': 0.06060606060606061} Sari: {'sari': 31.192129629629626} Flesh Reading Ease: 61.35 ---------------------------------------- Source: ['Dann sprach Gott: Lichter sollen am Schalenförmigen des Himmels entstehen, um zwischen den Tag und von der Nacht zu trennen.'] Prediction: ['Der Schalenförmigen des Himmels in Bern soll am Sonntag zu einem Trennen geben.\nLichter sollen am Schalenförmigen entstehen, um zwischen den Tag und von der Nacht zu trennen.'] Label: [['Da sagte Gott: Ich will Lichter am Himmel.\nDie Lichter sollen über der Erde leuchten.\nDann gibt es Tag und Nacht.']] Sacrebleu: {'score': 4.15466379165763, 'counts': [9, 2, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [29.032258064516128, 6.666666666666667, 1.7241379310344827, 0.8928571428571429], 'bp': 1.0, 'sys_len': 31, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.2903225806451613, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.24, 'translation_length': 31, 'reference_length': 25} Rouge: {'rouge1': 0.27450980392156865, 'rouge2': 0.08163265306122448, 'rougeL': 0.23529411764705882, 'rougeLsum': 0.27450980392156865} Sari: {'sari': 31.52777777777778} Flesh Reading Ease: 66.55 ---------------------------------------- Source: ['Gott sah, dass es gut war.'] Prediction: ['Der Schweizer war mit einem guten Fan auf Instagram gefragt.\nDer Fan war mit seinem Fan auf der Suche.\nEr war gut geworden.'] Label: [['Gott sieht: Das ist gut.']] Sacrebleu: {'score': 1.7179060012299232, 'counts': [2, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [7.6923076923076925, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.7142857142857144, 'translation_length': 26, 'reference_length': 7} Rouge: {'rouge1': 0.07142857142857142, 'rouge2': 0.0, 'rougeL': 0.07142857142857142, 'rougeLsum': 0.07142857142857142} Sari: {'sari': 62.22222222222222} Flesh Reading Ease: 90.4 ---------------------------------------- Source: ['Sie sollen über die Fische des Meers und über die Vögel des Himmels und übers Vieh und über die ganze Erde und über alle auf der Erde kriechenden Reptilien herrschen.'] Prediction: ['Sie sollen über die Fische des Meers und über die Vögel des Himmels und über die ganze Erde herrschen.\nSie sollen über die ganze Erde und über alle auf der Erde kriechende Reptilien herrschen.'] Label: [['Die Menschen sollen über alle Tiere bestimmen.']] Sacrebleu: {'score': 2.9000744656730446, 'counts': [4, 2, 0, 0], 'totals': [36, 35, 34, 33], 'precisions': [11.11111111111111, 5.714285714285714, 1.4705882352941178, 0.7575757575757576], 'bp': 1.0, 'sys_len': 36, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.05714285714285714, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.5, 'translation_length': 36, 'reference_length': 8} Rouge: {'rouge1': 0.19047619047619044, 'rouge2': 0.1, 'rougeL': 0.19047619047619044, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 37.54966146270494} Flesh Reading Ease: 75.25 ---------------------------------------- Source: ['Weiterhin sprach Gott: Ich will Menschen als mir ähnliches Bildnis machen!'] Prediction: ['Der Schweizer Gastronomiker hat seine Frau ähnliches Bildnis geschickt.\nDas ist der erste Mal in der Schweiz.'] Label: [['Da sagt Gott: Ich will Menschen machen.\nDie Menschen sollen mich auf der Erde vertreten.']] Sacrebleu: {'score': 2.6643211213888947, 'counts': [3, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0555555555555556, 'translation_length': 19, 'reference_length': 18} Rouge: {'rouge1': 0.0625, 'rouge2': 0.0, 'rougeL': 0.0625, 'rougeLsum': 0.0625} Sari: {'sari': 23.207070707070706} Flesh Reading Ease: 72.05 ---------------------------------------- Source: ['Gott schuf den Menschen als sein Bildnis, als Gottes Bildnis schuf er ihn, männlich und weiblich schuf er sie.'] Prediction: ['Ein Mann schuf den Menschen als sein Bildnis, als Gottes Bildnis schuf er ihn, männlich und weiblich schuf er sie.\nDas ist ein grosser Schutz.'] Label: [['Und Gott machtedie Menschen.\nDie Menschen vertraten Gott auf der Erde.\nDie Menschen waren Männer und Frauen.']] Sacrebleu: {'score': 1.8196871111910016, 'counts': [4, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.45, 'translation_length': 29, 'reference_length': 20} Rouge: {'rouge1': 0.13636363636363638, 'rouge2': 0.0, 'rougeL': 0.13636363636363638, 'rougeLsum': 0.13636363636363638} Sari: {'sari': 27.631578947368425} Flesh Reading Ease: 91.45 ---------------------------------------- Source: ['Dann segnete Gott sie und Gott sprach zu ihnen: Seid fruchtbar und vermehrt euch; füllt die Erde, unterwerft sie und herrscht über die Fische des Meeres, über die Vögel des Himmels und über alle Reptilien!'] Prediction: ['Seid fruchtbar und vermehrt euch.\nGott hat sein fruchtbar und vermehrt euch.\nSeid fruchtbar und vermehrt euch.'] Label: [['Gott segnete die Menschen: Ihr Menschen sollt die Erde füllen.\nIhr sollt über die Fische bestimmen.\nUnd über die Vögel.\nUnd über die Reptilien.']] Sacrebleu: {'score': 1.7264787277726736, 'counts': [4, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [20.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 0.6376281516217733, 'sys_len': 20, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6376281516217733, 'length_ratio': 0.6896551724137931, 'translation_length': 20, 'reference_length': 29} Rouge: {'rouge1': 0.13953488372093026, 'rouge2': 0.0, 'rougeL': 0.13953488372093026, 'rougeLsum': 0.13953488372093026} Sari: {'sari': 32.05101960915914} Flesh Reading Ease: 92.4 ---------------------------------------- Source: ['Weiterhin sprach Gott: Hiermit gebe ich euch euch alles Samen tragende Getreide, das auf der Oberfläche der ganzen Erde ist, und alle Bäume, die in ihren Baumfrüchten Samen tragen.'] Prediction: ['Einige Bäume sind in ihren Baumfrüchten Samen tragend.\nHiermit gebe es euch euch euch alles Samen tragende Getreide.'] Label: [['Und dann sagte Gott: Ich gebe euch das Korn und die Getreide und alles Obstauf der ganzen Erde.']] Sacrebleu: {'score': 2.862999365766888, 'counts': [5, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [25.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 20, 'reference_length': 20} Rouge: {'rouge1': 0.2105263157894737, 'rouge2': 0.0, 'rougeL': 0.15789473684210525, 'rougeLsum': 0.15789473684210525} Sari: {'sari': 30.853267667292055} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['Sie sollen als Zeichen für Festzeiten und für Tage und Jahre dienen und sie sollen als Lichter am Schalenförmigen des Himmels dienen, um über der Erde zu scheinen.'] Prediction: ['Eine Frau soll als Lichter am Schalenförmigen des Himmels dienen, um über der Erde zu scheinen.\nSie sollen als Zeichen für Festzeiten und für Tage und Jahre dienen und sie sollen als Lichter am Schalenförmigen dienen, um über der Erde zu scheinen.'] Label: [['Und es gibt Jahres·zeiten.\nUnd es gibt Feste.\nUnd so geschah es: Die Lichter leuchteten über der Erde.']] Sacrebleu: {'score': 3.5181547884111324, 'counts': [6, 2, 1, 0], 'totals': [46, 45, 44, 43], 'precisions': [13.043478260869565, 4.444444444444445, 2.272727272727273, 1.1627906976744187], 'bp': 1.0, 'sys_len': 46, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.13043478260869565, 0.044444444444444446, 0.022727272727272728, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.090909090909091, 'translation_length': 46, 'reference_length': 22} Rouge: {'rouge1': 0.21538461538461537, 'rouge2': 0.06349206349206349, 'rougeL': 0.21538461538461537, 'rougeLsum': 0.21538461538461537} Sari: {'sari': 38.526272577996714} Flesh Reading Ease: 65.4 ---------------------------------------- Source: ['Sie sollen euch als Nahrung dienen.'] Prediction: ['Die Schweizerin sollen euch als Nahrung dienen.\nSie sollen euch als Nahrung dienen.'] Label: [['Das könnt ihr alles essen.']] Sacrebleu: {'score': 2.627961710408444, 'counts': [1, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [6.666666666666667, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 15, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 79.9 ---------------------------------------- Source: ['Die Erde lies Grünes grünen: verschiedenste Arten von Samen tragendem Getreide und verschiedenste Arten von Frucht tragenden Fruchtbäumen, die deren Früchte ihren Samen in sich haben.'] Prediction: ['In der Schweiz wurden verschiedene Arten von Samen tragendem Getreide und verschiedenste Arten von Frucht tragenden Fruchtbäumen gesprochen.\nDie Erde liegt Grünes grünes.'] Label: [['So geschah es: Das Korn ist gewachsen.\nDie Bäume sind gewachsen.\nDie Erde wurde grün.']] Sacrebleu: {'score': 6.024757292375468, 'counts': [4, 2, 1, 0], 'totals': [25, 24, 23, 22], 'precisions': [16.0, 8.333333333333334, 4.3478260869565215, 2.272727272727273], 'bp': 1.0, 'sys_len': 25, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.16, 0.08333333333333333, 0.043478260869565216, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3157894736842106, 'translation_length': 25, 'reference_length': 19} Rouge: {'rouge1': 0.13953488372093026, 'rouge2': 0.048780487804878044, 'rougeL': 0.13953488372093026, 'rougeLsum': 0.13953488372093026} Sari: {'sari': 37.025329927628775} Flesh Reading Ease: 51.5 ---------------------------------------- Source: ['Gott machte das Schalenförmige und trennte so zwischen das Wasser welches unterhalb des Schalenförmigen und zwischen vom Wasser welches über dem Schalenförmigen.'] Prediction: ['Ein Schalenförmige trennte so zwischen das Wasser welches unterhalb des Schalenförmigen und zwischen vom Wasser welches über dem Schalenförmigen.\nDer Schalenförmige trennte so zwischen das Wasser welches unterhalb des Schalenförmigen und zwischen vom Wasser welches über dem Schalenförmigen.'] Label: [['Wasser über die Schaleund Wasser unter der Schale.']] Sacrebleu: {'score': 1.2992493989257516, 'counts': [4, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [10.0, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.444444444444445, 'translation_length': 40, 'reference_length': 9} Rouge: {'rouge1': 0.15384615384615385, 'rouge2': 0.0, 'rougeL': 0.11538461538461538, 'rougeLsum': 0.07692307692307693} Sari: {'sari': 38.49206349206349} Flesh Reading Ease: 38.15 ---------------------------------------- Source: ['Gott setzte sie ans Schalenförmige des Himmels, damit sie über der Erde schienen und damit sie über den Tag und die Nacht herrschten und damit sie zwischen die Helligkeit und von der Finsternis trennten.'] Prediction: ['Gott trennte sich immer wieder von der Finsternis.\nDer Finsternis trennte sie zwischen die Helligkeit und von der Finsternis.'] Label: [['Gott machte die Lichter an den Himmel.\nDie Lichter leuchteten über der Erde.\nSeitdem können wir Tag und Nacht unterscheiden.']] Sacrebleu: {'score': 2.584119484885537, 'counts': [6, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [28.571428571428573, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 0.909156442876713, 'sys_len': 21, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.0, 0.0, 0.0], 'brevity_penalty': 0.909156442876713, 'length_ratio': 0.9130434782608695, 'translation_length': 21, 'reference_length': 23} Rouge: {'rouge1': 0.2, 'rouge2': 0.0, 'rougeL': 0.15, 'rougeLsum': 0.2} Sari: {'sari': 33.03938078330876} Flesh Reading Ease: 71.05 ---------------------------------------- Source: ['Gott betrachtete, dass alles, was er gemacht hatte, sehr gut war.'] Prediction: ['Ein Mann hatte sich in der Nacht auf Sonntag in der Nacht auf Sonntag gemacht.\nEr war sehr gut geworden.\nDer Mann war sehr gut, sehr gut.'] Label: [['Gott schaute herum: Das habe ich alles gemacht.\nUnd Gott war zufrieden.']] Sacrebleu: {'score': 2.8525466573456515, 'counts': [4, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [12.903225806451612, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 1.0, 'sys_len': 31, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.12903225806451613, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.066666666666667, 'translation_length': 31, 'reference_length': 15} Rouge: {'rouge1': 0.10256410256410256, 'rouge2': 0.0, 'rougeL': 0.10256410256410256, 'rougeLsum': 0.10256410256410256} Sari: {'sari': 43.21123321123321} Flesh Reading Ease: 100.8 ---------------------------------------- Source: ['Da sprach Gott: Helligkeit soll entstehen!'] Prediction: ['Ein kleines Jahr soll in den USA eine Helligkeit entstehen.\nDas soll ein Jahr nach dem Tod entstehen.\nDie Frau soll eine Helligkeit entstehen.'] Label: [['Dann sagte Gott: Ich möchte Licht.']] Sacrebleu: {'score': 1.387819277861591, 'counts': [1, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [3.7037037037037037, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.037037037037037035, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.375, 'translation_length': 27, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 46.3095238095238} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Der sechste Tag.'] Prediction: ['Der Schweizer Nati-Spieler ist seit sechster Wochen in den USA gestorben.\nEr wurde dabei verletzt.\nDer sechste Tag spielte aber immer wieder.'] Label: [['Der 6.\nTag war Zu Ende.']] Sacrebleu: {'score': 2.1300733682208985, 'counts': [4, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [16.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.16, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.125, 'translation_length': 25, 'reference_length': 8} Rouge: {'rouge1': 0.13793103448275862, 'rouge2': 0.0, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.13793103448275862} Sari: {'sari': 48.80952380952381} Flesh Reading Ease: 73.25 ---------------------------------------- Source: ['Es wurde Abend und es wurde Morgen: Ein vierter Tag.'] Prediction: ['Im Alter von 99 Jahren wurde ein vierter Tag veröffentlicht.\nEs wurde ein vierter Tag.'] Label: [['Es wurd Abend.\nUnd es wurde Morgen.\nDer 4.\nTag war zu Ende.']] Sacrebleu: {'score': 3.4197980307804725, 'counts': [5, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [29.41176470588235, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.29411764705882354, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 17, 'reference_length': 17} Rouge: {'rouge1': 0.20689655172413793, 'rouge2': 0.07407407407407407, 'rougeL': 0.20689655172413793, 'rougeLsum': 0.20689655172413793} Sari: {'sari': 26.838369963369964} Flesh Reading Ease: 78.9 ---------------------------------------- Source: ['Erfreue uns so viele Tage, wie du uns bedrückt hast, so viele Jahre, wie wir Unglück gesehen haben!'] Prediction: ['20 Minuten überrascht mit einem Podcast, das mit 20 Minuten über die Fragen der Radio-Section deiner 20-Minuten-App, die auf Spotify und Apple Podcasts verfügbar sei.\nWir haben mit der 20-Minuten-App zu Gast, die auf Spotify und Apple Podcasts verfügbar sein kann.'] Label: [['Schenke uns Freude.\nWir hatten Sorgen.\nSchenke uns genau so viel Freude.']] Sacrebleu: {'score': 1.61391821076343, 'counts': [3, 1, 0, 0], 'totals': [50, 49, 48, 47], 'precisions': [6.0, 2.0408163265306123, 1.0416666666666667, 0.5319148936170213], 'bp': 1.0, 'sys_len': 50, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.06, 0.02040816326530612, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3333333333333335, 'translation_length': 50, 'reference_length': 15} Rouge: {'rouge1': 0.03333333333333333, 'rouge2': 0.0, 'rougeL': 0.03333333333333333, 'rougeLsum': 0.03333333333333333} Sari: {'sari': 60.56974071679954} Flesh Reading Ease: 48.35 ---------------------------------------- Source: ['Zeige deinen Knechten dein Handeln und deine Herrlichkeit ihren Kindern!'] Prediction: ['Zeige deinen Knechten dein Handeln und deine Herrlichkeit ihren Kindern!\nWir haben die Weltnummer 1 und -2 mit dem Leben gekürt.\nWir haben die Weltnummer 1 und -2 gekürt.'] Label: [['Zeige deinen Dienern dein Tun.\nZeige deinen Kindern dein Tun.\nZeige uns dein Tun.']] Sacrebleu: {'score': 3.0532163871777716, 'counts': [6, 1, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [18.75, 3.225806451612903, 1.6666666666666667, 0.8620689655172413], 'bp': 1.0, 'sys_len': 32, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.03225806451612903, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8823529411764706, 'translation_length': 32, 'reference_length': 17} Rouge: {'rouge1': 0.17777777777777778, 'rouge2': 0.046511627906976744, 'rougeL': 0.17777777777777778, 'rougeLsum': 0.17777777777777778} Sari: {'sari': 40.4040404040404} Flesh Reading Ease: 76.7 ---------------------------------------- Source: ['Du schwemmst sie weg, sie sind wie Schlaf, am Morgen wie Gras, das aufsprosst.'] Prediction: ['Eine Frau wurde am Morgen wie Gras aufsprosst.\nSie schwemmst sie weg, sie sind wie Gras, das aufsprosst.'] Label: [['Du wischt die Menschen weg wie man Schlaf aus den Augen wischt.\nDie Menschen sind wie Gras.']] Sacrebleu: {'score': 7.946357815712818, 'counts': [7, 2, 1, 0], 'totals': [22, 21, 20, 19], 'precisions': [31.818181818181817, 9.523809523809524, 5.0, 2.6315789473684212], 'bp': 1.0, 'sys_len': 22, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.3181818181818182, 0.09523809523809523, 0.05, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1578947368421053, 'translation_length': 22, 'reference_length': 19} Rouge: {'rouge1': 0.28571428571428575, 'rouge2': 0.12121212121212122, 'rougeL': 0.22857142857142856, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 35.10531135531135} Flesh Reading Ease: 94.95 ---------------------------------------- Source: ['Ein Gebet von Mose, dem Mann Gottes: Mein Herr, eine sichere Wohnung bist du für uns gewesen von Generation zu Generation.'] Prediction: ['Mose bist für seine Wohnung von Generation zu Generation.\nDer Mann hatte sich mit seiner Wohnung zu sehen.\nDie Wohnung bist du für uns gewesen von Generation zu Generation.'] Label: [['Ein Gebet von Moses.\nMoses ist ein Mann GottesWir wohnen bei dir, Gott.\nImmer.']] Sacrebleu: {'score': 1.7345617945636578, 'counts': [5, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [15.625, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.15625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 32, 'reference_length': 18} Rouge: {'rouge1': 0.08888888888888889, 'rouge2': 0.0, 'rougeL': 0.08888888888888889, 'rougeLsum': 0.08888888888888889} Sari: {'sari': 31.915266106442573} Flesh Reading Ease: 59.15 ---------------------------------------- Source: ['Kehre doch zurück, JHWH!'] Prediction: ['JHWH hat eine neue Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-Single-'] Label: [['Gott!']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [5, 4, 3, 2], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 5, 'ref_len': 2} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 5, 'reference_length': 2} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 56.666666666666664} Flesh Reading Ease: -5054.91 ---------------------------------------- Source: ['“ Denn tausend Jahre sind in deinen Augen wie der gestrige Tag, wenn er vergangen ist, oder eine Wache in der Nacht.'] Prediction: ['Tausende Jahre sind in der Schweiz wie der gestrige Tag.\nDenn tausend Jahre sind in der Schweiz wie der gestrige Tag.'] Label: [['Tausend Jahre sind für dich wie ein Tag.\nTausend Jahre sind für dich wie eine Nacht.']] Sacrebleu: {'score': 6.312748574267699, 'counts': [9, 3, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [39.130434782608695, 13.636363636363637, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.391304347826087, 0.13636363636363635, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2777777777777777, 'translation_length': 23, 'reference_length': 18} Rouge: {'rouge1': 0.41025641025641024, 'rouge2': 0.16216216216216214, 'rougeL': 0.41025641025641024, 'rougeLsum': 0.41025641025641024} Sari: {'sari': 43.97772366522367} Flesh Reading Ease: 87.6 ---------------------------------------- Source: ['Die Freundlichkeit des Herrn, unseres Gottes sei über uns! Das Werk unserer Hände festige über uns, und das Werk unserer Hände, festige es!'] Prediction: ['Das Werk unserer Hände festige über uns, und das Werk unserer Hände, festige es!\nDas Werk unserer Hände festige es!'] Label: [['Gottes Freundlichkeit sei mit uns!\nUnsere Hände werden stark.\nJa, Gott, mach unsere Hände stark!']] Sacrebleu: {'score': 2.559082301052818, 'counts': [7, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [29.166666666666668, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.2916666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2, 'translation_length': 24, 'reference_length': 20} Rouge: {'rouge1': 0.25, 'rouge2': 0.10526315789473685, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 32.32193732193732} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Am Morgen blüht es und sprosst auf, zum Abend verwelkt und verdorrt es.'] Prediction: ['Am Morgen blüht es in der Nacht auf Sonntag zum Abend.\nDer Mann verdorrt und verdorrt es.'] Label: [['Das Gras wächst und blüht.\nDas Gras sieht schön aus.\nDas Gras verwelkt und vertrocknet.']] Sacrebleu: {'score': 2.8629993657668873, 'counts': [4, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [21.05263157894737, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0555555555555556, 'translation_length': 19, 'reference_length': 18} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.058823529411764705, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 31.30952380952381} Flesh Reading Ease: 101.3 ---------------------------------------- Source: ['Du stellst unsere Fehler vor dich, unsere Geheimnisse vor das Licht deiner Gegenwart.'] Prediction: ['Der Schweizer Bundesrat hat einen Fehler gesetzt.\nDer Geheimnisse wird vorgeworfen.'] Label: [['Gott sieht alle unsere Fehler.\nGott sieht auch die geheimen Fehler.']] Sacrebleu: {'score': 4.065425428798724, 'counts': [3, 0, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [23.076923076923077, 4.166666666666667, 2.272727272727273, 1.25], 'bp': 1.0, 'sys_len': 13, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.23076923076923078, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 13, 'reference_length': 13} Rouge: {'rouge1': 0.09090909090909091, 'rouge2': 0.0, 'rougeL': 0.09090909090909091, 'rougeLsum': 0.09090909090909091} Sari: {'sari': 54.54365079365079} Flesh Reading Ease: 57.5 ---------------------------------------- Source: ['Ja, alle unsere Tage fahren dahin durch deinen Zorn, wir vollenden unsere Jahre wie einen Seufzer.'] Prediction: ['Seit mehreren Tagen fahren die Schweizerin in den letzten Jahren wie einen Seufzer.\nWir haben sich mit dem Zorn zu Gast gekürt.'] Label: [['Alles geht vorbei durch Gottes Zorn.\nAlles ist Stöhnen und Seufzen.']] Sacrebleu: {'score': 2.0705706652424007, 'counts': [3, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [12.5, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8461538461538463, 'translation_length': 24, 'reference_length': 13} Rouge: {'rouge1': 0.057142857142857134, 'rouge2': 0.0, 'rougeL': 0.057142857142857134, 'rougeLsum': 0.057142857142857134} Sari: {'sari': 35.833333333333336} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['Die Tage unserer Jahre, in ihnen sind siebzig Jahre, und mit Kraft achtzig Jahre.'] Prediction: ['Die Tage unserer Jahre, in ihnen sind siebzig Jahre, und mit Kraft achtzig Jahre.\nWir haben mit Kraft eine Tage gesprochen.'] Label: [['Der Mensch wird 70 Jahre alt.\nWenn der Mensch Kraft hat, wird er 80 Jahre alt.']] Sacrebleu: {'score': 2.357313684245234, 'counts': [6, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [24.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.24, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3157894736842106, 'translation_length': 25, 'reference_length': 19} Rouge: {'rouge1': 0.16216216216216214, 'rouge2': 0.0, 'rougeL': 0.16216216216216214, 'rougeLsum': 0.16216216216216214} Sari: {'sari': 36.407766990291265} Flesh Reading Ease: 70.05 ---------------------------------------- Source: ['Wer erkennt die Stärke deines Zorns?'] Prediction: ['Die Schweizer Stadt Zürich hat ihre Stärke in den Zürcher Zorns geschickt.\nDer Zürcher Stadt hatte sich mit einem Zusammenhang mit dem Zorns geschickt.'] Label: [['Niemand ist stark gegen Gottes Zorn.\nWer kann wissen: Wie stark ist Gottes Zorn?']] Sacrebleu: {'score': 1.4445809981770859, 'counts': [1, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [3.8461538461538463, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.038461538461538464, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5294117647058822, 'translation_length': 26, 'reference_length': 17} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 54.76190476190476} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['Wie die Furcht vor dir ist dein Grimm. Darum lehre uns, unsere Tage zu zählen, damit wir ein Herz der Weisheit bekommen.'] Prediction: ['Der Grimm lebt seit ein paar Tagen in die Schweiz.\nDie Tage zur Verfügung ist zu spät.\nWir leiden, die Tage zu zählen.'] Label: [['Darum lernen wir.\nUnsere Herzen werden weise.']] Sacrebleu: {'score': 1.6504045595709425, 'counts': [2, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [7.407407407407407, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.07407407407407407, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.0, 'translation_length': 27, 'reference_length': 9} Rouge: {'rouge1': 0.060606060606060615, 'rouge2': 0.0, 'rougeL': 0.060606060606060615, 'rougeLsum': 0.060606060606060615} Sari: {'sari': 42.801771871539316} Flesh Reading Ease: 96.25 ---------------------------------------- Source: ['Sättige uns am Morgen mit deiner Güte, dann werden wir jubeln und uns freuen an allen unseren Tagen!'] Prediction: ['Am Morgen wurde die Weltkamera von 20 Minuten veröffentlicht.\nDie beiden werden wir jubeln und uns freuen an allen Tagen.\nWir haben mit dem Güte eine Güte gesprochen.'] Label: [['Schenke uns morgens deine Liebe.\nWir freuen uns.\nGott!']] Sacrebleu: {'score': 3.016200863100729, 'counts': [5, 1, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [16.129032258064516, 3.3333333333333335, 1.7241379310344827, 0.8928571428571429], 'bp': 1.0, 'sys_len': 31, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.16129032258064516, 0.03333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5833333333333335, 'translation_length': 31, 'reference_length': 12} Rouge: {'rouge1': 0.15000000000000002, 'rouge2': 0.0, 'rougeL': 0.09999999999999999, 'rougeLsum': 0.15000000000000002} Sari: {'sari': 35.11240221766538} Flesh Reading Ease: 65.4 ---------------------------------------- Source: ['Bevor die Berge geboren waren und du die Erde und die irdische Welt hervorgebracht hattest, und von Ewigkeit zu Ewigkeit bist du Gott.'] Prediction: ['Der Chef der Schweizer Grenze hat einen grossen Chef-Kollegen.\nDer Chef hat die Erde und die irdische Welt hervorgebracht.\nDie Welt ist von Ewigkeit zu Ewigkeit gekommen.'] Label: [['Du bist älter als die Berge und die ganze Welt.']] Sacrebleu: {'score': 3.1221929756173616, 'counts': [5, 1, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [16.666666666666668, 3.4482758620689653, 1.7857142857142858, 0.9259259259259259], 'bp': 1.0, 'sys_len': 30, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.034482758620689655, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.727272727272727, 'translation_length': 30, 'reference_length': 11} Rouge: {'rouge1': 0.21052631578947364, 'rouge2': 0.05555555555555555, 'rougeL': 0.21052631578947364, 'rougeLsum': 0.21052631578947364} Sari: {'sari': 35.64446990917578} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['und Ihr Stolz ist Mühe und Beschwerde, denn er ist schnell vergangen und wir fliegen davon.'] Prediction: ['Der Schweizer Stolz ist mit Mühe und Beschwerde vergangen.\nDer Stolz fliegt davon.\nIm Interview spricht er über die Welt und wir fliegen davon.'] Label: [['Wir haben es nicht leicht.\nDann ist das Leben schon vorbei.']] Sacrebleu: {'score': 1.826472886268134, 'counts': [3, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [11.11111111111111, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.076923076923077, 'translation_length': 27, 'reference_length': 13} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.0, 'rougeL': 0.05555555555555555, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 35.51587301587302} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Du lässt den Menschen zum Staub zurückkehren und sprichst: „Kehrt zurück, ihr Kinder des Menschen!'] Prediction: ['Einige Menschen wollten ihr Kinder des Menschen zurückkehren.\nEinige wollten ihr Kinder des Menschen zurückkehren.'] Label: [['Du rufst: Kommt zurück zu mir!']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 17, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.125, 'translation_length': 17, 'reference_length': 8} Rouge: {'rouge1': 0.08333333333333333, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.08333333333333333} Sari: {'sari': 30.555555555555554} Flesh Reading Ease: 49.65 ---------------------------------------- Source: ['Denn wir vergehen durch deinen Zorn, und durch deine Zorneshitze werden wir verstört.'] Prediction: ['Der Schweizer Zorn-Star ist auf der Suche nach der Zorn-Podcast "Unchained" auf Spotify.\nIm Interview spricht er über die Welt und wir wollen das Leben verhindern.'] Label: [['Menschen vertrocknen vor Gottes Zorn.\nGottes heißer Zorn trocknet Menschen aus.']] Sacrebleu: {'score': 1.4763939041893883, 'counts': [2, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [6.666666666666667, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3076923076923075, 'translation_length': 30, 'reference_length': 13} Rouge: {'rouge1': 0.15, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.15} Sari: {'sari': 60.9090909090909} Flesh Reading Ease: 79.25 ---------------------------------------- Source: ['Da starb Elimelech, der Mann Noomis, und sie hinterblieb, sie und ihre beiden Söhne.'] Prediction: ['Elimelech (18) ist ein Mann, der Mann Noomis (29) hinterblieb und sie hinterblieb.\nDas hat Elimelech zum dritten Mal seit Monaten veröffentlicht.\nDie beiden waren Elimelech und ihre beiden Söhne.'] Label: [['Da stirbt Elimelech.\nNoomi bleibt alleine mit den beiden Söhnen.']] Sacrebleu: {'score': 1.3705063051209185, 'counts': [4, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [10.526315789473685, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1666666666666665, 'translation_length': 38, 'reference_length': 12} Rouge: {'rouge1': 0.13953488372093023, 'rouge2': 0.04878048780487805, 'rougeL': 0.13953488372093023, 'rougeLsum': 0.13953488372093023} Sari: {'sari': 34.375} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Sie waren Efratiter aus Betlehem in Juda. Und so kamen sie ins Gebiet von nach Moab und blieben dort.'] Prediction: ['Efratiter aus Betlehem waren Efratiter aus Betlehem in Juda.\nSie blieben dort.\nSie sollen ins Gebiet von nach Moab und blieben dort.'] Label: [['Sie kommen aus Bethlehem und ziehen nach Moab.']] Sacrebleu: {'score': 3.9645132534206886, 'counts': [6, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [24.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.24, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7777777777777777, 'translation_length': 25, 'reference_length': 9} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.07142857142857142, 'rougeL': 0.19999999999999998, 'rougeLsum': 0.26666666666666666} Sari: {'sari': 35.63492063492063} Flesh Reading Ease: 73.25 ---------------------------------------- Source: ['Der Name des Mannes war Elimelech und der Name seiner Frau war Noomi und die Namen seiner beiden Söhne waren Machlon und Kiljon.'] Prediction: ['Ein Mann wurde in den vergangenen Tagen vermisst.\nDer Name seiner Frau war Noomi und die Namen seiner beiden Söhne waren Machlon und Kiljon.'] Label: [['Der Mann heißt Elimelech.\nDer Name bedeutet: Mein Gott ist König.\nDie Frau heißt Noomi.\nDer Name bedeutet: lieblich.\nEin Sohn heißt Machlon.\nDer Name bedeutet: krank.\nEin anderer Sohn heißt Kiljon.\nDer Name heißt: verschwindet.']] Sacrebleu: {'score': 3.450084721913423, 'counts': [10, 3, 1, 0], 'totals': [26, 25, 24, 23], 'precisions': [38.46153846153846, 12.0, 4.166666666666667, 2.1739130434782608], 'bp': 0.42906200094310865, 'sys_len': 26, 'ref_len': 48} Bleu: {'bleu': 0.0, 'precisions': [0.38461538461538464, 0.12, 0.041666666666666664, 0.0], 'brevity_penalty': 0.42906200094310865, 'length_ratio': 0.5416666666666666, 'translation_length': 26, 'reference_length': 48} Rouge: {'rouge1': 0.26865671641791045, 'rouge2': 0.030769230769230767, 'rougeL': 0.20895522388059704, 'rougeLsum': 0.2388059701492537} Sari: {'sari': 37.71321879874511} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Und sie begann, zurückzukehren - sie und ihre Schwiegertöchter - aus dem Gebiet von Moab, weil sie in dem Gebiet von Moab gehört hatte, dass JHWH sein Volk besucht hatte, indem er ihm Brot gegeben hatte.'] Prediction: ['JHWH hatte sein Brot in einem Gebiet von Moab besucht.\nDer Brot hatte ihm ihm Brot gegeben.'] Label: [['Noomi will nach Hause.']] Sacrebleu: {'score': 2.0244462660665508, 'counts': [1, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [5.2631578947368425, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.05263157894736842, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.8, 'translation_length': 19, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 42.94871794871795} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['Sie nahmen sich moabitische Frauen.'] Prediction: ['Eine Frau aus den USA nahm sich mit einem moabiten Frauen zu.\nSie nahmen sie sich in den nächsten Tagen.\nSie nahmen sie sich moabitische Frauen.'] Label: [['Die Söhne finden Frauen in Moab.']] Sacrebleu: {'score': 1.6934096677198087, 'counts': [3, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [10.344827586206897, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.10344827586206896, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.142857142857143, 'translation_length': 29, 'reference_length': 7} Rouge: {'rouge1': 0.11764705882352941, 'rouge2': 0.0, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.11764705882352941} Sari: {'sari': 38.425925925925924} Flesh Reading Ease: 83.55 ---------------------------------------- Source: ['Der Name der einen war Orpa und der Name der anderen war Rut.'] Prediction: ['Ein Mann hat einen Orpa.\nDer Name der anderen war Rut.'] Label: [['Eine Frau heißt Orpa.\nDer Name bedeutet: Wolke.\nDie andere Frau heißt Rut.\nDer Name bedeutet: Erfrischung.']] Sacrebleu: {'score': 10.656345925223794, 'counts': [6, 4, 2, 1], 'totals': [13, 12, 11, 10], 'precisions': [46.15384615384615, 33.333333333333336, 18.181818181818183, 10.0], 'bp': 0.46336936923117533, 'sys_len': 13, 'ref_len': 23} Bleu: {'bleu': 0.10656345925223795, 'precisions': [0.46153846153846156, 0.3333333333333333, 0.18181818181818182, 0.1], 'brevity_penalty': 0.4633693692311752, 'length_ratio': 0.5652173913043478, 'translation_length': 13, 'reference_length': 23} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.14285714285714285, 'rougeL': 0.26666666666666666, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 41.37462548607127} Flesh Reading Ease: 92.6 ---------------------------------------- Source: ['Sie wohnten etwa zehn Jahre dort.'] Prediction: ['Eine Frau wohnte zehn Jahre dort.\nSie wohnte etwa zehn Jahre dort.'] Label: [['Sie wohnen zehn Jahre zusammen in Moab.']] Sacrebleu: {'score': 6.754312828675707, 'counts': [4, 1, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [28.571428571428573, 7.6923076923076925, 4.166666666666667, 2.272727272727273], 'bp': 1.0, 'sys_len': 14, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.2857142857142857, 0.07692307692307693, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 14, 'reference_length': 8} Rouge: {'rouge1': 0.3157894736842105, 'rouge2': 0.11764705882352942, 'rougeL': 0.3157894736842105, 'rougeLsum': 0.3157894736842105} Sari: {'sari': 43.333333333333336} Flesh Reading Ease: 86.25 ---------------------------------------- Source: ['Da starben auch diese beiden - Machlon und Kiljon - , und es hinterblieb die Frau, ohne ihre beiden Kinder und ohne ihren Mann.'] Prediction: ['Eine Frau (27) ist zum dritten Mal schwer verstorben.\nSie starb auch ihren Mann Machlon und Kiljon (28) und hinterblieb die Frau, ohne ihre beiden Kinder und ohne ihren Mann.'] Label: [['Da sterben auch die beiden Söhne.\nDie Mutter Noomi bleibt alleine.']] Sacrebleu: {'score': 1.4899946568663818, 'counts': [5, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [13.513513513513514, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.13513513513513514, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8461538461538463, 'translation_length': 37, 'reference_length': 13} Rouge: {'rouge1': 0.14285714285714288, 'rouge2': 0.0, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.14285714285714288} Sari: {'sari': 34.28571428571429} Flesh Reading Ease: 77.25 ---------------------------------------- Source: ['Da verließ ein Mann Betlehem in Juda, um sich in dem Gebiet von Moab niederzulassen - er, seine Frau und seine beiden Söhne.'] Prediction: ['In Israel ist ein Mann in einem Gebiet niederzulassen.\nEr, seine Frau und seine beiden Söhne verliehen sich in den Gebieten.'] Label: [['Ein Mann lebt mit seiner Familie in Bethlehem.']] Sacrebleu: {'score': 2.0705706652424007, 'counts': [3, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [12.5, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 24, 'reference_length': 9} Rouge: {'rouge1': 0.19999999999999998, 'rouge2': 0.07142857142857142, 'rougeL': 0.19999999999999998, 'rougeLsum': 0.19999999999999998} Sari: {'sari': 38.33333333333333} Flesh Reading Ease: 64.2 ---------------------------------------- Source: ['da, wo du sterben wirst, will ich sterben und dort will ich begraben werden!'] Prediction: ['Ella (23) ist während der Woche aufgefunden, dass sie ihn schon lange sterben wird.\nIst du das nicht mehr, sondern mehr, dann will ihn sie begraben.\nAber wenn du sterben wirst, willst du sie sich begraben werden.'] Label: [['Wo musst du sterben?\nIch will auch da sterben.\nUnd dort will ich begraben sein!']] Sacrebleu: {'score': 2.091907353029706, 'counts': [6, 1, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [13.043478260869565, 2.2222222222222223, 1.1363636363636365, 0.5813953488372093], 'bp': 1.0, 'sys_len': 46, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.13043478260869565, 0.022222222222222223, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5555555555555554, 'translation_length': 46, 'reference_length': 18} Rouge: {'rouge1': 0.18867924528301885, 'rouge2': 0.0392156862745098, 'rougeL': 0.1509433962264151, 'rougeLsum': 0.18867924528301885} Sari: {'sari': 25.382181675285125} Flesh Reading Ease: 85.8 ---------------------------------------- Source: ['dein Volk sei mein Volk und dein Gott sei mein Gott;'] Prediction: ['Der Schweizer Volk ist ein ehemaliger Schweizer.\nDer Schweizer ist ein ehemaliger Schweizer.\nEr sei mein Gott.'] Label: [['Denn wir sind eine Familie.\nDeine Heimat ist meine Heimat.\nUnd dein Gott ist mein Gott.']] Sacrebleu: {'score': 8.808424865565325, 'counts': [7, 2, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [35.0, 10.526315789473685, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.35, 0.10526315789473684, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0526315789473684, 'translation_length': 20, 'reference_length': 19} Rouge: {'rouge1': 0.24242424242424243, 'rouge2': 0.06451612903225808, 'rougeL': 0.24242424242424243, 'rougeLsum': 0.24242424242424243} Sari: {'sari': 44.89288307915759} Flesh Reading Ease: 80.7 ---------------------------------------- Source: ['Solches tue mir JHWH und solches füge er hinzu, wenn nicht einzig der Tod uns scheiden wird.'] Prediction: ['Im Podcast "Unchained" diskutieren prominenter DJs, die ihre Leute auf Spotify und Apple Podcasts prominenter diskutieren.\nWir haben dir jeden zweiten Dienstag die besten neuen Episoden der 20-Minuten-App bekannt gegeben.\nHier gibts die besten Antworten der 20-Minuten-App, bei Spotify, Apple Podcasts und Tune In.'] Label: [['Nur der Tod kann uns trennen.\nIch bleibe bei dir oder ich will sofort tot umfallen.']] Sacrebleu: {'score': 0.9702695924258076, 'counts': [5, 0, 0, 0], 'totals': [56, 55, 54, 53], 'precisions': [8.928571428571429, 0.9090909090909091, 0.46296296296296297, 0.2358490566037736], 'bp': 1.0, 'sys_len': 56, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.08928571428571429, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.111111111111111, 'translation_length': 56, 'reference_length': 18} Rouge: {'rouge1': 0.09375, 'rouge2': 0.0, 'rougeL': 0.0625, 'rougeLsum': 0.09375} Sari: {'sari': 53.237865194386934} Flesh Reading Ease: 42.45 ---------------------------------------- Source: ['Dahin, wohin du gehen wirst, will ich gehen, und da, wo du rasten wirst, will ich rasten;'] Prediction: ['Ein wichtiges Problem: Wer rasten wirst, will ich rasten, will ich rasten.\nAber, wohin du gehen wirst, will ich rasten.'] Label: [['Du gehst?\nGut.\nIch will mit dir gehen.\nDu ruhst?\nIch will mit dir ruhen.']] Sacrebleu: {'score': 2.0752738657056446, 'counts': [5, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [18.51851851851852, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.18518518518518517, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.35, 'translation_length': 27, 'reference_length': 20} Rouge: {'rouge1': 0.34285714285714286, 'rouge2': 0.0, 'rougeL': 0.2285714285714286, 'rougeLsum': 0.28571428571428575} Sari: {'sari': 37.62426900584796} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['“ Da sah sie, wie entschlossen sie war, mit ihr zu gehen.'] Prediction: ['Eine Frau (24) wurde von ihrem Partner aufgefunden, ihre Partnerin zu gehen.\nSie war damit nicht mehr gefasst, sondern auch ihr Partner.\nDie Frau war so vor Ort, dass sie ihre Partnerin nicht mehr geschickt hat.'] Label: [['“ Da sieht Noomi: Rut ist fest entschlossen.\nRut will mit Noomi gehen.']] Sacrebleu: {'score': 1.841913568484358, 'counts': [3, 1, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [6.818181818181818, 2.3255813953488373, 1.1904761904761905, 0.6097560975609756], 'bp': 1.0, 'sys_len': 44, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.06818181818181818, 0.023255813953488372, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 44, 'reference_length': 16} Rouge: {'rouge1': 0.041666666666666664, 'rouge2': 0.0, 'rougeL': 0.041666666666666664, 'rougeLsum': 0.041666666666666664} Sari: {'sari': 41.250971250971254} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['Da hörte sie auf, zu ihr zu sprechen.'] Prediction: ['Eine Frau war auf der Suche, um sie zu ihr zu sprechen.\nSie war auf der Suche zu sprechen.'] Label: [['Da hört Noomi auf zu reden.\nNoomi schweigt.']] Sacrebleu: {'score': 2.4426633221059637, 'counts': [4, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2, 'translation_length': 22, 'reference_length': 10} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.0, 'rougeL': 0.14285714285714285, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 33.19892473118279} Flesh Reading Ease: 94.45 ---------------------------------------- Source: ['“ So also kehrte Noomi zurück.'] Prediction: ['Noomi hat eine Frau mit ihrem Gesundheitskandidat.\nSie hat sie zurückgezogen.'] Label: [['Aber Noomi ist wieder zu Hause.']] Sacrebleu: {'score': 3.673526562988939, 'counts': [2, 0, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [15.384615384615385, 4.166666666666667, 2.272727272727273, 1.25], 'bp': 1.0, 'sys_len': 13, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8571428571428572, 'translation_length': 13, 'reference_length': 7} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.0, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 51.65 ---------------------------------------- Source: ['Und so gingen die beidengemeinsam, bis sie nach Betlehem kamen.'] Prediction: ['Die Frauen in den USA waren nach Betlehem gefeiert.\nSie waren nach Betlehem gefeiert.\nSie waren nach Betlehem gefeiert.'] Label: [['Und so gehen Rut und Noomi zusammen.\nUnd Rut und Noomi kommen endlich nach Bethlehem.']] Sacrebleu: {'score': 2.2731543567022867, 'counts': [3, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [13.636363636363637, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.13636363636363635, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2941176470588236, 'translation_length': 22, 'reference_length': 17} Rouge: {'rouge1': 0.058823529411764705, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.058823529411764705} Sari: {'sari': 50.48941798941799} Flesh Reading Ease: 68.4 ---------------------------------------- Source: ['“ Da sagte Rut: „Bestürme mich nicht, dich zu verlassen, vom mit-dir - Sein zurückzukehren!'] Prediction: ['Rut (34) und Maddy (29) sind in der Schweiz zum dritten Mal geworden.\nDer Grund: Der neue Trailer, in dem sie sich mit ihrem neuen Album veröffentlicht wurde.\nWir haben dir die besten Trailer, weiter unten den Direktlink zum Trailer.'] Label: [['Da sagt Rut: „Sag nicht: Geh!\nUnd sag nicht: Ich soll dich allein lassen!']] Sacrebleu: {'score': 0.8671339908544159, 'counts': [2, 0, 0, 0], 'totals': [50, 49, 48, 47], 'precisions': [4.0, 1.0204081632653061, 0.5208333333333334, 0.26595744680851063], 'bp': 1.0, 'sys_len': 50, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.04, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6315789473684212, 'translation_length': 50, 'reference_length': 19} Rouge: {'rouge1': 0.07272727272727274, 'rouge2': 0.0, 'rougeL': 0.07272727272727274, 'rougeLsum': 0.07272727272727274} Sari: {'sari': 51.388888888888886} Flesh Reading Ease: 78.95 ---------------------------------------- Source: ['Mit dir wollen wir zu deinem Volk zurückkehren!'] Prediction: ['Mit dem Volk wollen wir zu einem Volk zurückkehren.\nMit dir wollen wir zu deinem Volk zurückkehren.'] Label: [['Wir wollen mit dir gehen.']] Sacrebleu: {'score': 2.6643211213888947, 'counts': [3, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1666666666666665, 'translation_length': 19, 'reference_length': 6} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.0909090909090909, 'rougeL': 0.25, 'rougeLsum': 0.25} Sari: {'sari': 44.30555555555556} Flesh Reading Ease: 77.9 ---------------------------------------- Source: ['Und sie gingen auf dem Weg, um ins Land Juda zurückzukehren.'] Prediction: ['Eine Frau wurde im Land Juda zurückzukehren.\nSie gingen auf dem Weg, um ins Land Juda zurückzukehren.'] Label: [['Und Noomi will nach Hause gehen.']] Sacrebleu: {'score': 1.9146030690102511, 'counts': [1, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [5.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.05, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.857142857142857, 'translation_length': 20, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 26.190476190476193} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['Da sagte Noomi zu ihren beiden Schwiegertöchtern: „Geht! Kehrt zurück, jede ins Haus ihrer Mutter!'] Prediction: ['Noomi (24) und ihr Mutter (27) sind tot.\nSie haben ihren Schwiegertöchtern gesucht.\nNoomi (27) ist zum dritten Mal in ihrer Mutter.'] Label: [['Noomi sagt darum zu Rut und Orpa:" Geht!\nGeht zu euren Müttern!\nGeht nach Hause!']] Sacrebleu: {'score': 1.4262733286728257, 'counts': [2, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [6.451612903225806, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.06451612903225806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.55, 'translation_length': 31, 'reference_length': 20} Rouge: {'rouge1': 0.10256410256410256, 'rouge2': 0.0, 'rougeL': 0.10256410256410256, 'rougeLsum': 0.10256410256410256} Sari: {'sari': 50.33882783882784} Flesh Reading Ease: 84.95 ---------------------------------------- Source: ['Dann küsste Orpa ihre Schwiegermutter und Rut hängte sich an sie.'] Prediction: ['Eine Schwiegermutter hat ihre Schwiegermutter und Rut hängte sich an sie.\nDas küsste dann ihre Schwiegermutter und Rut hängte sich an sie.'] Label: [['Dann küsst Orpa Noomi zum Abschied.\nAber ° Rut° hängt an Noomi.']] Sacrebleu: {'score': 2.0705706652424007, 'counts': [3, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [12.5, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7142857142857142, 'translation_length': 24, 'reference_length': 14} Rouge: {'rouge1': 0.2631578947368421, 'rouge2': 0.05555555555555555, 'rougeL': 0.2105263157894737, 'rougeLsum': 0.2105263157894737} Sari: {'sari': 28.333333333333332} Flesh Reading Ease: 69.55 ---------------------------------------- Source: ['Da erhoben sie ihre Stimmen, weinten und sagten zu ihr: „Nein!'] Prediction: ['Die Schweizerin hat ihre Stimmen geschafft.\nSie sagt, dass sie ihre Stimmen weinten und sagt zu ihr: „Nein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!\nNein!'] Label: [['" Aber Rut und Orpa sagen:" Nein.']] Sacrebleu: {'score': 0.8851290873849788, 'counts': [4, 0, 0, 0], 'totals': [58, 57, 56, 55], 'precisions': [6.896551724137931, 0.8771929824561403, 0.44642857142857145, 0.22727272727272727], 'bp': 1.0, 'sys_len': 58, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.06896551724137931, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.8, 'translation_length': 58, 'reference_length': 10} Rouge: {'rouge1': 0.09523809523809525, 'rouge2': 0.0, 'rougeL': 0.09523809523809525, 'rougeLsum': 0.09523809523809525} Sari: {'sari': 38.11965811965812} Flesh Reading Ease: 91.8 ---------------------------------------- Source: ['Sind mir etwa noch mehr Söhne im Leib, sodass sie eure Männer werden könnten?'] Prediction: ['Im Leib könnte sich die Männer eine Möglichkeit aus dem Leib kommen.\nSie werden eure Männer werden könnten.'] Label: [['Habe ich etwa einen Mann für euch?\nIch habe keine anderen Söhne.']] Sacrebleu: {'score': 1.9146030690102511, 'counts': [1, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [5.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.05, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4285714285714286, 'translation_length': 20, 'reference_length': 14} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 31.48148148148148} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['“ Da sagte Noomi: „Kehrt zurück, meine Töchter! Warum wollt ihr mit mir gehen?'] Prediction: ['Noomi (24) ist zurück, wie ihr Töchter mit ihrem Töchter geht.\nWir haben sie zu Gast gekürt, was sie sich mit ihrem Töchter gehen kann.\nWir haben sie zu Gast gekürt, wie du ihr mit dem Töchter geht.'] Label: [['" Da sagt Noomi:" Warum wollt ihr mit mir gehen?']] Sacrebleu: {'score': 1.8902516755638092, 'counts': [4, 1, 0, 0], 'totals': [46, 45, 44, 43], 'precisions': [8.695652173913043, 2.2222222222222223, 1.1363636363636365, 0.5813953488372093], 'bp': 1.0, 'sys_len': 46, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.022222222222222223, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5384615384615383, 'translation_length': 46, 'reference_length': 13} Rouge: {'rouge1': 0.14814814814814814, 'rouge2': 0.038461538461538464, 'rougeL': 0.14814814814814814, 'rougeLsum': 0.14814814814814814} Sari: {'sari': 26.401577044959396} Flesh Reading Ease: 91.25 ---------------------------------------- Source: ['Ach, mir ist es um euretwillen sehr bitter, dass die Hand JHWHs gegen mich ging.'] Prediction: ['Jenny Spears (34) ist die britische Schauspielerin JHWHs (45) geworden.\nDie Welt ist euretwillen sehr bitter.\nDie beiden waren die beiden in der Schweiz.'] Label: [['Gott hat mich bestraft.\nUnd darum kann ich euch nicht helfen.']] Sacrebleu: {'score': 1.4262733286728257, 'counts': [2, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [6.451612903225806, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.06451612903225806, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3846153846153846, 'translation_length': 31, 'reference_length': 13} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 42.68518518518518} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['JHWH erweise euch Güte, so wie ihr sie den Toten und mir erwiesen habt: JHWH vergelte es euch damit, dass ihr Ruhe findet - jede im Haus ihres Mannes! “ - und sie küsste sie.'] Prediction: ['JHWH (34) ist seit mehreren Jahren im Alter von 99 Jahren im Alter von 99 Jahren gestorben.\nEr wurde von ihrem Ruhe gesucht.\nDer Gruhe wurde von JHWH aufgefunden.'] Label: [['Ich liebe euch als gute Frauen für meine Söhne.\nAber meine Söhne sind tot.\nIch muss euch darum jetzt verlassen.\nGott hilft euch jetzt.\nIhr findet dann Ruhe.\nIhr findet dann auch einen Mann.']] Sacrebleu: {'score': 1.290338541030558, 'counts': [4, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [11.764705882352942, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 0.8382234324229999, 'sys_len': 34, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8382234324229999, 'length_ratio': 0.85, 'translation_length': 34, 'reference_length': 40} Rouge: {'rouge1': 0.030303030303030304, 'rouge2': 0.0, 'rougeL': 0.030303030303030304, 'rougeLsum': 0.030303030303030304} Sari: {'sari': 60.47077922077923} Flesh Reading Ease: 76.7 ---------------------------------------- Source: ['Und noch einmal erhoben sie ihre Stimme und weinten.'] Prediction: ['Eine Frau erhoben ihre Stimme und weinten.\nSie erhoben ihre Stimme und weinten.'] Label: [['" Rut und Orpa weinen.']] Sacrebleu: {'score': 3.1251907639724417, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 15, 'reference_length': 6} Rouge: {'rouge1': 0.11764705882352941, 'rouge2': 0.0, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.11764705882352941} Sari: {'sari': 36.27450980392157} Flesh Reading Ease: 68.2 ---------------------------------------- Source: ['Da sagte sie: „ Siehe, deine Schwägerin kehrt zu ihrem Volk und ihrem Gott zurück - kehre alsoauch du mit deiner Schwägerin zurück!'] Prediction: ['Eine Schwägerin hat ihren Volk und ihrem Gott zurückgezogen.\nSie hat ihre Schwägerin mit ihrem Gott zurückgezogen.\nSie hat ihre Schwägerin mit ihrem Gott zurückgezogen.'] Label: [['Und Noomi sagt:" Orpa geht schon nach Hause.\nRut!\nGeh mit Orpa.\nGeh nach Hause!']] Sacrebleu: {'score': 1.7574239156849023, 'counts': [3, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [10.714285714285714, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.10714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 28, 'reference_length': 21} Rouge: {'rouge1': 0.08695652173913043, 'rouge2': 0.0, 'rougeL': 0.08695652173913043, 'rougeLsum': 0.08695652173913043} Sari: {'sari': 36.30236185383244} Flesh Reading Ease: 54.7 ---------------------------------------- Source: ['Und sie verließ den Ort, wo sie gewesen war, und ihre beiden Schwiegertöchter waren bei ihr.'] Prediction: ['Eine Schwiegertöchter wurde in ihrem Ort gefunden.\nSie verließ den Ort, wo sie gewesen war, und ihre beiden Schwiegertöchter waren bei ihr.'] Label: [['°Noomi° geht los.\nAber Rut und Orpa sind bei Noomi.']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1666666666666665, 'translation_length': 26, 'reference_length': 12} Rouge: {'rouge1': 0.11764705882352941, 'rouge2': 0.0, 'rougeL': 0.11764705882352941, 'rougeLsum': 0.11764705882352941} Sari: {'sari': 27.631578947368425} Flesh Reading Ease: 63.7 ---------------------------------------- Source: ['Noomi hatte einen Verwandten ihres Mannes; Sein Name war: Boas.'] Prediction: ['Noomi hatte einen Verwandten ihres Mannes.\nSein Name war: Boas.'] Label: [['Noomi kennt Boas.\nNoomi und Boas sind verwandt.']] Sacrebleu: {'score': 7.347053125977879, 'counts': [4, 1, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [30.76923076923077, 8.333333333333334, 4.545454545454546, 2.5], 'bp': 1.0, 'sys_len': 13, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.3076923076923077, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3, 'translation_length': 13, 'reference_length': 10} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.0, 'rougeL': 0.22222222222222224, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 38.18181818181819} Flesh Reading Ease: 75.55 ---------------------------------------- Source: ['einen mächtigen, fähigen Mann aus der Sippe Elimelechs.'] Prediction: ['Ein mächtiger, fähigen Mann aus der Sippe Elimelechs.\nDer Mann fähte mit einem mächtigen, fähigen Mann aus der Sippe Elimelechs.'] Label: [['Boas ist klug.\nBoas ist mächtig.\nNoomi und Boas gehören zu einer Familie.\nDie Familie von Elimelech.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1428571428571428, 'translation_length': 24, 'reference_length': 21} Rouge: {'rouge1': 0.04545454545454545, 'rouge2': 0.0, 'rougeL': 0.04545454545454545, 'rougeLsum': 0.04545454545454545} Sari: {'sari': 35.0} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Rut, die Moabiterin, sagte zu Noomi: „Ich würde gerne auf das Feld gehen und an den Ähren mitlesen hinter dem, in dessen Augen ich Gefallen finde.'] Prediction: ['Noomi (4) und Rut (5) sind gerne auf das Feld gehen.\nDas Feld würde aufgrund des Ähren mitlesen.\nNoomi hatte sich mitlesen hinter dem, in dessen Augen ich Gefallen finde.'] Label: [['Rut gehört nicht zur Familie.\nAber Rut sagt: Ich möchte helfen.\nIch möchte auf das Feld gehen.\nAuf dem Feld wird geerntet.\nVielleicht mag Boas mich. Dann darf ich sammeln.\nVielleicht kann ich mit Boas ernten.']] Sacrebleu: {'score': 9.434941295924153, 'counts': [11, 4, 3, 2], 'totals': [38, 37, 36, 35], 'precisions': [28.94736842105263, 10.81081081081081, 8.333333333333334, 5.714285714285714], 'bp': 0.8539396656235351, 'sys_len': 38, 'ref_len': 44} Bleu: {'bleu': 0.09434941295924154, 'precisions': [0.2894736842105263, 0.10810810810810811, 0.08333333333333333, 0.05714285714285714], 'brevity_penalty': 0.8539396656235351, 'length_ratio': 0.8636363636363636, 'translation_length': 38, 'reference_length': 44} Rouge: {'rouge1': 0.2285714285714286, 'rouge2': 0.08823529411764706, 'rougeL': 0.2, 'rougeLsum': 0.2285714285714286} Sari: {'sari': 44.32504632451666} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['“ Sie sagte zu ihr: „Geh, meine Tochter!'] Prediction: ['Eine Tochter (18) ist von ihrem Mann aufgefunden.\nSie war zuvor von ihrem Mann.\nSie war selbstkritisch.'] Label: [['Noomi sagt: Mach das.\nDu bist für mich wie eine Tochter!']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5714285714285714, 'translation_length': 22, 'reference_length': 14} Rouge: {'rouge1': 0.13793103448275862, 'rouge2': 0.07407407407407407, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.13793103448275862} Sari: {'sari': 52.61174968071519} Flesh Reading Ease: 80.7 ---------------------------------------- Source: ['Zufällig geriet sie auf das Feldstück des Boas, der aus der Sippe des Elimelech war.'] Prediction: ['Eine Frau aus der Sippe des Elimelech geriet auf das Feldstück des Boas.\nSie geriet auf das Feldstück des Boas.'] Label: [['Denn sie geht auf ein gutes Feld.\nDenn das Feld gehört Boas.']] Sacrebleu: {'score': 4.34373789135831, 'counts': [5, 1, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [22.727272727272727, 4.761904761904762, 2.5, 1.3157894736842106], 'bp': 1.0, 'sys_len': 22, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.22727272727272727, 0.047619047619047616, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5714285714285714, 'translation_length': 22, 'reference_length': 14} Rouge: {'rouge1': 0.2285714285714286, 'rouge2': 0.0, 'rougeL': 0.2285714285714286, 'rougeLsum': 0.2285714285714286} Sari: {'sari': 39.06862745098039} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['“Der Junge, der über die Schnitter gestellt war, antwortete: „Ein moabitisches Mädchen ist sie, das mit Noomi zurückgekehrt ist aus dem Gebiet Moab.'] Prediction: ['Ein moabitisches Mädchen ist aus dem Gebiet Moab.\nDer Junge, der über die Schnitter gestellt war, antwortete: Ein moabitisches Mädchen ist sie, das mit Noomi zurückgekehrt ist.'] Label: [['Der Chef antwortet: Ich berichte dir, wie sie zu uns gekommen ist.\nDas ist ein fremdes Mädchen.\nDas Mädchen ist mit Noomi gekommen.\nNoomi ist mit dem Mädchen aus der Fremde zurück gekommen.']] Sacrebleu: {'score': 4.1451329334682585, 'counts': [16, 3, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [48.484848484848484, 9.375, 1.6129032258064515, 0.8333333333333334], 'bp': 0.8337529180751805, 'sys_len': 33, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.48484848484848486, 0.09375, 0.0, 0.0], 'brevity_penalty': 0.8337529180751805, 'length_ratio': 0.8461538461538461, 'translation_length': 33, 'reference_length': 39} Rouge: {'rouge1': 0.5074626865671642, 'rouge2': 0.12307692307692307, 'rougeL': 0.26865671641791045, 'rougeLsum': 0.417910447761194} Sari: {'sari': 41.74607542006623} Flesh Reading Ease: 67.05 ---------------------------------------- Source: ['Und, siehe da: Da kam auch schon Boas von Betlehem her.'] Prediction: ['Eine Frau hat in den vergangenen Tagen eine Frau gefeiert.\nSie war auch schon Boas von Betlehem her.'] Label: [['Da kommt Boas aus Bethlehem.']] Sacrebleu: {'score': 2.276859592073037, 'counts': [2, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [10.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.3333333333333335, 'translation_length': 20, 'reference_length': 6} Rouge: {'rouge1': 0.08695652173913045, 'rouge2': 0.0, 'rougeL': 0.08695652173913045, 'rougeLsum': 0.08695652173913045} Sari: {'sari': 35.97222222222222} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Er sagte zu den Schnittern: „JHWH ist mit euch! “ Und sie sagten zu ihm: „Es segne dich JHWH! “ Und Boas sagte zu seinem Jungen, der über die Schnitter gestellt war: „Zu wem gehört dieses Mädchen?'] Prediction: ['Immer mehr Schnittern: JHWH ist mit euch!\nUnd Boas sagte: „Es segne dich JHWH!\n“ Und Boas war zu seinem Mädchen.'] Label: [['Boas sagt zu den Arbeitern: Gott soll bei euch sein!\nUnd die Arbeiter antworten: Gott segne dich!\nBoas fragt den Chef: Wer ist dieses Mädchen?\nBoas hat Rut gesehen.']] Sacrebleu: {'score': 3.804236983350128, 'counts': [14, 2, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [53.84615384615385, 8.0, 2.0833333333333335, 1.0869565217391304], 'bp': 0.6807123983233854, 'sys_len': 26, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.5384615384615384, 0.08, 0.0, 0.0], 'brevity_penalty': 0.6807123983233854, 'length_ratio': 0.7222222222222222, 'translation_length': 26, 'reference_length': 36} Rouge: {'rouge1': 0.39215686274509803, 'rouge2': 0.08163265306122448, 'rougeL': 0.27450980392156865, 'rougeLsum': 0.39215686274509803} Sari: {'sari': 37.39835729177617} Flesh Reading Ease: 97.25 ---------------------------------------- Source: ['‘ Und sie kam und blieb vom Morgen bis gerade eben;'] Prediction: ['Eine Frau (24) wurde von ihrem Mann aufgefunden.\nSie blieb bis gerade eben.'] Label: [['Das Mädchen hat den ganzen Tag gearbeitet.']] Sacrebleu: {'score': 2.2869567780619007, 'counts': [1, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [5.882352941176471, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.058823529411764705, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.125, 'translation_length': 17, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 42.54385964912281} Flesh Reading Ease: 79.9 ---------------------------------------- Source: ['ihr Sitzen im Haus ist erst seit Kurzem.'] Prediction: ['Im Sitzen im Haus ist erst seit Kurzem die Frau gefeiert.\nSie ist seit Kurzem in der Nähe des Kantons Bern gefeiert.'] Label: [['Das Mädchen macht erst jetzt Pause.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4285714285714284, 'translation_length': 24, 'reference_length': 7} Rouge: {'rouge1': 0.06666666666666667, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.06666666666666667} Sari: {'sari': 36.66666666666667} Flesh Reading Ease: 81.25 ---------------------------------------- Source: ['“ Und Boas sagte zu Rut: „Höre, meine Tochter: Gehe nicht zum Sammeln auf ein anderes Feld und ziehe auch nicht fort von hier, sondern hänge dich hier an meine Mädchen.'] Prediction: ['Einige Mädchen hätten sich in der Schweiz zum Sammeln geschützt.\nEinige Mädchen hätten sich nicht zum Sammeln auf ein anderes Feld gebracht.\nEinige Mädchen hätten sich auf ein anderes Feld gebracht.'] Label: [['Und Boas sagt zu Rut: Hör zu.\nDu kannst gerne hier bleiben Bleib bei den Mädchen hier.\nDas ist mein Feld.\nBleib bei meinen Mädchen.']] Sacrebleu: {'score': 1.7035962947530545, 'counts': [6, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [17.647058823529413, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1333333333333333, 'translation_length': 34, 'reference_length': 30} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.0625, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 32.63419127756696} Flesh Reading Ease: 70.25 ---------------------------------------- Source: ['“ Also ging und kam und sammelte sie hinter den Schnittern an den Ähren mit.'] Prediction: ['Am Freitagabend ging die beiden in der Schweizer Kinos auf die Strasse.\nEine Frau war mit ihrem Partner auf der Strasse.\nSie war dabei, dass sie sich mit ihrem Partner ging.'] Label: [['Rut sammelt Ähren.']] Sacrebleu: {'score': 1.0559717178170818, 'counts': [1, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [2.857142857142857, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 4} Bleu: {'bleu': 0.0, 'precisions': [0.02857142857142857, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 8.75, 'translation_length': 35, 'reference_length': 4} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 60.27777777777777} Flesh Reading Ease: 87.8 ---------------------------------------- Source: ['Sie hat gesagt: ‚ Ich würde gerne lesen und bei den Garben hinter den Schnittern her sammeln.'] Prediction: ['Am Freitagabend gab es in der Nacht auf Sonntag die beiden Toren von der Schweizer Nati-Popsie-Kollegen.\nDie beiden waren zum dritten Mal in der Nati-Kollegen.\nSie war mit ihrem Partner auf der Suche nach dem Spiel gesagt.'] Label: [['Das Mädchen hat gefragt: Darf ich hier arbeiten?\nDarf ich die Reste nehmen?\nWas ihr nicht braucht?']] Sacrebleu: {'score': 0.918708060432945, 'counts': [1, 0, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [2.5, 1.2820512820512822, 0.6578947368421053, 0.33783783783783783], 'bp': 1.0, 'sys_len': 40, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.025, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9047619047619047, 'translation_length': 40, 'reference_length': 21} Rouge: {'rouge1': 0.03448275862068966, 'rouge2': 0.0, 'rougeL': 0.03448275862068966, 'rougeLsum': 0.03448275862068966} Sari: {'sari': 57.06349206349206} Flesh Reading Ease: 74.1 ---------------------------------------- Source: ['Gehe hinter ihnen.'] Prediction: ['Die Schweizerin hat sich mit einem frühen Mann aufgefunden.\nSie hatte sich mit dem Mann aufgefunden.'] Label: [['Geh mit den anderen.']] Sacrebleu: {'score': 2.5540496664715904, 'counts': [2, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [11.11111111111111, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6, 'translation_length': 18, 'reference_length': 5} Rouge: {'rouge1': 0.09523809523809523, 'rouge2': 0.0, 'rougeL': 0.09523809523809523, 'rougeLsum': 0.09523809523809523} Sari: {'sari': 67.70833333333334} Flesh Reading Ease: 72.55 ---------------------------------------- Source: ['Hiermit befehle ich meinen Jungen, dich nicht anzurühren?'] Prediction: ['Der Schweizer Ex-Freund und -Freundin Andrea (34) befehlt meinen Jungen.\nSie befehlt sich nicht anzurühren und befehlt sich meinen Jungen.\nWir haben ihnen nicht angezeigt und sind sie nicht gefunden.'] Label: [['Sie werden dir nichts tun.']] Sacrebleu: {'score': 1.2557690800697192, 'counts': [2, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [5.714285714285714, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.05714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.833333333333333, 'translation_length': 35, 'reference_length': 6} Rouge: {'rouge1': 0.05405405405405406, 'rouge2': 0.0, 'rougeL': 0.05405405405405406, 'rougeLsum': 0.05405405405405406} Sari: {'sari': 51.33333333333333} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Deine Augen seien auf das Feld gerichtet, das sie abernten.'] Prediction: ['Eine Frau wurde auf das Feld gerichtet.\nSie abernte das abernten.'] Label: [['Boas sagt: Konzentriere dich.']] Sacrebleu: {'score': 3.0890553181566975, 'counts': [1, 0, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [7.6923076923076925, 4.166666666666667, 2.272727272727273, 1.25], 'bp': 1.0, 'sys_len': 13, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.07692307692307693, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1666666666666665, 'translation_length': 13, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 75.05 ---------------------------------------- Source: ['Und wenn du Durst hast, gehe zu den Gefäßen und trinke vom, was auch die Jungen schöpfen!'] Prediction: ['Du hast eine Liebes-Krise?\nAber wenn du Durst hast, gehe zu den Gefäßen und trinke vom?\nAber du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-Krise?\nUnd du hast eine Liebes-K'] Label: [['Du kannst trinken.\nWie die anderen.']] Sacrebleu: {'score': 0.14460412558765207, 'counts': [1, 0, 0, 0], 'totals': [246, 245, 244, 243], 'precisions': [0.4065040650406504, 0.20408163265306123, 0.10245901639344263, 0.051440329218107], 'bp': 1.0, 'sys_len': 246, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.0040650406504065045, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 30.75, 'translation_length': 246, 'reference_length': 8} Rouge: {'rouge1': 0.007936507936507938, 'rouge2': 0.0, 'rougeL': 0.007936507936507938, 'rougeLsum': 0.007936507936507938} Sari: {'sari': 33.33333333333333} Flesh Reading Ease: 69.5 ---------------------------------------- Source: ['Dann stand sie auf, um zu sammeln.'] Prediction: ['Eine Frau wurde in der Nacht auf Sonntag in die Nacht auf Sonntag aufgefunden.\nSie war aufgefunden, um zu sammeln.\nDie Frau war aufgefunden, um zu sammeln.'] Label: [['Dann steht Rut auf.\nRut sammelt Korn.']] Sacrebleu: {'score': 1.526608193588886, 'counts': [3, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [9.375, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.09375, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5555555555555554, 'translation_length': 32, 'reference_length': 9} Rouge: {'rouge1': 0.058823529411764705, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.058823529411764705} Sari: {'sari': 32.5} Flesh Reading Ease: 77.4 ---------------------------------------- Source: ['Sie hob es auf, kam in die Stadt und zeigte ihrer Schwiegermutter, was sie gelesen hat und zog heraus und gab ihr, was sie übrig gelassen hatte nach ihrer Sättigung.'] Prediction: ['Eine Schwiegermutter hat in der Stadt Zürich übrig gelassen.\nSie hob es auf und zeigte ihrer Schwiegermutter, was sie gelesen hat und zog heraus und gab ihr, was sie übrig gelassen hatte nach ihrer Sättigung.'] Label: [['Rut hebt das ganze Korn auf.\nRut trägt es nach Hause.\nRut zeigt Noomi das Korn.\nUnd Rut zeigt Noomi den Rest vom Mittagessen.']] Sacrebleu: {'score': 1.4104555382959003, 'counts': [5, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [12.820512820512821, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.1282051282051282, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3928571428571428, 'translation_length': 39, 'reference_length': 28} Rouge: {'rouge1': 0.12903225806451613, 'rouge2': 0.0, 'rougeL': 0.06451612903225806, 'rougeLsum': 0.12903225806451613} Sari: {'sari': 35.88235294117647} Flesh Reading Ease: 63.05 ---------------------------------------- Source: ['JHWH vergelte dein Tun und dein Lohn sei voll von JHWH, dem Gott Israels, zum du gekommen bist, um unter seinen Flügeln Schutz zu suchen! “ Sie antwortete: „Möge ich in deinen Augen Gefallen finden, mein Herr, weil du mich getröstet und weil du zum Herzen deiner Magd gesprochen hast.'] Prediction: ['Im Juni 2020 wurde die Weltkrieg von JHWH (67) und Gott Israels (68) aufgefunden.\nDer Tübler war ein Tübler, der unter seinen Flügeln Schutz suchen soll.\nJHWH hatte die Weltkrieg gefunden und ihre Beziehungen gefunden.'] Label: [['Gott wird dich beschenken.\nDenn du bist gut.\nGott wird dich beschützen.\nRut sagt: Danke.\nDu sprichst freundlich.\nGefalle ich dir?']] Sacrebleu: {'score': 1.205256842736819, 'counts': [4, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [9.30232558139535, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.09302325581395349, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5357142857142858, 'translation_length': 43, 'reference_length': 28} Rouge: {'rouge1': 0.03333333333333333, 'rouge2': 0.0, 'rougeL': 0.03333333333333333, 'rougeLsum': 0.03333333333333333} Sari: {'sari': 34.23895386614685} Flesh Reading Ease: 68.85 ---------------------------------------- Source: ['Und Boas befahl seinen Jungen indem er sagte: „Auch zwischen den Garben darf sie sammeln, und ihr dürft sie nicht beschimpfen!'] Prediction: ['Ein Garben darf seinen Garben sammeln.\nDas hatte er zwischen den Garben und den Garben geschmiedet.\nAber das dürft sie nicht beschimpfen.'] Label: [['Boas sagt zu den Arbeitern: Lasst sie mit euch sammeln.\nSchimpft sie nicht aus.\nDenn Rut darf eigentlich nur die Reste sammeln.']] Sacrebleu: {'score': 4.867548391650053, 'counts': [8, 2, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [32.0, 8.333333333333334, 2.1739130434782608, 1.1363636363636365], 'bp': 0.9607894391523232, 'sys_len': 25, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.32, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 0.9607894391523232, 'length_ratio': 0.9615384615384616, 'translation_length': 25, 'reference_length': 26} Rouge: {'rouge1': 0.22222222222222224, 'rouge2': 0.046511627906976744, 'rougeL': 0.1333333333333333, 'rougeLsum': 0.22222222222222224} Sari: {'sari': 39.007936507936506} Flesh Reading Ease: 73.25 ---------------------------------------- Source: ['Ja, mehr noch: Ihr sollt ihr durchaus herausziehen herausziehen aus den Handbündeln, es liegen lassen und sie soll das Liegengelassene sammeln.'] Prediction: ['Eine Frau soll durchaus herausziehen herausziehen aus den Handbündeln, es liegen lassen und sie soll das Liegengelassene sammeln.\nIhr soll durchaus herausziehen herausziehen aus den Handbündeln, es liegen lassen und sie soll das Liegengelassene sammeln.'] Label: [['Boas sagt auch: Lasst Korn für sie liegen.\nDas Mädchen soll viel sammeln.']] Sacrebleu: {'score': 2.482716946958931, 'counts': [6, 1, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [15.384615384615385, 2.6315789473684212, 1.3513513513513513, 0.6944444444444444], 'bp': 1.0, 'sys_len': 39, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.02631578947368421, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.4375, 'translation_length': 39, 'reference_length': 16} Rouge: {'rouge1': 0.1923076923076923, 'rouge2': 0.0, 'rougeL': 0.15384615384615385, 'rougeLsum': 0.11538461538461539} Sari: {'sari': 37.091503267973856} Flesh Reading Ease: 45.5 ---------------------------------------- Source: ['“ Boas sagte zu ihr zur Essenszeit: „Komm hierher!'] Prediction: ['Im Interview mit 20 Minuten spricht der Comedian über die Welt und die Welt.\nIm Interview spricht er über die Welt und Welt.'] Label: [['Es ist Zeit zum Mittagessen.\nBoas sagt zu Rut: Komm!']] Sacrebleu: {'score': 1.506189323093867, 'counts': [1, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [4.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.04, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9230769230769231, 'translation_length': 25, 'reference_length': 13} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 56.02766798418973} Flesh Reading Ease: 86.6 ---------------------------------------- Source: ['Bin ich nicht nur wie eine deiner Mägde!?'] Prediction: ['Im Interview mit 20 Minuten spricht sich der Comedian über die Frage.\nIm Interview spricht er über die Frage, wie er sich nicht nur wie eine Mägde hat.'] Label: [['Ich bin nur wie eine Arbeiterin von dir.']] Sacrebleu: {'score': 4.797392517011848, 'counts': [4, 2, 1, 0], 'totals': [31, 30, 29, 28], 'precisions': [12.903225806451612, 6.666666666666667, 3.4482758620689653, 1.7857142857142858], 'bp': 1.0, 'sys_len': 31, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.12903225806451613, 0.06666666666666667, 0.034482758620689655, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4444444444444446, 'translation_length': 31, 'reference_length': 9} Rouge: {'rouge1': 0.16216216216216217, 'rouge2': 0.1142857142857143, 'rougeL': 0.16216216216216217, 'rougeLsum': 0.16216216216216217} Sari: {'sari': 48.05555555555554} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['Und ihr sollt sie nicht schelten! “ Und so sammelte sie auf dem Feld bis zum Abend;'] Prediction: ['Eine Frau (24) ist auf dem Feld mit ihrem Mann nicht schelten.\nIhr sollte sie nicht schelten.\nUnd ihr sollte sie nicht schelten.'] Label: [['Und schimpft sie nicht aus.\nDarum sammelt Rut viel Korn.\nBis zum Abend.']] Sacrebleu: {'score': 3.5148478313698046, 'counts': [6, 1, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [21.428571428571427, 3.7037037037037037, 1.9230769230769231, 1.0], 'bp': 1.0, 'sys_len': 28, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.037037037037037035, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 28, 'reference_length': 16} Rouge: {'rouge1': 0.16666666666666669, 'rouge2': 0.05882352941176471, 'rougeL': 0.16666666666666669, 'rougeLsum': 0.16666666666666669} Sari: {'sari': 42.66138101664418} Flesh Reading Ease: 96.25 ---------------------------------------- Source: ['dann kopfte sie das, was sie gesammelt hatte, aus - und es ergab ungefähr ein Efa Gerste.'] Prediction: ['Eine Frau ergab ungefähr ein Efa Gerste.\nSie ergab ungefähr ein Efa Gerste.'] Label: [['Rut sammelt mehr als 10 Kilo.']] Sacrebleu: {'score': 2.627961710408444, 'counts': [1, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [6.666666666666667, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.142857142857143, 'translation_length': 15, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 74.05 ---------------------------------------- Source: ['“Da warf sie sich auf ihr Gesicht und neigte sich erdenwärts und sagte zu ihm: „Warum nur habe ich Gefallen in deinen Augen gefunden, so dass du mich wohlgefällig ansiehst, obwohl ich Ausländerin bin? “ Boas anwortete und sagte zu ihr: „Berichtet berichtet wurde mir alles, was du für deine Schwiegermutter nach dem Tod deines Mannes getan hast: dass du deinen Vater und deine Mutter und das Land deiner Geburt verlassen hast und zu einem Volk gegangen bist, das du vorher nicht kanntest.'] Prediction: ['Ein Mann hat in der Nacht auf Sonntag seine Schwiegermutter getan.\nDabei wurde er von einem Volk gegangen.\nDas ist nicht bekannt.'] Label: [['Rut wirft sich zu Boden.\nRut sagt zu Boas: Warum bist du gut zu mir?\nIch bin Ausländerin.\nBoas antwortet: Du bist gut zu Noomi.\nDer Mann von Noomi ist gestorben.\nDer Sohn von Noomi ist gestorben.\nDer Sohn war dein Mann.\nDu bist bei Noomi geblieben.\nDu hast deine Heimat verlassen.\nDu bist mit Noomi zu uns gekommen.']] Sacrebleu: {'score': 0.3743824918584504, 'counts': [6, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [24.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.1588174261069207, 'sys_len': 25, 'ref_len': 71} Bleu: {'bleu': 0.0, 'precisions': [0.24, 0.0, 0.0, 0.0], 'brevity_penalty': 0.15881742610692065, 'length_ratio': 0.352112676056338, 'translation_length': 25, 'reference_length': 71} Rouge: {'rouge1': 0.0975609756097561, 'rouge2': 0.0, 'rougeL': 0.0975609756097561, 'rougeLsum': 0.07317073170731708} Sari: {'sari': 42.47203910299752} Flesh Reading Ease: 84.95 ---------------------------------------- Source: ['Iss vom Brot und tunke deinen Brocken in den Essig! “ - Also setzte sich sich an die Seite der Schnitter, er reichte ihr Röstkorn, sie aß, wurde satt und lies übrig.'] Prediction: ['Ein bisschenfähriger Schauspieler hat sich in den letzten Tagen in einem Essig geschickt.\nNachdem er sich auf die Seite der Schnitter reichte, reichte ihr Röstkorn, sie aß, wurde satt und lies übrig.\nAber du hat das gesamte Essig geschickt?'] Label: [['Du kannst mit mir essen.\nRut setzte sich zu den Arbeitern.\nBoas gibt ihr geröstete Körner.\nRut isst.\nRut wird satt.\nEs bleibt noch was übrig.']] Sacrebleu: {'score': 2.2241100841129926, 'counts': [7, 1, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [15.555555555555555, 2.272727272727273, 1.1627906976744187, 0.5952380952380952], 'bp': 1.0, 'sys_len': 45, 'ref_len': 32} Bleu: {'bleu': 0.0, 'precisions': [0.15555555555555556, 0.022727272727272728, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.40625, 'translation_length': 45, 'reference_length': 32} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.0, 'rougeL': 0.14492753623188406, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 37.05008250221016} Flesh Reading Ease: 73.4 ---------------------------------------- Source: ['Daher wasche dich, salbe dich, wirf deine Kleider um dich und geh zur Tenne hinab!'] Prediction: ['Eine Kleider-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen-Kollegen sind in den vergangenen Tagen gefragt.\nSie haben sich geschickt und sind sogar zum Kleider geschickt.'] Label: [['Ich habe eine Idee: Wasch dich.\nMach dich schön.\nZieh was Schönes an.\nGeh zum Hof.\nWarte dort.']] Sacrebleu: {'score': 2.063004465487746, 'counts': [3, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [15.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 0.8187307530779819, 'sys_len': 20, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8187307530779819, 'length_ratio': 0.8333333333333334, 'translation_length': 20, 'reference_length': 24} Rouge: {'rouge1': 0.06896551724137931, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 58.827457264957275} Flesh Reading Ease: -121.51 ---------------------------------------- Source: ['“ Da antwortete sie ihr: „Alles, was du sagst, will ich tun.'] Prediction: ['Eine Frau (24) wurde von ihrem Mann aufgefunden.\nIhr Mann sagte, dass sie ihr sagst, will ich tun.'] Label: [['Rut sagt: Du möchtest es?\nGut.\nIch werde es machen.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7142857142857142, 'translation_length': 24, 'reference_length': 14} Rouge: {'rouge1': 0.06896551724137931, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 33.73015873015873} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['Lass dich aber nicht vom Mann erkennen, bis er mit Essen und Trinken fertig ist!'] Prediction: ['Ein Mann hat sich mit Trinken und Essen fertig geteilt.\nDas ist nicht bekannt, sondern auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch a'] Label: [['Warte bis Boas mit Essen und Trinken fertig ist.']] Sacrebleu: {'score': 0.2550282602916216, 'counts': [7, 0, 0, 0], 'totals': [227, 226, 225, 224], 'precisions': [3.0837004405286343, 0.22123893805309736, 0.1111111111111111, 0.05580357142857143], 'bp': 1.0, 'sys_len': 227, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.030837004405286344, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 22.7, 'translation_length': 227, 'reference_length': 10} Rouge: {'rouge1': 0.05128205128205129, 'rouge2': 0.0, 'rougeL': 0.03418803418803419, 'rougeLsum': 0.03418803418803419} Sari: {'sari': 33.21161477411477} Flesh Reading Ease: 9.0 ---------------------------------------- Source: ['Und es soll sein, wenn er sich legt: merke dir den Ort, wo er liegt, gehe, entblöße seine Beine und lege dich.'] Prediction: ['Ein Mann hat in der Nacht auf Sonntag seine Beine entblößt.\nDer Ort entblöße und lege dich dich.\nDer Mann hatte sich dabei entblößt und entblöße seine Beine.'] Label: [['Boas legt sich hin.\nMerke dir den Ort.\nNimm seine Decke von seinen Beinen.\nNimm seine Decke von seinen Füßen.\nLege dich zu ihm.']] Sacrebleu: {'score': 2.0170550850601288, 'counts': [8, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [25.806451612903224, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.25806451612903225, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0689655172413792, 'translation_length': 31, 'reference_length': 29} Rouge: {'rouge1': 0.21052631578947367, 'rouge2': 0.03636363636363637, 'rougeL': 0.10526315789473684, 'rougeLsum': 0.21052631578947367} Sari: {'sari': 35.903249284828235} Flesh Reading Ease: 82.95 ---------------------------------------- Source: ['Er wird dir dann erzählen, was du tun sollst.'] Prediction: ['Der Schweizer-Konzern überrascht mit seinem Mann auf eine Wohnung.\nEr wird dann erzählen, was du tun sollst.'] Label: [['Er wird zu dir sprechen.\nEr sagt dann zu dir: Mach dies!\nOder mach das!']] Sacrebleu: {'score': 5.415315253510896, 'counts': [4, 2, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [20.0, 10.526315789473685, 2.7777777777777777, 1.4705882352941178], 'bp': 1.0, 'sys_len': 20, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.10526315789473684, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0526315789473684, 'translation_length': 20, 'reference_length': 19} Rouge: {'rouge1': 0.17647058823529413, 'rouge2': 0.0625, 'rougeL': 0.17647058823529413, 'rougeLsum': 0.17647058823529413} Sari: {'sari': 31.913580246913583} Flesh Reading Ease: 83.75 ---------------------------------------- Source: ['Und es war um Mitternacht zitterte der Mann, tastete um sich und, siehe da! - eine Frau lag an seinen Beinen!'] Prediction: ['Eine Frau lag an seinen Beinen.\nEine Frau hatte sich zum Tod einer Frau geklaut.'] Label: [['Es wird Mitternacht.\nBoas wird es kalt.\nBoas zittert.\nBoas tastet um sich.\nSiehe da!\nEine Frau liegt an seinen Beinen!']] Sacrebleu: {'score': 6.685454224481351, 'counts': [8, 3, 1, 0], 'totals': [17, 16, 15, 14], 'precisions': [47.05882352941177, 18.75, 6.666666666666667, 3.5714285714285716], 'bp': 0.5553063730019506, 'sys_len': 17, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.47058823529411764, 0.1875, 0.06666666666666667, 0.0], 'brevity_penalty': 0.5553063730019506, 'length_ratio': 0.6296296296296297, 'translation_length': 17, 'reference_length': 27} Rouge: {'rouge1': 0.3333333333333333, 'rouge2': 0.1764705882352941, 'rougeL': 0.2777777777777778, 'rougeLsum': 0.3333333333333333} Sari: {'sari': 39.81901870059765} Flesh Reading Ease: 84.75 ---------------------------------------- Source: ['sie kam im Geheimen, entblößte seine Beine und legte sich.'] Prediction: ['Eine Beine entblößte sich in der Nacht auf Sonntag in der Nacht auf Sonntag.\nSie entblößte sich und legte sich.\nDie beiden entblößten sich.'] Label: [['Rut schleicht zu Boas.\nRut nimmt die Decke von Boas weg.\nRut legt sich hin.']] Sacrebleu: {'score': 1.962672844874697, 'counts': [4, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [14.814814814814815, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.14814814814814814, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 27, 'reference_length': 18} Rouge: {'rouge1': 0.09523809523809523, 'rouge2': 0.0, 'rougeL': 0.09523809523809523, 'rougeLsum': 0.09523809523809523} Sari: {'sari': 37.870370370370374} Flesh Reading Ease: 90.1 ---------------------------------------- Source: ['Siehe, dieser wird heute Nacht Gerste auf der Gerstentenne worfeln.'] Prediction: ['Heute Nacht Gerste auf der Gerstentenne wird heute heute Nacht Gerste auf der Gerstentenne worfeln.\nDie Nacht Gerste wird heute auf der Gerstentenne worfeln.'] Label: [['Boas wird heute Nacht arbeiten.\nBoas wird die Gerste bearbeiten.']] Sacrebleu: {'score': 4.699443186217678, 'counts': [7, 2, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [26.923076923076923, 8.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.2692307692307692, 0.08, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1666666666666665, 'translation_length': 26, 'reference_length': 12} Rouge: {'rouge1': 0.35294117647058826, 'rouge2': 0.125, 'rougeL': 0.29411764705882354, 'rougeLsum': 0.35294117647058826} Sari: {'sari': 43.86904761904762} Flesh Reading Ease: 62.7 ---------------------------------------- Source: ['Und weiter: Ist nicht Boas, bei dessen Mägden du warst, unser Verwandter?'] Prediction: ['Der Verwandter der Schweizer Grenze ist nicht mehr gefragt.\nDer Verwandter warst unter Verwandter.'] Label: [['Und weiter: Boas war bei den Mägden.\nUnd ich habe keine Söhne mehr.\nAber Boas ist auch unser Verwandter.']] Sacrebleu: {'score': 3.9709599880992053, 'counts': [5, 1, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [31.25, 6.666666666666667, 3.5714285714285716, 1.9230769230769231], 'bp': 0.645648526427892, 'sys_len': 16, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.3125, 0.06666666666666667, 0.0, 0.0], 'brevity_penalty': 0.645648526427892, 'length_ratio': 0.6956521739130435, 'translation_length': 16, 'reference_length': 23} Rouge: {'rouge1': 0.17142857142857143, 'rouge2': 0.0, 'rougeL': 0.11428571428571427, 'rougeLsum': 0.17142857142857143} Sari: {'sari': 39.02840419384537} Flesh Reading Ease: 73.55 ---------------------------------------- Source: ['Eines Tages sprach Noomi, ihre Schwiegermutter, zu ihr: „Meine Tochter, will ich nicht für dich Ruhe suchen, damit es dir gut geht?'] Prediction: ['Noomi (30) ist eine Schwiegermutter.\nIhre Schwiegermutter ist eine Tochter, die nicht für dich Ruhe suchen will.\nNoomi hat ihre Tochter noch nicht für dich Ruhe suchen, damit es dir gut geht.'] Label: [['Noomi sagt zu Rut: Ich habe nachgedacht.\nDu bist meine Tochter.\nIch möchte dich glücklich machen.\nDu brauchst ein Zuhause.']] Sacrebleu: {'score': 1.476232328930697, 'counts': [6, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [15.384615384615385, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.56, 'translation_length': 39, 'reference_length': 25} Rouge: {'rouge1': 0.10714285714285714, 'rouge2': 0.0, 'rougeL': 0.10714285714285714, 'rougeLsum': 0.10714285714285714} Sari: {'sari': 33.83069828722003} Flesh Reading Ease: 75.7 ---------------------------------------- Source: ['“ Sie ging also hinab zur Tenne und befolgte alles, was ihr die Schwiegermutter geboten hatte: Boas aß, trank, sein Herz wurde fröhlich, er kam, um sich am Fuß des Getreidehaufens zu legen;'] Prediction: ['Eine Schwiegermutter hatte am Mittwoch einen Herz geboten.\nSie ging dabei auf, dass sie sich am Fuß des Getreidehaufens zu legen hatte.'] Label: [['Rut geht zum Hof.\nSie macht es so.\nDenn Noomi wünscht es.\nBoas isst.\nBoas trinkt.\nBoas wird fröhlich.\nBoas legt sich hin.\nBoas liegt neben dem Getreidehaufen.']] Sacrebleu: {'score': 2.307158797499056, 'counts': [4, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [16.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 0.6440364210831414, 'sys_len': 25, 'ref_len': 36} Bleu: {'bleu': 0.0, 'precisions': [0.16, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 0.6440364210831414, 'length_ratio': 0.6944444444444444, 'translation_length': 25, 'reference_length': 36} Rouge: {'rouge1': 0.07692307692307691, 'rouge2': 0.0, 'rougeL': 0.07692307692307691, 'rougeLsum': 0.07692307692307691} Sari: {'sari': 35.42505367686527} Flesh Reading Ease: 69.55 ---------------------------------------- Source: ['Setz dich hier irgendwo hin! “ Und dieser bog ab und setzte sich hin.'] Prediction: ['Die Schweizerin verliert in der Nacht auf Sonntag die Schweizerin.\nSie warnt und warum die Schweizerin im Interview mit ihrem Mann.\nDie beiden waren im Interview zu Gast.'] Label: [['Setz dich.\nDer Verwandte setzt sich zu ihm.']] Sacrebleu: {'score': 1.5784309053930103, 'counts': [3, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [9.67741935483871, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.0967741935483871, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.1, 'translation_length': 31, 'reference_length': 10} Rouge: {'rouge1': 0.11111111111111112, 'rouge2': 0.0, 'rougeL': 0.11111111111111112, 'rougeLsum': 0.11111111111111112} Sari: {'sari': 51.63247863247863} Flesh Reading Ease: 77.1 ---------------------------------------- Source: ['Dann nahm Boas sich zehn Männer von den Ältesten der Stadt und sagte: „Setzt euch hier hin! “ Und sie setzten sich.'] Prediction: ['In der Stadt Zürich wurde ein älterer Männer von den Ältesten der Stadt geschützt.\nDieser nahm sich zehn Männer von den Ältesten der Stadt und sagte: "Setzt euch hier hin!\n“ Und sie setzten sich.'] Label: [['Boas organisiert 10 Zeugen.\nAuch die Zeugen setzten sich.']] Sacrebleu: {'score': 3.674832241731779, 'counts': [4, 2, 1, 0], 'totals': [40, 39, 38, 37], 'precisions': [10.0, 5.128205128205129, 2.6315789473684212, 1.3513513513513513], 'bp': 1.0, 'sys_len': 40, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.05128205128205128, 0.02631578947368421, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.6363636363636362, 'translation_length': 40, 'reference_length': 11} Rouge: {'rouge1': 0.0851063829787234, 'rouge2': 0.044444444444444446, 'rougeL': 0.0851063829787234, 'rougeLsum': 0.0851063829787234} Sari: {'sari': 34.85449735449735} Flesh Reading Ease: 86.8 ---------------------------------------- Source: ['Und, siehe da! der Löser kam vorüber , von dem Boas gesprochen hatte .'] Prediction: ['Der Löser hatte vorüber seinen Boas gesprochen.\nDas hatte er zum ersten Mal gesprochen.'] Label: [['Dann kommt der nähere Verwandte von Rut.']] Sacrebleu: {'score': 2.445593937240363, 'counts': [1, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [6.25, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 16, 'reference_length': 8} Rouge: {'rouge1': 0.08333333333333333, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.08333333333333333} Sari: {'sari': 52.29166666666667} Flesh Reading Ease: 73.55 ---------------------------------------- Source: ['Da sagte er: „Bieg ab!'] Prediction: ['Ein Mann hatte sich in der Nacht auf Sonntag in der Nacht auf Sonntag in Genf geschützt.\nEr wurde von der Polizei verletzt.\nDer Mann war zuvor nicht mehr gefragt.'] Label: [['Boas sagtKomm.']] Sacrebleu: {'score': 1.123099644603982, 'counts': [1, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [3.0303030303030303, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 3} Bleu: {'bleu': 0.0, 'precisions': [0.030303030303030304, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 11.0, 'translation_length': 33, 'reference_length': 3} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 59.02777777777778} Flesh Reading Ease: 93.95 ---------------------------------------- Source: ['Dann sagte er zum Löser: „Das Feldstück, das unserem Bruder, dem Elimelech, war, verkauft Noomi, die zurückgekehrt ist aus dem Gebiet von Moab.'] Prediction: ['Noomi verkauft das Feldstück, das unserem Bruder, dem Elimelech, war.\nDas Feldstück war aus dem Gebiet von Moab.\nNoomi war zurückgekehrt.'] Label: [['Dann sagt Boas zum Verwandten: Es gibt ein Feld.\nDas Feld gehört unserem Verwandten Elimelech.\nElimelech ist tot.\nNoomi ist zurück aus dem Ausland.\nNoomi will das Feld verkaufen.\nDu bist der nächste Verwandte.']] Sacrebleu: {'score': 3.3307663331972326, 'counts': [11, 3, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [40.74074074074074, 11.538461538461538, 2.0, 1.0416666666666667], 'bp': 0.5954019718977739, 'sys_len': 27, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.4074074074074074, 0.11538461538461539, 0.0, 0.0], 'brevity_penalty': 0.595401971897774, 'length_ratio': 0.6585365853658537, 'translation_length': 27, 'reference_length': 41} Rouge: {'rouge1': 0.3278688524590164, 'rouge2': 0.03389830508474576, 'rougeL': 0.22950819672131148, 'rougeLsum': 0.3278688524590164} Sari: {'sari': 35.93816227671813} Flesh Reading Ease: 67.7 ---------------------------------------- Source: ['Denn es ist niemanden außer dir, der lösen könnte. Und ich bin nach dir.'] Prediction: ['Die Welt ist auf den Königshaus in den USA nicht mehr.\nDer Königshaus ist niemanden außer dir, der lösen könnte.'] Label: [['Dann kann ich das Feld kaufen.']] Sacrebleu: {'score': 1.6466642419110007, 'counts': [1, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [4.3478260869565215, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.043478260869565216, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2857142857142856, 'translation_length': 23, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 32.976190476190474} Flesh Reading Ease: 82.25 ---------------------------------------- Source: ['Und ich habe gesagt, ich will dir folgendes zu Gehör bringen: Kaufe es in Gegenwart der Sitzenden und in Gegenwart der Ältesten meines Volkes - wenn du lösen willst, dann löse.'] Prediction: ['Der Schweizer Volk-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Kunde) sowie -Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski-Ski'] Label: [['Du darfst das Feld als Erster kaufen.\nDu hast das Recht dazu.\nHier sind 10 Zeugen.']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [6, 5, 4, 3], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 0.11455884399268773, 'sys_len': 6, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 0.11455884399268769, 'length_ratio': 0.3157894736842105, 'translation_length': 6, 'reference_length': 19} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 57.758620689655174} Flesh Reading Ease: -1615.11 ---------------------------------------- Source: ['Wenn aber niemand lösen will, dann verrate es mir, damit ich es weiß!'] Prediction: ['Im Interview mit 20 Minuten spricht der Comedian über die Welt und die Welt.\nIm Interview verrät er, dass er sich nicht mehr weiterlebt will.'] Label: [['Wenn du auf dein Recht verzichtest, machen wir einen Vertrag.']] Sacrebleu: {'score': 1.5880117714047368, 'counts': [2, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [7.142857142857143, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 28, 'reference_length': 12} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 61.77350427350427} Flesh Reading Ease: 79.75 ---------------------------------------- Source: ['“ Da sagte der Löser: „Ich vermag es nicht, für mich zu lösen, sonst verdürbe ich ja meinen eigenen Erbbesitz.'] Prediction: ['Ein eigenes Erbbesitz hatte im Interview mit dem Löser über die Welt geäussert.\nDer Löser vermag es nicht, für mich zu lösen, sonst verdürbe ich ja meinen eigenen Erbbesitz.'] Label: [['Der Verwandte sagt.\nDas kann ich nicht.\nDann geht mein Erbe kaputt.']] Sacrebleu: {'score': 1.6794256847485503, 'counts': [5, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [15.151515151515152, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.15151515151515152, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.2, 'translation_length': 33, 'reference_length': 15} Rouge: {'rouge1': 0.1276595744680851, 'rouge2': 0.0, 'rougeL': 0.0851063829787234, 'rougeLsum': 0.0851063829787234} Sari: {'sari': 36.36363636363636} Flesh Reading Ease: 66.05 ---------------------------------------- Source: ['“ Da sagte er: „Ich will lösen “.'] Prediction: ['Im Interview mit der 20-Minuten-App spricht über die Welt über die Welt.\nIm Interview sagte er: “Ich will lösen “.'] Label: [['Der Verwandte sagt: Ich bin einverstanden.']] Sacrebleu: {'score': 1.7911710595643588, 'counts': [2, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [8.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.08, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.125, 'translation_length': 25, 'reference_length': 8} Rouge: {'rouge1': 0.14285714285714288, 'rouge2': 0.0, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.14285714285714288} Sari: {'sari': 37.96296296296296} Flesh Reading Ease: 76.9 ---------------------------------------- Source: ['Da sprach Boas zu den Ältesten und zum ganzen Volk: „Ihr seid heute Zeugen, dass ich von Noomi alles gekauft habe, was dem Elimelech war und alles, was dem Kiljon und Machlon war.'] Prediction: ['Noomi und Boas haben sich bei der Welt geschickt.\nSie haben sich von Noomi alles gekauft.\nDoch Boas sprach von seinem Ältesten.'] Label: [['Dann sagt Boas zu den 10 Zeugen und zu allen anderen: Ihr seid heute Zeugen.\nVon Noomi kaufe ich alles was Elimelech gehört hat.\nAlles was seiner Familie gehört kaufe ich.']] Sacrebleu: {'score': 1.6422386988883717, 'counts': [7, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [28.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 0.6703200460356393, 'sys_len': 25, 'ref_len': 35} Bleu: {'bleu': 0.0, 'precisions': [0.28, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6703200460356393, 'length_ratio': 0.7142857142857143, 'translation_length': 25, 'reference_length': 35} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.03773584905660377, 'rougeL': 0.14545454545454545, 'rougeLsum': 0.14545454545454545} Sari: {'sari': 33.91175551501639} Flesh Reading Ease: 84.95 ---------------------------------------- Source: ['Da sagte Boas: „Am Tag, am du das Feld von Noomi kaufst, kaufst du auch die Moabiterin Rut, die Frau des Toten, um den Namen des Toten auf seinem Erbbesitz wieder aufzurichten.'] Prediction: ['Eine Moabiterin war am Sonntag bei einem Toten auf seinem Erbbesitz gestorben.\nDie Frau des Toten war auf seinem Erbbesitz wieder aufgefunden.'] Label: [['Boas sagt: Du hast das Recht auf das Feld.\nUnd du kannst Rut heiraten.\nSie war die Frau vom Sohn von Noomi.\nWenn du das Feld kaufst.\nDann bleibt das Feld in der Familie.']] Sacrebleu: {'score': 1.2078766607241669, 'counts': [5, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [20.833333333333332, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 0.513417119032592, 'sys_len': 24, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.20833333333333334, 0.0, 0.0, 0.0], 'brevity_penalty': 0.513417119032592, 'length_ratio': 0.6, 'translation_length': 24, 'reference_length': 40} Rouge: {'rouge1': 0.14285714285714285, 'rouge2': 0.037037037037037035, 'rougeL': 0.10714285714285714, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 33.367797388835264} Flesh Reading Ease: 57.85 ---------------------------------------- Source: ['Löse du für dich das eigentlich von mir zu Lösende, denn ich vermag es nicht, zu lösen.'] Prediction: ['Im Interview mit 20 Minuten spricht über die 20-Minuten-Radio-Hosts, die ihre Lebens-Hosts, über ihre Lösende und ihre Lebens-Hosts, die sich über ihre Lösende vermagen.\nWir haben sich über die 20-Minuten-Hosts zu Gast, die ihre Lösende über ihre Lebens-Hosts und ihre Lebens-Hosts über ihre Lösende beworfen.'] Label: [['Wir machen es so: Du kaufst das Feld von Noomi und du heiratest Rut.']] Sacrebleu: {'score': 0.8699141688737136, 'counts': [3, 0, 0, 0], 'totals': [55, 54, 53, 52], 'precisions': [5.454545454545454, 0.9259259259259259, 0.4716981132075472, 0.2403846153846154], 'bp': 1.0, 'sys_len': 55, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.05454545454545454, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4375, 'translation_length': 55, 'reference_length': 16} Rouge: {'rouge1': 0.05555555555555555, 'rouge2': 0.0, 'rougeL': 0.05555555555555555, 'rougeLsum': 0.05555555555555555} Sari: {'sari': 59.074074074074076} Flesh Reading Ease: 40.5 ---------------------------------------- Source: ['“ In Israel war früher dies bezüglich Lösung und Tauschgeschäft, um irgendetwas Gültigkeit zu verleihen: Man zog seinen Schuh aus und gab ihn dem anderen.'] Prediction: ['In Israel wurde ein Schuh ausgefunden.\nDer andere war in Israel bezüglich Lösung und Tauschgeschäft.'] Label: [['Früher machte man es so in Israel : Man macht ein Geschäft.\nDann zieht man einen Schuh aus, wenn man einig ist.\nDer eine Partner gab seinen Schuh dem anderen Partner.\nDie Geschäfts·partner tauschten einen Schuh.']] Sacrebleu: {'score': 1.8131796700653013, 'counts': [7, 2, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [41.1764705882353, 12.5, 3.3333333333333335, 1.7857142857142858], 'bp': 0.24371282199589905, 'sys_len': 17, 'ref_len': 41} Bleu: {'bleu': 0.0, 'precisions': [0.4117647058823529, 0.125, 0.0, 0.0], 'brevity_penalty': 0.24371282199589897, 'length_ratio': 0.4146341463414634, 'translation_length': 17, 'reference_length': 41} Rouge: {'rouge1': 0.21052631578947367, 'rouge2': 0.03636363636363636, 'rougeL': 0.17543859649122806, 'rougeLsum': 0.21052631578947367} Sari: {'sari': 34.63849016480596} Flesh Reading Ease: 55.5 ---------------------------------------- Source: ['Und dies war dann in Israel als Bezeugung.'] Prediction: ['Am Mittwoch war in Israel ein Bezeugungs-Kollege.\nDer Mann war in Israel als Bezeugungs-Kollege.'] Label: [['In Israel war das wie ein Vertrag.']] Sacrebleu: {'score': 3.4585921141027365, 'counts': [4, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [25.0, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 16, 'reference_length': 8} Rouge: {'rouge1': 0.34782608695652173, 'rouge2': 0.09523809523809522, 'rougeL': 0.26086956521739124, 'rougeLsum': 0.26086956521739124} Sari: {'sari': 56.2962962962963} Flesh Reading Ease: 50.15 ---------------------------------------- Source: ['Der Löser sprach also zu Boas: „Kaufe für dich! “ und zog seinen Schuh aus.'] Prediction: ['Der Löser hat seinen Schuh ausgegeben.\nDer Löser hatte seinen Schuh ausgegeben.'] Label: [['Der Verwandte sagt zu Boas: Kauf!\nDann zieht er einen Schuh aus.']] Sacrebleu: {'score': 3.479789360876994, 'counts': [3, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [21.428571428571427, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 0.9310627797040228, 'sys_len': 14, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9310627797040228, 'length_ratio': 0.9333333333333333, 'translation_length': 14, 'reference_length': 15} Rouge: {'rouge1': 0.15384615384615383, 'rouge2': 0.0, 'rougeL': 0.15384615384615383, 'rougeLsum': 0.15384615384615383} Sari: {'sari': 39.04380341880342} Flesh Reading Ease: 62.85 ---------------------------------------- Source: ['Boas aber ging ins Tor hinauf und setzte sich dort hin.'] Prediction: ['Die Schweizer kämpfen in der Champions League gegen den FC Basel.\nNach dem Tor ging es aber nicht mehr zu reden.'] Label: [['Boas setzt sich an den Gerichts·platz.']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2857142857142856, 'translation_length': 23, 'reference_length': 7} Rouge: {'rouge1': 0.06896551724137931, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 59.38852813852814} Flesh Reading Ease: 93.45 ---------------------------------------- Source: ['“ Noomi nahm den Säugling, hob ihn an ihre Brust, wurde seine Kinderfrau und die Bürgerinnen gaben ihm einen Namen, indem sie sagten: „Ein Sohn ist der Noomi geboren! “, und sie nannten seinen Namen „Obed “.'] Prediction: ['Noomi (3) ist eine Säugling, der noch nie geboren wurde.\nNoomi wurde seine Kinderfrau und die Bürgerinnen gaben ihm einen Namen.'] Label: [['Die Nachbarinnen geben dem Kind einen Namen.\nSie rufen: Noomi hat einen Sohn bekommen!\nWir nennen das Kind Obed.\nObed heißt Diener.']] Sacrebleu: {'score': 5.879301858674116, 'counts': [5, 2, 1, 0], 'totals': [26, 25, 24, 23], 'precisions': [19.23076923076923, 8.0, 4.166666666666667, 2.1739130434782608], 'bp': 0.9622687143632572, 'sys_len': 26, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.19230769230769232, 0.08, 0.041666666666666664, 0.0], 'brevity_penalty': 0.9622687143632572, 'length_ratio': 0.9629629629629629, 'translation_length': 26, 'reference_length': 27} Rouge: {'rouge1': 0.17391304347826086, 'rouge2': 0.045454545454545456, 'rougeL': 0.13043478260869565, 'rougeLsum': 0.17391304347826086} Sari: {'sari': 36.87398910324282} Flesh Reading Ease: 64.2 ---------------------------------------- Source: ['Dieser war der Vater von Isai, dem Vater Davids.'] Prediction: ['Im Alter von 99 Jahren ist der Vater von Isai, dem Vater Davids, gestorben.\nAm Mittwochabend wurde der Vater von Isai geschossen.\nIm Interview mit 20 Minuten spricht sich der Vater von Isai über den Vater.'] Label: [['Wenn Obed groß ist, wird er Vater von Isai.\nWenn Isai groß ist, wird er Vater von David.']] Sacrebleu: {'score': 5.104438470315516, 'counts': [11, 3, 1, 0], 'totals': [41, 40, 39, 38], 'precisions': [26.829268292682926, 7.5, 2.5641025641025643, 1.3157894736842106], 'bp': 1.0, 'sys_len': 41, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.2682926829268293, 0.075, 0.02564102564102564, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8636363636363635, 'translation_length': 41, 'reference_length': 22} Rouge: {'rouge1': 0.25925925925925924, 'rouge2': 0.11538461538461539, 'rougeL': 0.25925925925925924, 'rougeLsum': 0.25925925925925924} Sari: {'sari': 46.49491249491249} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['Dies also sind die Zeugungen von Perez: Perez zeugte den Hezron, Hezron zeugte Ram, Ram zeugte Amminadab, Amminadab zeugte Nachschon, Nachschon zeugte Salmon, Salmon zeugte Boas, Boas zeugte Obed, Obed zeugte Isai, Isai zeugte David.'] Prediction: ['Die Schweizer Food-Produktion Perez hat mit Hezron und Hezron-Zeugen geschickt.\nPerez zeugte den Hezron, Hezron zeugte Ram, Ram zeugte Amminadab, Amminadab zeugte Nachschon, Nachschon zeugte Salmon, Salmon zeugte Boas, Boas zeugte Obed, Obed zeugte Isai, Isai zeugte David.'] Label: [['Das ist die Familie von David: Perez ist der Vater von Hezron.\nHezron ist der Vater von Ram.\nRam ist der Vater von Amminadab.\nAmminadab ist der Vater von Nachschon.\nNachschon ist der Vater von Salmon.\nSalmon ist der Vater von Boas.\nBoas ist der Vater von Obed.\nObed ist der Vater von Isai.\nIsai ist der Vater von David.']] Sacrebleu: {'score': 1.7104327538156405, 'counts': [20, 1, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [41.666666666666664, 2.127659574468085, 1.0869565217391304, 0.5555555555555556], 'bp': 0.6323366621862498, 'sys_len': 48, 'ref_len': 70} Bleu: {'bleu': 0.0, 'precisions': [0.4166666666666667, 0.02127659574468085, 0.0, 0.0], 'brevity_penalty': 0.6323366621862498, 'length_ratio': 0.6857142857142857, 'translation_length': 48, 'reference_length': 70} Rouge: {'rouge1': 0.37999999999999995, 'rouge2': 0.16326530612244897, 'rougeL': 0.37999999999999995, 'rougeLsum': 0.37999999999999995} Sari: {'sari': 36.88437205883908} Flesh Reading Ease: 55.7 ---------------------------------------- Source: ['Und auch die Moabiterin Rut, die Frau Machlons, habe ich mir zur Frau gekauft, um wieder aufzurichten den Namen des Toten auf seinem Erbbesitz, so dass nicht ausgerottet werde der Name des Toten aus dem Volk seiner Brüder und aus dem Tor seines Ortes.'] Prediction: ['Ein Toten aus dem Erbbesitz wird aus dem Brüder und aus dem Tor seines Ortes geschickt.\nDer Name des Toten wird aus dem Volk seiner Brüder und aus dem Tor seines Ortes.'] Label: [['Auch Rut gehört zu mir.\nSie ist fremd.\nAber sie gehört jetzt zu mir.\nDie Familie stirbt nicht aus.']] Sacrebleu: {'score': 1.432548017297354, 'counts': [3, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [8.823529411764707, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.08823529411764706, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4782608695652173, 'translation_length': 34, 'reference_length': 23} Rouge: {'rouge1': 0.036363636363636355, 'rouge2': 0.0, 'rougeL': 0.036363636363636355, 'rougeLsum': 0.036363636363636355} Sari: {'sari': 33.067901234567906} Flesh Reading Ease: 82.1 ---------------------------------------- Source: ['Vollbringe Tüchtiges in Ephratah Und rufe einen Namen in Bethlehem!'] Prediction: ['In Bethlehem sind Tüchtiges in Ephratah und in einen Namen gekommen.\nDie Tüchtiges rufen einen Namen in Bethlehem.'] Label: [['Sie sagten zu Rut: Sei tüchtig.\nHerzlich willkommen!\nDu sollst Kinder haben in Bethlehem.']] Sacrebleu: {'score': 7.658412276041004, 'counts': [4, 2, 1, 0], 'totals': [20, 19, 18, 17], 'precisions': [20.0, 10.526315789473685, 5.555555555555555, 2.9411764705882355], 'bp': 1.0, 'sys_len': 20, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.10526315789473684, 0.05555555555555555, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1111111111111112, 'translation_length': 20, 'reference_length': 18} Rouge: {'rouge1': 0.17142857142857143, 'rouge2': 0.06060606060606061, 'rougeL': 0.17142857142857143, 'rougeLsum': 0.17142857142857143} Sari: {'sari': 37.68924312783962} Flesh Reading Ease: 65.7 ---------------------------------------- Source: ['JHWH gebe, dass diese Frau, Die in dein Haus kommt, Wie Rahel und wie Leawerde, Die beide das Haus Israel erbauten!'] Prediction: ['Im Alter von 99 Jahren ist eine Frau (30) in ein Haus Israel erbaut worden.\nDie Frau gehört von ihren Frau, Wie Rahel und wie Leawerde, die beide das Haus Israel erbauten.'] Label: [['Gott segnet die Frau.\nDie Frau kommt in dein Haus.\nDie Frau soll wie Rahel und Lea sein.\nDie Beiden sind der Anfang von unserem Volk Israel.']] Sacrebleu: {'score': 5.867672381449296, 'counts': [14, 3, 1, 0], 'totals': [38, 37, 36, 35], 'precisions': [36.8421052631579, 8.108108108108109, 2.7777777777777777, 1.4285714285714286], 'bp': 1.0, 'sys_len': 38, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.3684210526315789, 0.08108108108108109, 0.027777777777777776, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2258064516129032, 'translation_length': 38, 'reference_length': 31} Rouge: {'rouge1': 0.39999999999999997, 'rouge2': 0.10344827586206896, 'rougeL': 0.3333333333333333, 'rougeLsum': 0.39999999999999997} Sari: {'sari': 40.092255613600834} Flesh Reading Ease: 76.25 ---------------------------------------- Source: ['Es sei dein Haus wie das Haus des Perez, Den Tamar dem Juda gebar Durch den Nachwuchs, Den JHWH dir gebe durch diese junge Frau!'] Prediction: ['Den Tamar dem Juda gebe durch diese junge Frau.\nEs sei ein Haus wie das Haus des Perez, Den Tamar dem Juda gebar Durch den Nachwuchs, Den JHWH dir gebe durch diese junge Frau.'] Label: [['Hier ist dein Zuhause.\nSo wie wir alle hier Zuhause sind.\nWie das Haus Perez.\nSeine Mutter war Tamar.\nSein Vater war Juda.\nAuch du wirst Kinder haben.']] Sacrebleu: {'score': 2.7410126102418366, 'counts': [8, 1, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [21.05263157894737, 2.7027027027027026, 1.3888888888888888, 0.7142857142857143], 'bp': 1.0, 'sys_len': 38, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.21052631578947367, 0.02702702702702703, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1176470588235294, 'translation_length': 38, 'reference_length': 34} Rouge: {'rouge1': 0.1935483870967742, 'rouge2': 0.06666666666666667, 'rougeL': 0.1935483870967742, 'rougeLsum': 0.1935483870967742} Sari: {'sari': 35.40143606008546} Flesh Reading Ease: 81.1 ---------------------------------------- Source: ['“ Boas nahm Rut, sie wurde seine Frau, er ging zu ihr, JHWH gab ihr Schwangerschaft, sie gebar einen Sohn und die Frauen sagten zu Noomi: „Gepriesen sei JHWH, Der dir heute einen Löser nicht hat fehlen lassen, Sein Name werde gerufen in Israel!'] Prediction: ['Noomi (24) ist seit einigen Tagen in den vergangenen Tagen aufgetaucht.\nIhre Frau wurde von der Schwangerschaft JHWH (29) gebar einen Sohn.\nNoomi hatte ihr Name gepriesen, Der Name werde gerufen in Israel.'] Label: [['Boas heiratet Rut.\nSie lieben sich.\nGott schenkt Rut Schwangerschaft.\nSie bekommt einen Sohn.\nDie Frauen sagen zu Noomi: Lob sei Gott!\nGott hat alles gut gemacht für dich.\nWir loben Gott!']] Sacrebleu: {'score': 4.119566303102715, 'counts': [7, 2, 1, 0], 'totals': [41, 40, 39, 38], 'precisions': [17.073170731707318, 5.0, 2.5641025641025643, 1.3157894736842106], 'bp': 1.0, 'sys_len': 41, 'ref_len': 40} Bleu: {'bleu': 0.0, 'precisions': [0.17073170731707318, 0.05, 0.02564102564102564, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.025, 'translation_length': 41, 'reference_length': 40} Rouge: {'rouge1': 0.12121212121212122, 'rouge2': 0.03125, 'rougeL': 0.12121212121212122, 'rougeLsum': 0.12121212121212122} Sari: {'sari': 34.324641114439785} Flesh Reading Ease: 63.7 ---------------------------------------- Source: ['Möge er dir der sein, der Lebenskraft zurückkehren lässt Und der dein Alter erhält!'] Prediction: ['Der Alter von Mimi (30) ist ein Alter.\nDer Lebenskraft-Profi erhält den Alter.\nIm Alter erhält er die Lebenskraft zurück.'] Label: [['Gott gibt dir neue Lebens - Kraft.\nGott schützt dein Alter.']] Sacrebleu: {'score': 3.333744983027298, 'counts': [3, 1, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [12.0, 4.166666666666667, 2.1739130434782608, 1.1363636363636365], 'bp': 1.0, 'sys_len': 25, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.12, 0.041666666666666664, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9230769230769231, 'translation_length': 25, 'reference_length': 13} Rouge: {'rouge1': 0.05714285714285715, 'rouge2': 0.0, 'rougeL': 0.05714285714285715, 'rougeLsum': 0.05714285714285715} Sari: {'sari': 51.12012987012987} Flesh Reading Ease: 73.85 ---------------------------------------- Source: ['Ja!, deine Schwiegertochter, die dich liebt, hat ihn geboren, Sie, die besser für dich ist als sieben Söhne!'] Prediction: ['Die Schwiegertochter, die dich liebt, hat ihn geboren.\nSie ist besser für dich als sieben Söhne!'] Label: [['Ja!\nDenn deine Schwiegertochter hat dich lieb.\nDeine Schwiegertochter hat einen Sohn geboren.\nSie ist besser als 7 Söhne!']] Sacrebleu: {'score': 19.865891395692966, 'counts': [11, 5, 3, 2], 'totals': [20, 19, 18, 17], 'precisions': [55.0, 26.31578947368421, 16.666666666666668, 11.764705882352942], 'bp': 0.8607079764250579, 'sys_len': 20, 'ref_len': 23} Bleu: {'bleu': 0.1986589139569296, 'precisions': [0.55, 0.2631578947368421, 0.16666666666666666, 0.11764705882352941], 'brevity_penalty': 0.8607079764250577, 'length_ratio': 0.8695652173913043, 'translation_length': 20, 'reference_length': 23} Rouge: {'rouge1': 0.5263157894736842, 'rouge2': 0.2222222222222222, 'rougeL': 0.5263157894736842, 'rougeLsum': 0.5263157894736842} Sari: {'sari': 40.37112701665842} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Ihr seid heute Zeugen! “ Und das ganze Volk, das im Tor war, antwortete, und die Ältesten: „Wir sind Zeugen!'] Prediction: ['Ein Volk, das im Tor war, antwortete, und die Ältesten: „Wir sind Zeugen!\n“ Und das ganze Volk, das im Tor war, antwortete, und die Ältesten: „Wir sind Zeugen!'] Label: [['Ihr seid meine Zeugen!\nAlle rufen: Wir sind Zeugen!']] Sacrebleu: {'score': 4.620856909230221, 'counts': [6, 3, 1, 0], 'totals': [39, 38, 37, 36], 'precisions': [15.384615384615385, 7.894736842105263, 2.7027027027027026, 1.3888888888888888], 'bp': 1.0, 'sys_len': 39, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.07894736842105263, 0.02702702702702703, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.25, 'translation_length': 39, 'reference_length': 12} Rouge: {'rouge1': 0.21621621621621623, 'rouge2': 0.11428571428571428, 'rougeL': 0.21621621621621623, 'rougeLsum': 0.21621621621621623} Sari: {'sari': 30.15110108866678} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['Es war kein Traum.'] Prediction: ['Der Schweizer war mit einem Traum auf die Kinos.\nDer Schweizer war kein Traum.'] Label: [['Denn er weiß: Dies hier ist kein Traum.']] Sacrebleu: {'score': 9.103526405546068, 'counts': [3, 2, 1, 0], 'totals': [16, 15, 14, 13], 'precisions': [18.75, 13.333333333333334, 7.142857142857143, 3.8461538461538463], 'bp': 1.0, 'sys_len': 16, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.1875, 0.13333333333333333, 0.07142857142857142, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 16, 'reference_length': 10} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.1, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 52.6984126984127} Flesh Reading Ease: 96.95 ---------------------------------------- Source: ['Er lag auf seinem panzerartig harten Rücken und sah, wenn er den Kopf ein wenig hob, seinen gewölbten, braunen, von bogenförmigen Versteifungen geteilten Bauch, auf dessen Höhe sich die Bettdecke, zum gänzlichen Niedergleiten bereit, kaum noch erhalten konnte.'] Prediction: ['Ein Mann hat sich in der Nähe des Kopfs einen Bauch gefunden.\nDer Kopf war ein wenig hob, seinen gewölbten, braunen Bauch.\nDer Mann wurde von bogenförmigen Versteifungen geteilt.'] Label: [['Gregor liegt auf dem Rücken im Bett.\nSein Rücken ist wie ein Panzer.\nHart und dick.\nWenn Gregor seinen Kopf hebt, sieht er einen braunen, steifen Bauch.\nEs ist sein Käfer -Bauch.']] Sacrebleu: {'score': 2.8779464364036156, 'counts': [11, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [32.35294117647059, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 0.8632431969112069, 'sys_len': 34, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.3235294117647059, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 0.8632431969112069, 'length_ratio': 0.8717948717948718, 'translation_length': 34, 'reference_length': 39} Rouge: {'rouge1': 0.20895522388059704, 'rouge2': 0.0, 'rougeL': 0.11940298507462688, 'rougeLsum': 0.1791044776119403} Sari: {'sari': 37.066219667943805} Flesh Reading Ease: 76.7 ---------------------------------------- Source: ['Seine vielen, im Vergleich zu seinem sonstigen Umfang kläglich dünnen Beine flimmerten ihm hilflos vor den Augen.'] Prediction: ['Ein Mann fliegt vor den Augen.\nSeine vielen, im Vergleich zu seinem sonstigen Umfang kläglich dünnen Beine flimmerten ihm hilflos vor den Augen.'] Label: [['Seine Beine sehen jämmerlich aus.\nViele dünne Beinchen.\nSie sind viel zu dünn im Vergleich zu seinem Körper.\nHilflos zappeln sie in der Luft.']] Sacrebleu: {'score': 9.95840839870367, 'counts': [8, 3, 2, 1], 'totals': [26, 25, 24, 23], 'precisions': [30.76923076923077, 12.0, 8.333333333333334, 4.3478260869565215], 'bp': 0.925961078642316, 'sys_len': 26, 'ref_len': 28} Bleu: {'bleu': 0.09958408398703665, 'precisions': [0.3076923076923077, 0.12, 0.08333333333333333, 0.043478260869565216], 'brevity_penalty': 0.925961078642316, 'length_ratio': 0.9285714285714286, 'translation_length': 26, 'reference_length': 28} Rouge: {'rouge1': 0.30188679245283023, 'rouge2': 0.11764705882352941, 'rougeL': 0.2264150943396226, 'rougeLsum': 0.30188679245283023} Sari: {'sari': 43.38733544099902} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ['»Was ist mit mir geschehen?«, dachte er.'] Prediction: ['Im Interview mit 20 Minuten spricht er über die Welt und warum er mit dem Interview geschehen hatte.\nIm Interview spricht er über die Welt und warum er mit dem Interview geschehen hatte.'] Label: [['Was ist mit mir geschehen?, denkt Gregor.']] Sacrebleu: {'score': 1.389736936231864, 'counts': [3, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [8.571428571428571, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.08571428571428572, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.5, 'translation_length': 35, 'reference_length': 10} Rouge: {'rouge1': 0.1, 'rouge2': 0.0, 'rougeL': 0.1, 'rougeLsum': 0.1} Sari: {'sari': 24.92243867243867} Flesh Reading Ease: 75.75 ---------------------------------------- Source: ['Als Gregor Samsa eines Morgens aus unruhigen Träumen erwachte, fand er sich in seinem Bett zu einem ungeheueren Ungeziefer verwandelt.'] Prediction: ['Ein Mann wurde in der Nähe des Bundesstaats Colorado in einem Ungeziefer verletzt.\nEr wurde dabei verletzt.\nEr wurde dabei verhaftet.'] Label: [['Eines Morgens wird Gregor Samsa wach.\nIn der Nacht hat er schon unruhig geträumt.\nUnd als er aufwacht, ist alles anders als sonst.\nGregor Samsa ist ein riesiger Käfer geworden.\nEin unheimliches Ungeziefer.']] Sacrebleu: {'score': 1.3179942166750336, 'counts': [6, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [25.0, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 0.5352614285189903, 'sys_len': 24, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.25, 0.0, 0.0, 0.0], 'brevity_penalty': 0.5352614285189903, 'length_ratio': 0.6153846153846154, 'translation_length': 24, 'reference_length': 39} Rouge: {'rouge1': 0.21052631578947367, 'rouge2': 0.036363636363636355, 'rougeL': 0.14035087719298245, 'rougeLsum': 0.21052631578947367} Sari: {'sari': 52.129370266625166} Flesh Reading Ease: 61.85 ---------------------------------------- Source: ['Sein Zimmer, ein richtiges, nur etwas zu kleines Menschenzimmer, lag ruhig zwischen den vier wohlbekannten Wänden.'] Prediction: ['Ein Zimmer, ein richtiges, nur etwas zu kleines Menschenzimmer, lag ruhig zwischen den vier wohlbekannten Wänden.\nDas ist ein richtiges, nur etwas zu kleines Menschenzimmer, lag ruhig zwischen den vier wohlbekannten Wänden.'] Label: [['Gregor sieht sich um.\nEs ist sein Zimmer.\nEr ist in seinem kleinen Menschen - Zimmer.']] Sacrebleu: {'score': 1.3339264902154053, 'counts': [4, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [10.256410256410257, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.10256410256410256, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0526315789473686, 'translation_length': 39, 'reference_length': 19} Rouge: {'rouge1': 0.0816326530612245, 'rouge2': 0.0, 'rougeL': 0.0816326530612245, 'rougeLsum': 0.0816326530612245} Sari: {'sari': 19.523809523809526} Flesh Reading Ease: 58.7 ---------------------------------------- Source: ['Es stellte eine Dame dar, die mit einem Pelzhut und einer Pelzboa versehen, aufrecht dasaß und einen schweren Pelzmuff, im ihr ganzer Unterarm verschwunden war, dem Beschauer entgegenhob.'] Prediction: ['Immer wieder entdeckte eine Dame, die mit einem Pelzhut und einer Pelzboa versehen, aufrecht dasselbe.\nDer Beschauer entdeckte dem Beschauer.\nDer Beschauer war entgegenhob.'] Label: [['Es ist das Bild von einer vornehmen Dame.\nDie Dame trägt einen Pelz -Hut.\nUnd einen kostbaren Schal aus Pelz.\nIhre Arme wärmt sie in einer Rolle aus Pelz.']] Sacrebleu: {'score': 1.6761833990718291, 'counts': [5, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [17.24137931034483, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 0.8711587695892689, 'sys_len': 29, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.1724137931034483, 0.0, 0.0, 0.0], 'brevity_penalty': 0.8711587695892689, 'length_ratio': 0.8787878787878788, 'translation_length': 29, 'reference_length': 33} Rouge: {'rouge1': 0.14545454545454548, 'rouge2': 0.03773584905660378, 'rougeL': 0.14545454545454548, 'rougeLsum': 0.10909090909090909} Sari: {'sari': 34.581244778613204} Flesh Reading Ease: 49.15 ---------------------------------------- Source: ['»Dies frühzeitige Aufstehen«, dachte er, »macht einen ganz blödsinnig.'] Prediction: ['Ein Mann hat in der Nacht auf Sonntag einen ganz blödsinnig geschickt.\nEr wollte sich mit seinem frühzeitigen Aufstehen verantworten.'] Label: [['Gregor hasst auch das frühe Aufstehen.']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.142857142857143, 'translation_length': 22, 'reference_length': 7} Rouge: {'rouge1': 0.13793103448275862, 'rouge2': 0.0, 'rougeL': 0.13793103448275862, 'rougeLsum': 0.13793103448275862} Sari: {'sari': 45.20202020202021} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['»Wie wäre es, wenn ich noch ein wenig weiterschliefe und alle Narrheiten vergäße«, dachte er, aber das war gänzlich undurchführbar, denn er war gewöhnt, auf der rechten Seite zu schlafen, konnte sich aber in seinem gegenwärtigen Zustand nicht in diese Lage bringen.'] Prediction: ['Ein Mann hatte sich in seinem gegenwärtigen Zustand gewöhnt, auf der rechten Seite zu schlafen.\nEr konnte sich aber nicht in diese Lage bringen.'] Label: [['Ich könnte einfach noch ein wenig weiterschlafen, denkt er.\nVielleicht ist das ja alles nicht wahr.\nAber Gregor kann nicht weiterschlafen.\nEr schläft nämlich immer auf der rechten Seite.\nAber jetzt, als Käfer, kann er sich gar nicht auf die Seite drehen.']] Sacrebleu: {'score': 5.008363564931882, 'counts': [10, 4, 2, 1], 'totals': [27, 26, 25, 24], 'precisions': [37.03703703703704, 15.384615384615385, 8.0, 4.166666666666667], 'bp': 0.4266241552421304, 'sys_len': 27, 'ref_len': 50} Bleu: {'bleu': 0.0500836356493188, 'precisions': [0.37037037037037035, 0.15384615384615385, 0.08, 0.041666666666666664], 'brevity_penalty': 0.4266241552421305, 'length_ratio': 0.54, 'translation_length': 27, 'reference_length': 50} Rouge: {'rouge1': 0.25, 'rouge2': 0.08571428571428573, 'rougeL': 0.2222222222222222, 'rougeLsum': 0.25} Sari: {'sari': 40.74633807515512} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['Gregors Blick richtete sich dann zum Fenster, und das trübe Wetter – man hörte Regentropfen auf das Fensterblech aufschlagen – machte ihn ganz melancholisch.'] Prediction: ['Gregors Blick (34) machte sich melancholisch.\nEr war ein bisschen Fälle im Fensterblech.\nDas trübe Wetter machte man auf das Fensterblech aufschlagen.'] Label: [['Gregor sieht zum Fenster.\nTrübes Wetter ist da draußen.\nRegen tropft auf das Fenster -Blech.\nDas Wetter macht Gregor ein wenig traurig.']] Sacrebleu: {'score': 4.668049023095242, 'counts': [8, 2, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [29.62962962962963, 7.6923076923076925, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.2962962962962963, 0.07692307692307693, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0384615384615385, 'translation_length': 27, 'reference_length': 26} Rouge: {'rouge1': 0.25, 'rouge2': 0.043478260869565216, 'rougeL': 0.16666666666666666, 'rougeLsum': 0.25} Sari: {'sari': 37.945701252152865} Flesh Reading Ease: 73.25 ---------------------------------------- Source: ['Er versuchte es wohl hundertmal, schloß die Augen, um die zappelnden Beine nicht sehen zu müssen, und ließ erst ab, als er in der Seite einen noch nie gefühlten, leichten, dumpfen Schmerz zu fühlen begann.'] Prediction: ['Ein Mann versuchte die Augen, um die zappelnden Beine nicht sehen zu müssen.\nDiese fühlen schmerz zu fühlen.\nEr versuchte sie, die Augen zu müssen.'] Label: [['Immer wieder versucht er es.\n100 Mal bestimmt.\nJedes Mal rollt er wieder auf den Rücken zurück.\nGregor hält die Augen geschlossen.\nWeil er seine zappelnden Beinchen nicht sehen mag.\nEr gibt erst auf, als seine rechte Seite wehtut.\nSo einen dumpfen Schmerz kennt er gar nicht.']] Sacrebleu: {'score': 2.123662443180058, 'counts': [10, 3, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [33.333333333333336, 10.344827586206897, 1.7857142857142858, 0.9259259259259259], 'bp': 0.43459820850707825, 'sys_len': 30, 'ref_len': 55} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.10344827586206896, 0.0, 0.0], 'brevity_penalty': 0.43459820850707814, 'length_ratio': 0.5454545454545454, 'translation_length': 30, 'reference_length': 55} Rouge: {'rouge1': 0.17721518987341772, 'rouge2': 0.051948051948051945, 'rougeL': 0.17721518987341772, 'rougeLsum': 0.17721518987341772} Sari: {'sari': 36.64918333197242} Flesh Reading Ease: 78.1 ---------------------------------------- Source: ['Tag aus, Tag ein auf der Reise.'] Prediction: ['Du findest hier aktuelle Wochenende in der Schweiz statt?\nHier gibts die besten Vorwürfe.'] Label: [['Jeden Tag muss ich auf Reisen sein.']] Sacrebleu: {'score': 2.445593937240363, 'counts': [1, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [6.25, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 16, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 59.583333333333336} Flesh Reading Ease: 73.55 ---------------------------------------- Source: ['Mit welcher Kraft er sich auch auf die rechte Seite warf, immer wieder schaukelte er in die Rückenlage zurück.'] Prediction: ['Der Schweizer Nati hat sich auf die rechte Seite geschaut.\nDer Kraft schaukelte immer wieder zurück.'] Label: [['Auch wenn er sich noch so anstrengt.']] Sacrebleu: {'score': 2.5540496664715904, 'counts': [2, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [11.11111111111111, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 18, 'reference_length': 8} Rouge: {'rouge1': 0.08333333333333333, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.08333333333333333} Sari: {'sari': 33.61111111111111} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Die geschäftlichen Aufregungen sind viel größer, als im eigentlichen Geschäft zu Hause, und außerdem ist mir noch diese Plage des Reisens auferlegt, die Sorgen um die Zuganschlüsse, das unregelmäßige, schlechte Essen, ein immer wechselnder, nie andauernder, nie herzlich werdender menschlicher Verkehr.'] Prediction: ['Der Reisenschlüsse ist eine unregelmäßige, schlechte Essen.\nDer Reisenschlüsse ist in der Schweiz ein wechselnder, nie andauernder, nie herzlich werdender menschlicher Verkehr.'] Label: [['Das ist viel anstrengender, als in einem Geschäft Stoffe zu verkaufen.\nIch muss alle Zug - Pläne kennen.\nIch kann immer nur schnell essen.\nZwischendurch.\nImmer in Eile.\nDie Kunden sehe ich nur kurz.\nDann geht es schon zum nächsten Kunden.\nAlles ist oberflächlich.\nMan sieht sich und trennt sich.']] Sacrebleu: {'score': 0.6398325966500488, 'counts': [6, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [22.22222222222222, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 0.29457482831010734, 'sys_len': 27, 'ref_len': 60} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.0, 0.0, 0.0], 'brevity_penalty': 0.29457482831010734, 'length_ratio': 0.45, 'translation_length': 27, 'reference_length': 60} Rouge: {'rouge1': 0.10256410256410255, 'rouge2': 0.0, 'rougeL': 0.07692307692307693, 'rougeLsum': 0.10256410256410255} Sari: {'sari': 33.78711227567437} Flesh Reading Ease: 40.3 ---------------------------------------- Source: ['Andere Reisende leben wie Haremsfrauen.'] Prediction: ['In der Schweiz sind neue Reisende zu vermeiden.\nDie Schweizer Reisende leben wie Haremsfrauen.'] Label: [['Gregor denkt an andere Vertreter.']] Sacrebleu: {'score': 2.445593937240363, 'counts': [1, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [6.25, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6666666666666665, 'translation_length': 16, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 27.38095238095238} Flesh Reading Ease: 67.7 ---------------------------------------- Source: ['Der Mensch muß seinen Schlaf haben.'] Prediction: ['Ein Mann hatte sich mit seinem Schlaf geschickt.\nDer Mensch muß seinen Schlaf haben.'] Label: [['Der Mensch muss doch seinen Schlaf haben!']] Sacrebleu: {'score': 11.44707843033496, 'counts': [5, 3, 1, 0], 'totals': [16, 15, 14, 13], 'precisions': [31.25, 20.0, 7.142857142857143, 3.8461538461538463], 'bp': 1.0, 'sys_len': 16, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.3125, 0.2, 0.07142857142857142, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 16, 'reference_length': 8} Rouge: {'rouge1': 0.4761904761904762, 'rouge2': 0.3157894736842105, 'rougeL': 0.4761904761904762, 'rougeLsum': 0.4761904761904762} Sari: {'sari': 48.611111111111114} Flesh Reading Ease: 91.1 ---------------------------------------- Source: ['Wenn ich zum Beispiel im Laufe des Vormittags ins Gasthaus zurückgehe, um die erlangten Aufträge zu überschreiben, sitzen diese Herren erst beim Frühstück.'] Prediction: ['Im Gasthaus sitzen die Herren erst beim Frühstück.\nWenn ich zum Beispiel im Laufe des Vormittags ins Gasthaus zurückgehe, um die erlangten Aufträge zu überschreiben, sitzen diese Herren erst beim Frühstück.'] Label: [['Die sitzen noch gemütlich beim Frühstück im Hotel.\nDa kommt er selbst schon mit den ersten Aufträgen zurück.\nDie Aufträge hat er schon ganz früh am Morgen abgeschlossen.\nWährend die anderen noch beim Frühstück sitzen.']] Sacrebleu: {'score': 3.43081103654085, 'counts': [11, 2, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [31.428571428571427, 5.882352941176471, 1.5151515151515151, 0.78125], 'bp': 0.8920030614530944, 'sys_len': 35, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.3142857142857143, 0.058823529411764705, 0.0, 0.0], 'brevity_penalty': 0.8920030614530944, 'length_ratio': 0.8974358974358975, 'translation_length': 35, 'reference_length': 39} Rouge: {'rouge1': 0.3902439024390244, 'rouge2': 0.17500000000000002, 'rougeL': 0.34146341463414637, 'rougeLsum': 0.31707317073170727} Sari: {'sari': 37.62019230769231} Flesh Reading Ease: 65.05 ---------------------------------------- Source: ['»Ach Gott«, dachte er, »was für einen anstrengenden Beruf habe ich gewählt!'] Prediction: ['Ein Mann hatte in der Nacht auf Sonntag einen anstrengenden Beruf gewählt.\nDer Mann war dabei, dass er sich gewählt habe.'] Label: [['Gregor denkt über seinen Beruf nach: Wie anstrengend das alles ist.']] Sacrebleu: {'score': 1.8709718017288024, 'counts': [2, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [8.333333333333334, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.08333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8461538461538463, 'translation_length': 24, 'reference_length': 13} Rouge: {'rouge1': 0.0588235294117647, 'rouge2': 0.0, 'rougeL': 0.0588235294117647, 'rougeLsum': 0.0588235294117647} Sari: {'sari': 44.416666666666664} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['Das sollte ich bei meinem Chef versuchen; ich würde auf der Stelle hinausfliegen.'] Prediction: ['Eine Chefin würde auf der Stelle hinausfliegen.\nSie würde auf der Stelle hinausfliegen.'] Label: [['Wenn ich das bei meinem Chef so machen würde, dann würde ich auf der Stelle rausfliegen.']] Sacrebleu: {'score': 9.524516597472342, 'counts': [6, 2, 1, 0], 'totals': [15, 14, 13, 12], 'precisions': [40.0, 14.285714285714286, 7.6923076923076925, 4.166666666666667], 'bp': 0.8187307530779819, 'sys_len': 15, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.4, 0.14285714285714285, 0.07692307692307693, 0.0], 'brevity_penalty': 0.8187307530779819, 'length_ratio': 0.8333333333333334, 'translation_length': 15, 'reference_length': 18} Rouge: {'rouge1': 0.42424242424242425, 'rouge2': 0.2580645161290323, 'rougeL': 0.42424242424242425, 'rougeLsum': 0.303030303030303} Sari: {'sari': 36.730664488017425} Flesh Reading Ease: 68.2 ---------------------------------------- Source: ['Wer weiß übrigens, ob das nicht sehr gut für mich wäre.'] Prediction: ['Die Welt ist eine grosse Woche.\nDie Welt ist eine grosse Woche.\nDie Welt ist eine grosse Woche.'] Label: [['Vielleicht wäre das aber gar nicht mal so schlecht, denkt Gregor.\nVielleicht wäre das sogar sehr gut für mich.']] Sacrebleu: {'score': 2.0592684545558493, 'counts': [2, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [9.523809523809524, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 0.9534969548334766, 'sys_len': 21, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.09523809523809523, 0.0, 0.0, 0.0], 'brevity_penalty': 0.9534969548334766, 'length_ratio': 0.9545454545454546, 'translation_length': 21, 'reference_length': 22} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 25.012626262626263} Flesh Reading Ease: 86.25 ---------------------------------------- Source: ['Wenn ich mich nicht wegen meiner Eltern zurückhielte, ich hätte längst gekündigt, ich wäre vor den Chef hin getreten und hätte ihm meine Meinung von Grund des Herzens aus gesagt.'] Prediction: ['Ein Chef hatte meine Meinung von Grund des Herzens ausgegeben.\nEr hätte längst gekündigt, ich wäre vor den Chef hin getreten und hätte ihm meine Meinung von Grund des Herzens aus gesagt.'] Label: [['Aber ich muss an meine Eltern denken.\nNur deshalb halte ich mich zurück.\nSonst hätte ich schon längst gekündigt.\nWenn es meine Eltern nicht geben würde.\nDann würde ich zu meinem Chef gehen und ihm so richtig meine Meinung sagen.']] Sacrebleu: {'score': 2.953884133804516, 'counts': [12, 2, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [34.285714285714285, 5.882352941176471, 1.5151515151515151, 0.78125], 'bp': 0.7514772930752859, 'sys_len': 35, 'ref_len': 45} Bleu: {'bleu': 0.0, 'precisions': [0.34285714285714286, 0.058823529411764705, 0.0, 0.0], 'brevity_penalty': 0.751477293075286, 'length_ratio': 0.7777777777777778, 'translation_length': 35, 'reference_length': 45} Rouge: {'rouge1': 0.3373493975903615, 'rouge2': 0.12345679012345678, 'rougeL': 0.3132530120481928, 'rougeLsum': 0.3373493975903615} Sari: {'sari': 33.45997610513739} Flesh Reading Ease: 70.4 ---------------------------------------- Source: ['Vom Pult hätte er fallen müssen!'] Prediction: ['Der Schweizer Pult hatte einen jungen Mann gefunden.\nEr hätte er fallen müssen.'] Label: [['Der Chef würde von seinem Schreib - Tisch fallen.']] Sacrebleu: {'score': 3.4585921141027356, 'counts': [3, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [20.0, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 15, 'reference_length': 10} Rouge: {'rouge1': 0.16666666666666669, 'rouge2': 0.0, 'rougeL': 0.16666666666666669, 'rougeLsum': 0.16666666666666669} Sari: {'sari': 38.0718954248366} Flesh Reading Ease: 79.9 ---------------------------------------- Source: ['Es ist auch eine sonderbare Art, sich auf das Pult zu setzen und von der Höhe herab mit dem Angestellten zu reden, der überdies wegen der Schwerhörigkeit des Chefs ganz nahe herantreten muß.'] Prediction: ['Chefessin Tina Lauf (34) hat sich mit dem Angestellten zu reden.\nDie Höhe herab mit dem Angestellten zu reden.\nAuf der Pult ist die sonderbare Art, sich auf das Pult zu setzen und von der Höhe herab mit dem Angestellten zu reden.'] Label: [['Auf den setzt er sich immer.\nWenn er mit uns Angestellten spricht.\nVon oben herab redet er auf uns ein.\nUnd weil er schwerhörig ist, müssen wir uns dabei ganz nah um ihn stellen.']] Sacrebleu: {'score': 1.385083059540409, 'counts': [11, 0, 0, 0], 'totals': [48, 47, 46, 45], 'precisions': [22.916666666666668, 1.0638297872340425, 0.5434782608695652, 0.2777777777777778], 'bp': 1.0, 'sys_len': 48, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.22916666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2307692307692308, 'translation_length': 48, 'reference_length': 39} Rouge: {'rouge1': 0.225, 'rouge2': 0.0, 'rougeL': 0.15, 'rougeLsum': 0.17500000000000002} Sari: {'sari': 37.51920122887864} Flesh Reading Ease: 78.25 ---------------------------------------- Source: ['Nun, die Hoffnung ist noch nicht gänzlich aufgegeben; habe ich einmal das Geld beisammen, um die Schuld der Eltern an ihn abzuzahlen – es dürfte noch fünf bis sechs Jahre dauern –, mache ich die Sache unbedingt.'] Prediction: ['Nun, die Hoffnung ist noch nicht gänzlich aufgegeben.\nDer Grund: Es dürfte noch fünf bis sechs Jahre dauern.'] Label: [['Eines Tages werde ich ihm meine Meinung sagen.\nDem Chef.\nEines Tages, wenn ich die Schulden meiner Eltern bei ihm abbezahlt habe.\nFünf bis sechs Jahre wird das noch dauern.\nBis ich das ganze Geld zusammenhabe.']] Sacrebleu: {'score': 3.7728008713162655, 'counts': [9, 3, 1, 0], 'totals': [22, 21, 20, 19], 'precisions': [40.90909090909091, 14.285714285714286, 5.0, 2.6315789473684212], 'bp': 0.40289032152913296, 'sys_len': 22, 'ref_len': 42} Bleu: {'bleu': 0.0, 'precisions': [0.4090909090909091, 0.14285714285714285, 0.05, 0.0], 'brevity_penalty': 0.40289032152913307, 'length_ratio': 0.5238095238095238, 'translation_length': 22, 'reference_length': 42} Rouge: {'rouge1': 0.27586206896551724, 'rouge2': 0.14285714285714285, 'rougeL': 0.24137931034482757, 'rougeLsum': 0.27586206896551724} Sari: {'sari': 41.424902098477226} Flesh Reading Ease: 89.1 ---------------------------------------- Source: ['Über dem Tisch, auf dem eine auseinandergepackte Musterkollektion von Tuchwaren ausgebreitet war – Samsa war Reisender – hing das Bild, das er vor kurzem aus einer illustrierten Zeitschrift ausgeschnitten und in einem hübschen, vergoldeten Rahmen untergebracht hatte.'] Prediction: ['Ein auseinandergepackter Musterkollektion von Tuchwaren hat ein Bild ausgeschnitten und in einem hübschen, vergoldeten Rahmen untergebracht.\nDer Tisch war Reisender.'] Label: [['Auf dem Tisch sind noch immer die Stoffe ausgebreitet.\nGregor ist von Beruf Vertreter.\nSeine Aufgabe ist es, Stoffe zu verkaufen.\nDafür reist er umher.\nGregor sieht sich weiter in seinem Zimmer um.\nÜber dem Tisch hängt immer noch das Bild.\nDas Bild, das er vor ein paar Tagen aus einer Zeitschrift ausgeschnitten hat.\nGregor hat es in einem schönen Rahmen aufgehängt.\nIn einem goldenen Bilder -Rahmen.']] Sacrebleu: {'score': 0.4716746980961576, 'counts': [12, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [52.17391304347826, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 0.09151024481051159, 'sys_len': 23, 'ref_len': 78} Bleu: {'bleu': 0.0, 'precisions': [0.5217391304347826, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 0.09151024481051159, 'length_ratio': 0.2948717948717949, 'translation_length': 23, 'reference_length': 78} Rouge: {'rouge1': 0.2173913043478261, 'rouge2': 0.02222222222222222, 'rougeL': 0.13043478260869565, 'rougeLsum': 0.19565217391304346} Sari: {'sari': 29.255731264734326} Flesh Reading Ease: 29.6 ---------------------------------------- Source: ['Dann wird der große Schnitt gemacht.'] Prediction: ['Im Schnitt wird der große Schnitt gemacht.\nDas wird der große Schnitt gemacht.'] Label: [['Aber dann mache ich Schluss.\nDann kündige ich.']] Sacrebleu: {'score': 3.1251907639724417, 'counts': [2, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [13.333333333333334, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 15, 'reference_length': 10} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 27.083333333333332} Flesh Reading Ease: 97.45 ---------------------------------------- Source: ['Tom Sawyer aber, mein alter Freund Tom, spürte mich wieder auf, versprach, er wolle eine Räuberbande gründen und ich solle Mitglied werden, wenn ich noch einmal zur Witwe zurückkehre und mich weiter ›sievilisieren‹ lasse.'] Prediction: ['Tom Sawyer (34) wird von einer Räuberbande erschienen.\nDer Räuber wolle eine Räuberbande gründen und ich solle Mitglied werden.\nTom hatte sich wieder aufgefordert, er wolle eine Räuberbande gründen und ich solle Mitglied werden, wenn ich noch einmal zur Witwe zurückkehre und mich weiter ›sievilisieren lasse.'] Label: [['Doch Tom Sawyer spürt mich auf.\nEr will eine Räuber - Bande gründen und ich darf dabei sein.\nAber dafür muss ich zu Miss Douglas zurück.\nTom sagt nämlich, dass Räuber ordentliche Menschen sind.']] Sacrebleu: {'score': 4.467706751342167, 'counts': [14, 4, 1, 0], 'totals': [53, 52, 51, 50], 'precisions': [26.41509433962264, 7.6923076923076925, 1.9607843137254901, 1.0], 'bp': 1.0, 'sys_len': 53, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.2641509433962264, 0.07692307692307693, 0.0196078431372549, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.358974358974359, 'translation_length': 53, 'reference_length': 39} Rouge: {'rouge1': 0.3440860215053763, 'rouge2': 0.13186813186813184, 'rougeL': 0.23655913978494625, 'rougeLsum': 0.3440860215053763} Sari: {'sari': 38.40792448529021} Flesh Reading Ease: 53.55 ---------------------------------------- Source: ['Da ihr gewiß schon die Abenteuer von Tom Sawyer gelesen habt, so brauche ich mich euch nicht vorzustellen.'] Prediction: ['Tom Sawyer (24) wurde bei einem Abenteuer in Texas verletzt.\nNun wurde er von Tom Sawyer (27) nicht verletzt.\nDie beiden waren nicht mehr, sondern auch nicht mehr.'] Label: [['Liebe Leser, soweit ich weiß, kennt ihr mich nicht.\nDenn ihr habt bestimmt das Buch Die Abenteuer von Tom Sawyer nicht gelesen.']] Sacrebleu: {'score': 5.157142709886006, 'counts': [10, 2, 1, 0], 'totals': [36, 35, 34, 33], 'precisions': [27.77777777777778, 5.714285714285714, 2.9411764705882355, 1.5151515151515151], 'bp': 1.0, 'sys_len': 36, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.2777777777777778, 0.05714285714285714, 0.029411764705882353, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3846153846153846, 'translation_length': 36, 'reference_length': 26} Rouge: {'rouge1': 0.28, 'rouge2': 0.08333333333333333, 'rougeL': 0.2, 'rougeLsum': 0.23999999999999996} Sari: {'sari': 42.99136321195145} Flesh Reading Ease: 82.95 ---------------------------------------- Source: ['Jenes Buch hat ein gewisser Mark Twain geschrieben und was drinsteht ist wahr – wenigstens meistenteils.'] Prediction: ['Im Juni ist Mark Twain (68) in den USA geworden.\nEr wurde zum ersten Mal gewiss.\nDas Buch ist wenigstens meistenteils.'] Label: [['Dieses Buch hat Mark Twain geschrieben und darin die wahre Geschichte von Tom und mir erzählt.']] Sacrebleu: {'score': 3.435812002459847, 'counts': [4, 1, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 4.0, 2.0833333333333335, 1.0869565217391304], 'bp': 1.0, 'sys_len': 26, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.04, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5294117647058822, 'translation_length': 26, 'reference_length': 17} Rouge: {'rouge1': 0.15789473684210528, 'rouge2': 0.05555555555555556, 'rougeL': 0.10526315789473684, 'rougeLsum': 0.15789473684210528} Sari: {'sari': 34.26739926739926} Flesh Reading Ease: 85.25 ---------------------------------------- Source: ['Hie und da hat er etwas dazugedichtet, aber das tut nichts.'] Prediction: ['Ein Mann hat eine Frau dazugedichtet, aber das tut nichts.\nDie Frau hat ihn etwas dazugedichtet.'] Label: [['Na gut, manchmal hat Mark Twain ein bisschen geschwindelt, aber das macht nichts.']] Sacrebleu: {'score': 9.917720727091444, 'counts': [6, 3, 1, 0], 'totals': [19, 18, 17, 16], 'precisions': [31.57894736842105, 16.666666666666668, 5.882352941176471, 3.125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.3157894736842105, 0.16666666666666666, 0.058823529411764705, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1875, 'translation_length': 19, 'reference_length': 16} Rouge: {'rouge1': 0.3448275862068966, 'rouge2': 0.07407407407407407, 'rougeL': 0.27586206896551724, 'rougeLsum': 0.27586206896551724} Sari: {'sari': 48.88888888888889} Flesh Reading Ease: 78.4 ---------------------------------------- Source: ['Toms Tante Polly und seine Schwester Mary und die Witwe Douglas kommen alle im Buche vom Tom Sawyer vor, das wie gesagt, mit wenigen Ausnahmen eine wahre Geschichte ist.'] Prediction: ['Tom Sawyer (43) ist im Juni 2020 in den USA verstorben.\nTante Polly und seine Schwester Mary waren im Buche vom Tom Sawyer (44) gekommen.\nDie beiden waren wohl wenige Ausnahmen, die eine wahre Geschichte ist.'] Label: [['Um die beiden Damen geht es auch im Buch.']] Sacrebleu: {'score': 1.176877973200725, 'counts': [4, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [9.090909090909092, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.4, 'translation_length': 44, 'reference_length': 10} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.04651162790697674, 'rougeL': 0.08888888888888888, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 36.814086814086814} Flesh Reading Ease: 68.55 ---------------------------------------- Source: ['Jeder von uns bekam sechstausend Dollars, lauter Gold.'] Prediction: ['Der US-Amerikaner hat sechstausende Dollar bekommen.\nDie Gold-Millionäre bekam sechstausend Dollar.'] Label: [['Wir haben beide 6000 Dollar.']] Sacrebleu: {'score': 6.178110636313396, 'counts': [2, 1, 0, 0], 'totals': [13, 12, 11, 10], 'precisions': [15.384615384615385, 8.333333333333334, 4.545454545454546, 2.5], 'bp': 1.0, 'sys_len': 13, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.08333333333333333, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.1666666666666665, 'translation_length': 13, 'reference_length': 6} Rouge: {'rouge1': 0.10526315789473682, 'rouge2': 0.0, 'rougeL': 0.10526315789473682, 'rougeLsum': 0.10526315789473682} Sari: {'sari': 56.49038461538461} Flesh Reading Ease: 22.4 ---------------------------------------- Source: ['Ich kenne niemand, der nicht gelegentlich einmal ein bißchen lügen täte, ausgenommen etwa Tante Polly oder die Witwe Douglas oder Mary.'] Prediction: ['Eine biosexuelle Frau hat sich in den vergangenen Tagen eine biosexuelle Frau veröffentlicht.\nIhre Frau hat sich nicht ganz nach der Täterschaft gesucht, sondern auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch auch'] Label: [['Jeder schwindelt doch mal, oder?\nMoment, nein, Miss Douglas und Tante Polly schwindeln natürlich nie.']] Sacrebleu: {'score': 0.19331207478400125, 'counts': [2, 0, 0, 0], 'totals': [219, 218, 217, 216], 'precisions': [0.91324200913242, 0.22935779816513763, 0.1152073732718894, 0.05787037037037037], 'bp': 1.0, 'sys_len': 219, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.0091324200913242, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 10.95, 'translation_length': 219, 'reference_length': 20} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 50.69429997919701} Flesh Reading Ease: 7.15 ---------------------------------------- Source: ['Es war ein großartiger Anblick, als wir das Geld auf einem Haufen liegen sahen.'] Prediction: ['Ein Mann aus dem Kanton Bern hatte sich mit einem Geld auf einem Haufen geschickt.\nDer Mann war ein großartiger Anblick.'] Label: [['Das ist ganz schön viel Geld.']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2857142857142856, 'translation_length': 23, 'reference_length': 7} Rouge: {'rouge1': 0.06896551724137931, 'rouge2': 0.0, 'rougeL': 0.06896551724137931, 'rougeLsum': 0.06896551724137931} Sari: {'sari': 34.920634920634924} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['Am Ende von dieser Geschichte wird erzählt, wie Tom und ich das Geld fanden, das die Räuber in der Höhle verborgen hatten, wodurch wir nachher sehr reich wurden.'] Prediction: ['Am Ende der Woche wird die Räuber-Geschichte von Tom und Tom veröffentlicht.\nWie Tom und Tom das Geld fanden, das die Räuber in der Höhle verborgen hatten, wird erstmals nachher sehr reich wurden.'] Label: [['Das Buch über Tom und mich endet übrigens so: Tom und ich finden einen Schatz in einer Höhle.\nDen hatten Räuber dort versteckt.\nUnd dadurch sind wir plötzlich reich.']] Sacrebleu: {'score': 3.629279176553849, 'counts': [11, 2, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [29.72972972972973, 5.555555555555555, 1.4285714285714286, 0.7352941176470589], 'bp': 1.0, 'sys_len': 37, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.2972972972972973, 0.05555555555555555, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.121212121212121, 'translation_length': 37, 'reference_length': 33} Rouge: {'rouge1': 0.34285714285714286, 'rouge2': 0.11764705882352941, 'rougeL': 0.2571428571428571, 'rougeLsum': 0.2857142857142857} Sari: {'sari': 34.73896019861078} Flesh Reading Ease: 75.75 ---------------------------------------- Source: ['Kreisrichter Thatcher bewahrte meinen Teil auf und legte ihn auf Zinsen an, die jeden Tag einen Dollar für mich ausmachen.'] Prediction: ['Dieresa May hat einen Dollar für ihn ausmachen.\nDer US-Präsident hatte sich mit Thatcher aufgefordert.\nThatcher bewahrte meinen Teil auf und legte ihn auf Zinsen an.'] Label: [['Richter Thatcher hat es für uns bei einer Bank angelegt.\nUnd seitdem kriegen Tom und ich jeden Tag einen Dollar Zinsen.']] Sacrebleu: {'score': 3.748131723822483, 'counts': [9, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [31.03448275862069, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 23} Bleu: {'bleu': 0.0, 'precisions': [0.3103448275862069, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2608695652173914, 'translation_length': 29, 'reference_length': 23} Rouge: {'rouge1': 0.3137254901960784, 'rouge2': 0.08163265306122448, 'rougeL': 0.19607843137254902, 'rougeLsum': 0.3137254901960784} Sari: {'sari': 32.744408369408376} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['Ich weiß wahrhaftig nicht, was ich mit dem vielen Geld anfangen soll.'] Prediction: ['Der Schweizer Stürmer hat seinen eigenen Geld für seinen ersten Mal angekündigt.\nDer Grund: Er hat seinen vielen Geld angekündigt.'] Label: [['Das ist mehr Geld, als ich jemals ausgeben kann!']] Sacrebleu: {'score': 1.6466642419110007, 'counts': [1, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [4.3478260869565215, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.043478260869565216, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.090909090909091, 'translation_length': 23, 'reference_length': 11} Rouge: {'rouge1': 0.06060606060606061, 'rouge2': 0.0, 'rougeL': 0.06060606060606061, 'rougeLsum': 0.06060606060606061} Sari: {'sari': 51.527777777777786} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Die Witwe Douglas nahm mich als Sohn an und will versuchen, mich zu sievilisieren wie sie sagt.'] Prediction: ['Die Witwe Douglas nahm mich als Sohn an und will versuchen, mich zu sievilisieren wie sie sagt.\nDie Witwe Douglas nahm mich als Sohn an und will versuchen, mich zu sievilisieren wie sie sagt.'] Label: [['Und dann nimmt mich Miss Douglas auch noch als ihren Pflege - Sohn auf.\n10 Sie will einen ordentlichen Jungen aus mir machen.']] Sacrebleu: {'score': 1.5763060777242128, 'counts': [7, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [18.42105263157895, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 25} Bleu: {'bleu': 0.0, 'precisions': [0.18421052631578946, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.52, 'translation_length': 38, 'reference_length': 25} Rouge: {'rouge1': 0.25, 'rouge2': 0.0, 'rougeL': 0.21428571428571427, 'rougeLsum': 0.14285714285714285} Sari: {'sari': 38.23529411764706} Flesh Reading Ease: 75.25 ---------------------------------------- Source: ['Das schmeckt mir aber schlecht, kann ich euch sagen, das Leben wird mir furchtbar sauer im Hause mit der abscheulichen Regelmäßigkeit, wo immer um dieselbe Zeit gegessen und geschlafen werden soll, einen Tag wie den andern.'] Prediction: ['Der Schweizer Leben wird sauer mit der Regelmäßigkeit.\nDas Leben wird furchtbar sauer im Hause mit der abscheulichen Regelmäßigkeit.'] Label: [['Doch darauf habe ich natürlich keine Lust.\nAlles in ihrem Haus ist ordentlich und sauber.\nGenau wie Miss Douglas selbst.\nMir gefällt das allerdings überhaupt nicht.']] Sacrebleu: {'score': 1.406913671238289, 'counts': [2, 0, 0, 0], 'totals': [21, 20, 19, 18], 'precisions': [9.523809523809524, 2.5, 1.3157894736842106, 0.6944444444444444], 'bp': 0.6514390575310556, 'sys_len': 21, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.09523809523809523, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6514390575310556, 'length_ratio': 0.7, 'translation_length': 21, 'reference_length': 30} Rouge: {'rouge1': 0.04081632653061224, 'rouge2': 0.0, 'rougeL': 0.04081632653061224, 'rougeLsum': 0.04081632653061224} Sari: {'sari': 33.685185185185176} Flesh Reading Ease: 59.35 ---------------------------------------- Source: ['Einmal bin ich auch schon durchgebrannt, bin in meine alten Lumpen gekrochen, und – hast du nicht gesehen, war ich draußen im Wald und in der Freiheit.'] Prediction: ['Einmal bin ich auch schon durchgebrannt, bin in meine alten Lumpen gekrochen, und war ich draußen im Wald und in der Freiheit.\nEinmal bin ich auch schon durchgebrannt, bin in meine alten Lumpen gekrochen, und war ich draußen im Wald und in der Freiheit.'] Label: [['Also laufe ich davon.']] Sacrebleu: {'score': 0.8671339908544159, 'counts': [2, 0, 0, 0], 'totals': [50, 49, 48, 47], 'precisions': [4.0, 1.0204081632653061, 0.5208333333333334, 0.26595744680851063], 'bp': 1.0, 'sys_len': 50, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.04, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 10.0, 'translation_length': 50, 'reference_length': 5} Rouge: {'rouge1': 0.04, 'rouge2': 0.0, 'rougeL': 0.04, 'rougeLsum': 0.04} Sari: {'sari': 34.49612403100775} Flesh Reading Ease: 70.25 ---------------------------------------- Source: ["Da tat ich's denn."] Prediction: ['Immer wieder kommt es zu einer kleinen Argumente.\nAber auch das war, dass es sich um eine Frau zu kommen.\nAber auch das war, dass sie sich um ihre Frau zu kommen.'] Label: [['Also gehe ich wieder zurück.']] Sacrebleu: {'score': 1.184949136625139, 'counts': [2, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [5.405405405405405, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.05405405405405406, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.166666666666667, 'translation_length': 37, 'reference_length': 6} Rouge: {'rouge1': 0.05263157894736842, 'rouge2': 0.0, 'rougeL': 0.05263157894736842, 'rougeLsum': 0.05263157894736842} Sari: {'sari': 67.3076923076923} Flesh Reading Ease: 93.25 ---------------------------------------- Source: ['Die Witwe vergoß Tränen, als ich mich wieder einstellte, nannte mich ein armes, verirrtes Schaf und sonst noch allerlei, womit sie aber nichts Schlimmes meinte.'] Prediction: ['Die Witwe vergoß Tränen als sich mich wieder einstellte, nannte mich ein armes, verirrtes Schaf und sonst noch allerlei.\nWie es sich um eine Witwe handelt, ist noch unklar.'] Label: [['Miss Douglas weint vor Freude.']] Sacrebleu: {'score': 1.0885011049519644, 'counts': [1, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [2.9411764705882355, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.029411764705882353, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.666666666666667, 'translation_length': 34, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.166666666666664} Flesh Reading Ease: 71.9 ---------------------------------------- Source: ['Sie steckte mich wieder in die neuen Kleider, in denen es mir immer ganz eng und schwül wird.'] Prediction: ['Sie ist wieder in die neuen Kleider.\nIhre Leiche ist die erste von ihrem Mann.\nSie wurde in den letzten Tagen geschwült.'] Label: [['Sie zieht mich direkt wieder ordentlich an.']] Sacrebleu: {'score': 1.9822566267103439, 'counts': [3, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [12.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.12, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.125, 'translation_length': 25, 'reference_length': 8} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 37.18434343434343} Flesh Reading Ease: 84.95 ---------------------------------------- Source: ['Wenn die Witwe die Glocke läutete, mußte man zum Essen kommen.'] Prediction: ['Eine Witwe hat sich in der Nacht auf Sonntag zu Gast gefeiert.\nDie Witwe wurde dabei gefunden.\nDie Witwe wurde dabei zum Essen gefunden.'] Label: [['Und wir müssen ganz pünktlich essen.']] Sacrebleu: {'score': 1.387819277861591, 'counts': [1, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [3.7037037037037037, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.037037037037037035, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.857142857142857, 'translation_length': 27, 'reference_length': 7} Rouge: {'rouge1': 0.0625, 'rouge2': 0.0, 'rougeL': 0.0625, 'rougeLsum': 0.0625} Sari: {'sari': 54.76190476190476} Flesh Reading Ease: 72.55 ---------------------------------------- Source: ['Quält mich die Frau mit dem Moses, der sie weiter gar nichts angeht, der nicht einmal verwandt mit ihr war und mit dem jetzt nichts mehr anzufangen ist, und verbietet mir das Rauchen, das doch gewiß gar nicht so übel ist.'] Prediction: ['Eine Frau hat mit ihrem Moses eine Rauchen gesprochen.\nSie verbietet das Rauchen, das doch gewiß gar nicht so übel ist.'] Label: [['Pfeife rauchen darf ich auch nicht mehr, denn das mag Miss Douglas nicht.']] Sacrebleu: {'score': 2.224972978585352, 'counts': [4, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [16.666666666666668, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6, 'translation_length': 24, 'reference_length': 15} Rouge: {'rouge1': 0.17647058823529413, 'rouge2': 0.0, 'rougeL': 0.17647058823529413, 'rougeLsum': 0.17647058823529413} Sari: {'sari': 35.812723649046525} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['Ihre Schwester, Miss Watson, eine ziemlich dürre, alte Jungfer, die gerade zu ihr gezogen war, machte nun einen Angriff auf mich, mit einem Lesebuch bewaffnet.'] Prediction: ['Eine Lesebuch-Lesebuch-Angriff-Leserin, die gerade zu ihr gezogen war, machte einen Angriff auf mich. Sie wurde mit einem Lesebuch bewaffnet.'] Label: [['Miss Watson ist Lehrerin.\nUnd sie ist die Schwester von Miss Douglas.\nSie versucht, mir das Lesen beizubringen.']] Sacrebleu: {'score': 4.141141330484801, 'counts': [5, 1, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [21.73913043478261, 4.545454545454546, 2.380952380952381, 1.25], 'bp': 1.0, 'sys_len': 23, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.21739130434782608, 0.045454545454545456, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0454545454545454, 'translation_length': 23, 'reference_length': 22} Rouge: {'rouge1': 0.09999999999999999, 'rouge2': 0.0, 'rougeL': 0.09999999999999999, 'rougeLsum': 0.049999999999999996} Sari: {'sari': 33.72352101065869} Flesh Reading Ease: 41.8 ---------------------------------------- Source: ['Alsbald begann Miss Watson: »Halt doch die Füße ruhig, Huckleberry«, oder »willst du keinen solchen Buckel machen, Huckleberry, sitz doch gerade!« und dann wieder »so recke dich doch nicht so, Huckleberry, und gähne nicht, als wolltest du die Welt verschlingen, wirst du denn nie Manieren lernen?«, und so schalt sie weiter bis ich ganz wild wurde.'] Prediction: ['In der Nacht auf Montag wurde eine Frau von Miss Watson (18) gefunden.\nSie schalt sie bis ich ganz wild wurde.\nSie wurde von ihrem Cousin als Miss Watson (27) gefunden.'] Label: [['Wenn ich im Unterricht gähnen muss, wird Miss Watson sofort wütend.']] Sacrebleu: {'score': 2.304907678117588, 'counts': [4, 1, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [10.526315789473685, 2.7027027027027026, 1.3888888888888888, 0.7142857142857143], 'bp': 1.0, 'sys_len': 38, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.10526315789473684, 0.02702702702702703, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.923076923076923, 'translation_length': 38, 'reference_length': 13} Rouge: {'rouge1': 0.13636363636363635, 'rouge2': 0.04761904761904761, 'rougeL': 0.13636363636363635, 'rougeLsum': 0.13636363636363635} Sari: {'sari': 39.560749774164414} Flesh Reading Ease: 87.8 ---------------------------------------- Source: ['Dann fing sie an, mir vom Ort zu erzählen, an den die bösen Menschen kommen, worauf ich sagte, ich wünschte mich auch dahin.'] Prediction: ['Eine Frau wünscht sich auch dahin, wie sie auf ihrem Ort erzählen konnte.\nDie Frau wünscht sich auch dahin.'] Label: [['Sie erzählt von einem Ort, der „Hölle “ heißt.\n11 Miss Watson sagt, dass diese Hölle etwas Schreckliches ist.\nIch finde diesen Ort eher spannend.']] Sacrebleu: {'score': 1.6980025774845955, 'counts': [4, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [18.181818181818183, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 0.6951439283988788, 'sys_len': 22, 'ref_len': 30} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.0, 0.0, 0.0], 'brevity_penalty': 0.6951439283988786, 'length_ratio': 0.7333333333333333, 'translation_length': 22, 'reference_length': 30} Rouge: {'rouge1': 0.11999999999999998, 'rouge2': 0.0, 'rougeL': 0.08, 'rougeLsum': 0.11999999999999998} Sari: {'sari': 45.82093253968254} Flesh Reading Ease: 88.6 ---------------------------------------- Source: ["Da wurde sie böse und zeterte gewaltig, so schlimm hatte ich's aber gar nicht gemeint, ich wäre nur gern fortgewesen von ihr, irgendwo, der Ort war mir ganz einerlei, ich bin überhaupt nie sehr wählerisch."] Prediction: ['Eine der beiden während der Corona-Pandemie ist auf der Strasse gefährlich.\nDie beiden waren nur gern fortgewesen von ihr, irgendwo.\nAber auch der Ort war mir ganz einerlei.'] Label: [['Da wird sie aber schon wieder wütend.']] Sacrebleu: {'score': 1.1599713834969503, 'counts': [1, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [3.125, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.03125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.0, 'translation_length': 32, 'reference_length': 8} Rouge: {'rouge1': 0.10256410256410256, 'rouge2': 0.0, 'rougeL': 0.05128205128205128, 'rougeLsum': 0.10256410256410256} Sari: {'sari': 34.33014354066985} Flesh Reading Ease: 71.25 ---------------------------------------- Source: ['Dann kamen die Nigger herein, es wurde gebetet, und jedermann ging zu Bett.'] Prediction: ['Eine Nigger wurde in der Nacht auf Sonntag gebetet.\nDas wurde gebetet, jedermann ging zu Bett.\nDas hatte sich nun zu Gast gekürt.'] Label: [['Sie sagt den Sklaven, dass sie hereinkommen sollen.\nUnd dann gehen alle schlafen.']] Sacrebleu: {'score': 1.826472886268134, 'counts': [3, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [11.11111111111111, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6875, 'translation_length': 27, 'reference_length': 16} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 32.32600732600732} Flesh Reading Ease: 78.7 ---------------------------------------- Source: ['Ich fühlte mich so allein, daß ich wünschte, ich wäre tot.'] Prediction: ['Eine Frau fühlte sich so allein, daß sie wäre tot, ich wäre tot.\nIch fühlte mich so allein, daß sie wünschte, ich wäre tot.'] Label: [['Denn ich fühle mich einsam.']] Sacrebleu: {'score': 1.633898440122165, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.0, 'translation_length': 30, 'reference_length': 6} Rouge: {'rouge1': 0.16666666666666669, 'rouge2': 0.0588235294117647, 'rougeL': 0.16666666666666669, 'rougeLsum': 0.16666666666666669} Sari: {'sari': 36.25} Flesh Reading Ease: 86.1 ---------------------------------------- Source: ['Ich hörte aus der Ferne eine Eule, deren Schrei jemandes Tod bedeutete, und dann einen Hund, dessen klägliches Geheul verkündete, daß einer im Sterben liege, und der Wind schien mir etwas klagen zu wollen, was ich nicht verstand, so daß ich bald am ganzen Leibe zitterte und mir der kalte Schweiß auf die Stirne trat.'] Prediction: ['Eine Frau hatte aus der Ferne eine Eule bedeutet und dann einen Hund verkündete, dessen klägliches Geheul verkündete.\nDer Wind schien mir etwas klagen zu wollen, was ich nicht verstand, so der kalte Schweiß auf die Stirne trat.'] Label: [['Von draußen kommen ein paar merkwürdige Geräusche.']] Sacrebleu: {'score': 0.8522452865706931, 'counts': [1, 0, 0, 0], 'totals': [43, 42, 41, 40], 'precisions': [2.3255813953488373, 1.1904761904761905, 0.6097560975609756, 0.3125], 'bp': 1.0, 'sys_len': 43, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.023255813953488372, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.375, 'translation_length': 43, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.8235294117647} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ['Die ganze Nacht schien von lauter armen, unglücklichen Geistern belebt, die keine Ruhe in ihren Gräbern fanden und nun da draußen herumheulten, jammerten und zähneklapperten.'] Prediction: ['Die Nacht schien von lauter armen, unglücklichen Geistern belebt, die keine Ruhe in ihren Gräbern fanden und nun da draußen herumheulten, jammerten und zähneklapperten.\nDie ganze Nacht schien von lauter armen, unglücklichen Geistern belebt, die keine Ruhe in ihren Gräbern fanden und nun da draußen herumheulten, jammerten und zähneklapperten.'] Label: [['Das sind bestimmt Geister!']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [57, 56, 55, 54], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 57, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 11.4, 'translation_length': 57, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.33333333333333} Flesh Reading Ease: 38.5 ---------------------------------------- Source: ['Mir wurde heiß und kalt, und ich hätte alles drum gegeben, wenn jemand bei mir gewesen wäre.'] Prediction: ['Im Alter von 99 Jahren war es zu sehen, wenn sich der Zürcher Musiker über seine Täter geschickt hat.\nNun wurde er von der Band geschickt.'] Label: [['Vor Geistern habe ich große Angst.']] Sacrebleu: {'score': 1.286713095960916, 'counts': [1, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [3.4482758620689653, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.034482758620689655, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.142857142857143, 'translation_length': 29, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 52.182539682539684} Flesh Reading Ease: 85.1 ---------------------------------------- Source: ['Das Haus war so still und die Witwe nicht in meiner Nähe.'] Prediction: ['Immer mehr Menschen wurden in ihrer Haus in den vergangenen Tagen verletzt.\nDas Haus war so still und die Witwe nicht in meiner Nähe.'] Label: [['Das beruhigt mich, und Miss Douglas merkt es zum Glück nicht.']] Sacrebleu: {'score': 2.042946039568498, 'counts': [4, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [15.384615384615385, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.15384615384615385, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 26, 'reference_length': 13} Rouge: {'rouge1': 0.16216216216216217, 'rouge2': 0.0, 'rougeL': 0.16216216216216217, 'rougeLsum': 0.16216216216216217} Sari: {'sari': 37.254901960784316} Flesh Reading Ease: 80.25 ---------------------------------------- Source: ['Da schlug die Uhr von der Ferne – bum – bum – bum – bum, zwölfmal, und wieder war alles still, stiller als vorher.'] Prediction: ['Der Ferne von der Ferne ist um den Uhr von der Ferne gekommen.\nDas war zwölfmal, wieder war alles still, stiller als vorher.'] Label: [['Nach einer Weile höre ich die Glocken im Dorf zwölf Uhr schlagen.\nDann wird es still, ganz still.']] Sacrebleu: {'score': 3.4901807086831904, 'counts': [5, 1, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [18.51851851851852, 3.8461538461538463, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.18518518518518517, 0.038461538461538464, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2857142857142858, 'translation_length': 27, 'reference_length': 21} Rouge: {'rouge1': 0.13636363636363635, 'rouge2': 0.0, 'rougeL': 0.0909090909090909, 'rougeLsum': 0.13636363636363635} Sari: {'sari': 35.40903540903541} Flesh Reading Ease: 86.6 ---------------------------------------- Source: ['Plötzlich höre ich etwas unten im Garten unter den Bäumen, ein Rascheln und Knacken, ich halte den Atem an und lausche.'] Prediction: ['Ein Rascheln und Knacken hören in den Beräumen unter den Bäumen.\nDas hatte sich dabei zu tun.'] Label: [['Aber dann höre ich, wie draußen ein Ast bricht.\nUnten im Dunkeln bewegt sich etwas zwischen den Bäumen.']] Sacrebleu: {'score': 7.706878990001051, 'counts': [5, 2, 1, 0], 'totals': [19, 18, 17, 16], 'precisions': [26.31578947368421, 11.11111111111111, 5.882352941176471, 3.125], 'bp': 0.9000876262522591, 'sys_len': 19, 'ref_len': 21} Bleu: {'bleu': 0.0, 'precisions': [0.2631578947368421, 0.1111111111111111, 0.058823529411764705, 0.0], 'brevity_penalty': 0.9000876262522594, 'length_ratio': 0.9047619047619048, 'translation_length': 19, 'reference_length': 21} Rouge: {'rouge1': 0.2926829268292683, 'rouge2': 0.10256410256410256, 'rougeL': 0.1951219512195122, 'rougeLsum': 0.24390243902439024} Sari: {'sari': 36.70599864335136} Flesh Reading Ease: 89.6 ---------------------------------------- Source: ["Wieder hör' ich's, und dabei, leise wie ein Hauch, das schwächste ›Miau‹ einer Katze."] Prediction: ['Miau (23) lebt in der Nacht auf Sonntag mit ihrem ersten Mal.\nAuf Sonntag wurde die Schauspielerin von ihrer Karriere überrascht.\nAuf Sonntag wurde die Schauspielerin von ihrer Karriere überrascht.'] Label: [['„Miau!\n“, höre ich auf einmal.']] Sacrebleu: {'score': 1.2557690800697192, 'counts': [2, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [5.714285714285714, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.05714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.888888888888889, 'translation_length': 35, 'reference_length': 9} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.0, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 64.29894179894178} Flesh Reading Ease: 70.55 ---------------------------------------- Source: ['Und »miau, miau« antworte ich ebenso kläglich, ebenso leise, schlüpfe rasch in meine Kleider, lösche das Licht aus und steige durch das Fenster auf das Schuppendach.'] Prediction: ['Einige Tage nach der Tage kommt es in den Schuppendach.\nDie Tage nach der Tage kommt auf die Kleider.\nDie Tage nach der Tage kommt auf die Kleider.'] Label: [['Ich miaue leise zurück und klettere durch das Fenster auf das Dach von der Scheune.']] Sacrebleu: {'score': 1.5784309053930103, 'counts': [3, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [9.67741935483871, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.0967741935483871, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9375, 'translation_length': 31, 'reference_length': 16} Rouge: {'rouge1': 0.09090909090909091, 'rouge2': 0.0, 'rougeL': 0.09090909090909091, 'rougeLsum': 0.09090909090909091} Sari: {'sari': 31.952582605940133} Flesh Reading Ease: 88.8 ---------------------------------------- Source: ['Dann lasse ich mich zu Boden gleiten, krieche auf allen vieren nach den Schatten der Bäume, und da war richtig und leibhaftig Tom Sawyer, mein alter Tom, und wartete auf mich.'] Prediction: ['Tom Sawyer (45) wurde leibhaftig leibhaftig geworden.\nEr war auf den Schatten der Bäume geworden.\nSeine Beziehung war nicht nur, sondern auch auch auf den Schatten der Bäume.'] Label: [['Dann laufe ich in den Garten.\nUnd da steht Tom Sawyer zwischen den Bäumen und wartet auf mich!']] Sacrebleu: {'score': 2.8650960345947087, 'counts': [6, 1, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [17.647058823529413, 3.0303030303030303, 1.5625, 0.8064516129032258], 'bp': 1.0, 'sys_len': 34, 'ref_len': 20} Bleu: {'bleu': 0.0, 'precisions': [0.17647058823529413, 0.030303030303030304, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7, 'translation_length': 34, 'reference_length': 20} Rouge: {'rouge1': 0.24489795918367346, 'rouge2': 0.0425531914893617, 'rougeL': 0.2040816326530612, 'rougeLsum': 0.2040816326530612} Sari: {'sari': 36.481165033796614} Flesh Reading Ease: 77.1 ---------------------------------------- Source: ['Nun langweilte ich mich aber schrecklich und wurde ganz unruhig.'] Prediction: ['Ein Mann hatte sich in der Nacht auf Sonntag schrecklich und wurde ganz unruhig.\nNun wurde er von der Polizei gefunden.'] Label: [['Puh, das ist ziemlich schwierig und sehr, sehr langweilig!']] Sacrebleu: {'score': 1.6466642419110007, 'counts': [1, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [4.3478260869565215, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.043478260869565216, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.9166666666666667, 'translation_length': 23, 'reference_length': 12} Rouge: {'rouge1': 0.06666666666666667, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.06666666666666667} Sari: {'sari': 35.41666666666667} Flesh Reading Ease: 81.75 ---------------------------------------- Source: ['So setzte ich mich zitternd auf den Bettrand und zündete mir zur Beruhigung mein Pfeifchen an.'] Prediction: ['Nach dem Beruhigungs-Profi hatte sich eine Beruhigung zurückgezogen.\nEr setzte sich zur Beruhigung mein Pfeifchen an.'] Label: [['Ich zittere sogar vor Angst.\nDarum zünde ich eine Pfeife an.']] Sacrebleu: {'score': 5.10809933294318, 'counts': [4, 1, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [22.22222222222222, 5.882352941176471, 3.125, 1.6666666666666667], 'bp': 1.0, 'sys_len': 18, 'ref_len': 13} Bleu: {'bleu': 0.0, 'precisions': [0.2222222222222222, 0.058823529411764705, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3846153846153846, 'translation_length': 18, 'reference_length': 13} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 39.65277777777778} Flesh Reading Ease: 43.3 ---------------------------------------- Source: ['Keine Antwort.'] Prediction: ['Die Welt ist eine internationale Welt.\nDie Welt ist eine internationale Welt.'] Label: [['Es kommt keine Antwort.']] Sacrebleu: {'score': 2.8398387225677895, 'counts': [1, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [7.142857142857143, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8, 'translation_length': 14, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 20.833333333333336} Flesh Reading Ease: 45.3 ---------------------------------------- Source: ['»Tom!«'] Prediction: ['Tom und Tom Häuser haben sich bei einem Interview mit dem 20-Minuten-Radio-Host Andrea über ihre Lebensgesellschaft und ihre Lebensgesellschaft geschafft.\nTom und Tom haben sich zu Gast bei einem ähnlichen Interview mit dem 20-Minuten-Radio-Host Andrea über ihre Lebensgesellschaft geschafft.'] Label: [['Darum ruft die alte Dame noch einmal.']] Sacrebleu: {'score': 0.8130350574508933, 'counts': [1, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [2.2222222222222223, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.022222222222222223, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.625, 'translation_length': 45, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 67.22222222222221} Flesh Reading Ease: 37.65 ---------------------------------------- Source: ['Keine Antwort.'] Prediction: ['Die Welt ist eine internationale Welt.\nDie Welt ist eine internationale Welt.'] Label: [['Doch wieder bleibt es still im Haus.']] Sacrebleu: {'score': 2.8398387225677895, 'counts': [1, 0, 0, 0], 'totals': [14, 13, 12, 11], 'precisions': [7.142857142857143, 3.8461538461538463, 2.0833333333333335, 1.1363636363636365], 'bp': 1.0, 'sys_len': 14, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.07142857142857142, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.75, 'translation_length': 14, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 45.3 ---------------------------------------- Source: ['Sie sprach die Drohung nicht ganz aus, denn Sie hatte sich gebückt, um mit dem Besen unter das Bett zu stoßen und bedurfte ihres Atems, um jedem Stoß den gehörigen Nachdruck zu verleihen.'] Prediction: ['Eine Frau hatte sich mit ihrem Atems unter das Bett zu stoßen.\nSie bedurfte ihres Atems, um jedem Stoß den gehörigen Nachdruck zu verleihen.'] Label: [['Tante Polly sieht unter dem Bett im Schlafzimmer nach.']] Sacrebleu: {'score': 1.826472886268134, 'counts': [3, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [11.11111111111111, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7, 'translation_length': 27, 'reference_length': 10} Rouge: {'rouge1': 0.1142857142857143, 'rouge2': 0.0, 'rougeL': 0.1142857142857143, 'rougeLsum': 0.1142857142857143} Sari: {'sari': 34.73809523809524} Flesh Reading Ease: 74.4 ---------------------------------------- Source: ['Sie ging zur offnen Thür und suchte unter den Liebesapfelranken und dem Stechapfelkraut, die den Garten bildeten.'] Prediction: ['Eine Frau suchte unter den Liebesapfelranken und dem Stechapfelkraut.\nSie ging zur offnen Thür und suchte unter den Liebesapfelranken und dem Stechapfelkraut.'] Label: [['Vielleicht im Garten?']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 24, 'ref_len': 4} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 6.0, 'translation_length': 24, 'reference_length': 4} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 31.25} Flesh Reading Ease: 52.0 ---------------------------------------- Source: ['Sie erhob die Stimme und schrie: »Ohe–e–e Tom!«'] Prediction: ['Im Interview mit 20 Minuten spricht die beiden über ihre Stimme und ihre Kinder.\nSie erhob die Stimme und schrie: Ohe eine Tom!'] Label: [['„Tom!\n“, ruft Tante Polly, während sie zwischen den Bäumen und Sträuchern sucht.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5294117647058822, 'translation_length': 26, 'reference_length': 17} Rouge: {'rouge1': 0.15789473684210528, 'rouge2': 0.0, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.15789473684210528} Sari: {'sari': 38.141025641025635} Flesh Reading Ease: 80.75 ---------------------------------------- Source: ['Wie viel hundertmal habe ich dir gesagt, wenn du das Eingemachte nicht stehen ließest, würde ich dir die Haut abziehen!'] Prediction: ['Der Schweizer Eingemachte hat seinen Haut abgezogen.\nWie viel hundertmal habe ich dir gesagt, würde ich dir die Haut abziehen.'] Label: [['„Das darfst du doch nicht!\n“']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.2857142857142856, 'translation_length': 23, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 30.208333333333332} Flesh Reading Ease: 64.7 ---------------------------------------- Source: ['Ein leises Geräusch erfolgte, sie wandte sich rasch um, eben zeitig genug, um einen kleinen Jungen bei der Jacke zu erwischen und seiner Flucht ein Ziel zu setzen.'] Prediction: ['Eine Frau wurde in der Jacke einen kleinen Jungen erwischen und ein Ziel zu setzen.\nDie Frau erfolgte sich rasch um, eben zeitig genug, um einen kleinen Jungen bei der Jacke zu erwischen und seiner Flucht ein Ziel zu setzen.'] Label: [['“ Plötzlich hört Tante Polly ein Geräusch hinter sich.\nSchnell dreht sie sich um.']] Sacrebleu: {'score': 1.2443969494386207, 'counts': [5, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [11.363636363636363, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.11363636363636363, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.75, 'translation_length': 44, 'reference_length': 16} Rouge: {'rouge1': 0.10714285714285712, 'rouge2': 0.0, 'rougeL': 0.10714285714285712, 'rougeLsum': 0.10714285714285712} Sari: {'sari': 31.818181818181817} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['»Ja so! ich hätte an jenes Kabinett denken sollen.'] Prediction: ['Im Interview mit 20 Minuten mit dem "Morning Show" mit Host Andrea über ihre Wirbel-Kollegen, die ihre Kritik bekannt hat.\nIm Interview spricht sie über ihre Kabinett-Kollegen und ihre Konsequenzen.'] Label: [['Die Tür vom Vorrats - Schrank geht auf und ein Junge kommt hervor.']] Sacrebleu: {'score': 1.2557690800697192, 'counts': [2, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [5.714285714285714, 1.4705882352941178, 0.7575757575757576, 0.390625], 'bp': 1.0, 'sys_len': 35, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.05714285714285714, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 35, 'reference_length': 14} Rouge: {'rouge1': 0.08888888888888889, 'rouge2': 0.0, 'rougeL': 0.08888888888888889, 'rougeLsum': 0.08888888888888889} Sari: {'sari': 67.56756756756758} Flesh Reading Ease: 53.85 ---------------------------------------- Source: ['»Tom!«'] Prediction: ['Tom und Tom Häuser haben sich bei einem Interview mit dem 20-Minuten-Radio-Host Andrea über ihre Lebensgesellschaft und ihre Lebensgesellschaft geschafft.\nTom und Tom haben sich zu Gast bei einem ähnlichen Interview mit dem 20-Minuten-Radio-Host Andrea über ihre Lebensgesellschaft geschafft.'] Label: [['„Tom, du musst zur Schule“, ruft Tante Polly.\n„Hey, Tom, wo steckst du schon wieder?\n“']] Sacrebleu: {'score': 0.9668670750672484, 'counts': [2, 0, 0, 0], 'totals': [45, 44, 43, 42], 'precisions': [4.444444444444445, 1.1363636363636365, 0.5813953488372093, 0.2976190476190476], 'bp': 1.0, 'sys_len': 45, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.044444444444444446, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0454545454545454, 'translation_length': 45, 'reference_length': 22} Rouge: {'rouge1': 0.06557377049180328, 'rouge2': 0.0, 'rougeL': 0.06557377049180328, 'rougeLsum': 0.06557377049180328} Sari: {'sari': 67.5} Flesh Reading Ease: 37.65 ---------------------------------------- Source: ["In keinem Comité der Verwaltung hatte dieser Gentleman einen Platz; nie hörte man seinen Namen in einem Advocaten -Colleg, oder im Temple, in Lincoln's -Inn oder Gray's -Inn. Er plaidirte niemals, weder beim Obergerichtshof noch bei der Kingsbench, beim Schatzkammergericht oder einem geistlichen Hof. Er war weder ein Industrieller, noch ein Großhändler, noch Kaufmann oder Landbauer. Er gehörte weder dem Königlichen Institut, noch dem Institut von London, noch sonst irgend einer Anstalt der Kunst, Wissenschaft oder Gewerbe an; noch endlich einer der zahlreichen Gesellschaften, wovon die Hauptstadt Englands wimmelt, von der Harmonie bis zur entomologischen Gesellschaft, welche hauptsächlich den Zweck verfolgt, die schädlichen Insecten zu vertilgen."] Prediction: ['Der Gentleman Gentleman plaidierte niemals, weder beim Obergerichtshof noch bei der Kingsbench, beim Schatzkammergericht oder einem geistlichen Hof.\nDer Gentleman wurde von der Harmonie bis zur entomologischen Gesellschaft, welche hauptsächlich den Zweck verfolgt, die schädlichen Insecten zu vertilgen.'] Label: [['Er hat nämlich keine Arbeit.']] Sacrebleu: {'score': 0.8321783954793125, 'counts': [1, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [2.272727272727273, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.022727272727272728, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 7.333333333333333, 'translation_length': 44, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.46612678509231} Flesh Reading Ease: 38.15 ---------------------------------------- Source: ['Im Jahre 1872 wohnte im Hause Nummer 7, Saville -Row, Burlington Gardens, – worin Sheridan im Jahre 1814 starb, – Phileas Fogg, Sq., eines der ausgezeichnetsten und hervorragendsten Mitglieder des Reformclubs zu London, der jedoch dem Anschein nach beflissen war nichts zu thun, was Aufsehen erregen konnte.'] Prediction: ['Ein ausgezeichnetes Reformclubs-Mitglieder wurde im Jahre 1872 von der Reformschule in London aufgefunden.\nEr wurde von einem Anschein nach beflissen, was Aufsehen erregen konnte.'] Label: [['Trotzdem wohnt er in einem großen Haus.\nMitten in London.']] Sacrebleu: {'score': 3.4901807086831904, 'counts': [5, 1, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [18.51851851851852, 3.8461538461538463, 2.0, 1.0416666666666667], 'bp': 1.0, 'sys_len': 27, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.18518518518518517, 0.038461538461538464, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 27, 'reference_length': 12} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.058823529411764705, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.2222222222222222} Sari: {'sari': 38.78968253968254} Flesh Reading Ease: 39.3 ---------------------------------------- Source: ['Phileas Fogg war Mitglied des Reformclubs, nichts weiter.'] Prediction: ['Die Schweizer Polizei hat einen neuen Präsidenten.\nPhileas Fogg war Mitglied des Reformclubs.'] Label: [['Fogg ist Mitglied in einem vornehmen Club.\nIhm gehören nur reiche Männer an.\nDieser Club hat ein schönes Gebäude in London.\nDort treffen sich die Herren jeden Tag.\nSie reden über alles Mögliche oder sie spielen Karten.\nUnd sie trinken was.']] Sacrebleu: {'score': 0.46544314622997673, 'counts': [5, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [33.333333333333336, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 0.1184418290138037, 'sys_len': 15, 'ref_len': 47} Bleu: {'bleu': 0.0, 'precisions': [0.3333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 0.1184418290138037, 'length_ratio': 0.3191489361702128, 'translation_length': 15, 'reference_length': 47} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.06666666666666667, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 39.12698412698412} Flesh Reading Ease: 62.35 ---------------------------------------- Source: ['Sein einziger Zeitvertreib bestand im Lesen der Journale und im Whistspiel.'] Prediction: ['Im Whistpiel wurde ein einziger Zeitvertreib gesucht.\nEs bestand die besten Staffel der Journale und der Whistspiel.'] Label: [['Er liebt Kartenspiele.']] Sacrebleu: {'score': 2.0244462660665508, 'counts': [1, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [5.2631578947368425, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 4} Bleu: {'bleu': 0.0, 'precisions': [0.05263157894736842, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.75, 'translation_length': 19, 'reference_length': 4} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 43.333333333333336} Flesh Reading Ease: 66.2 ---------------------------------------- Source: ['Bei diesem schweigsamen Spiel, welches so sehr seiner Natur angemessen war, gewann er oft, aber seine Gewinnste flossen nie in seine eigene Börse, sondern bildeten einen erheblichen Posten auf seinem Barmherzigkeits -Conto.'] Prediction: ['Bei einem schweigsamen Spiel gewann der Schweizer Natur oft.\nDer Sieg gewann seine Gewinnste aber nie in seine eigene Börse.\nAuf Instagram bildeten einen erheblichen Posten auf seinem Barmherzigkeits-Conto.'] Label: [['Dabei wird immer um etwas Geld gespielt.\nWenn Fogg gewinnt, verschenkt er das Geld an Bettler.']] Sacrebleu: {'score': 1.3794462224541233, 'counts': [2, 0, 0, 0], 'totals': [32, 31, 30, 29], 'precisions': [6.25, 1.6129032258064515, 0.8333333333333334, 0.43103448275862066], 'bp': 1.0, 'sys_len': 32, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6842105263157894, 'translation_length': 32, 'reference_length': 19} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.2566889632107} Flesh Reading Ease: 53.3 ---------------------------------------- Source: ['Doch verlangte Phileas Fogg von seinem einzigen Diener eine außerordentliche Pünktlichkeit und Regelmäßigkeit.'] Prediction: ['Am Dienstag wurde Phileas Fogg tot aufgefunden.\nDer einzige Diener verlangte eine außerordentliche Pünktlichkeit und Regelmäßigkeit.'] Label: [['Bei Fogg muss immer alles pünktlich geschehen.']] Sacrebleu: {'score': 2.5540496664715904, 'counts': [2, 0, 0, 0], 'totals': [18, 17, 16, 15], 'precisions': [11.11111111111111, 2.9411764705882355, 1.5625, 0.8333333333333334], 'bp': 1.0, 'sys_len': 18, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.25, 'translation_length': 18, 'reference_length': 8} Rouge: {'rouge1': 0.14814814814814814, 'rouge2': 0.0, 'rougeL': 0.14814814814814814, 'rougeLsum': 0.14814814814814814} Sari: {'sari': 36.11111111111111} Flesh Reading Ease: 25.75 ---------------------------------------- Source: ['Ein Bursche von etwa dreißig Jahren trat ein und grüßte.'] Prediction: ['Ein Bursche hat in den vergangenen Tagen einen dreißigen Mann veröffentlicht.\nEr trat ein und grüßte ein.'] Label: [['Der Mann ist 30 Jahre alt und kommt aus Frankreich.']] Sacrebleu: {'score': 2.6643211213888947, 'counts': [3, 0, 0, 0], 'totals': [19, 18, 17, 16], 'precisions': [15.789473684210526, 2.7777777777777777, 1.4705882352941178, 0.78125], 'bp': 1.0, 'sys_len': 19, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.15789473684210525, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7272727272727273, 'translation_length': 19, 'reference_length': 11} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 38.377192982456144} Flesh Reading Ease: 77.9 ---------------------------------------- Source: ['»Sie sind Franzose und heißen John?« fragte Phileas Fogg. – Jean, belieben mein Herr, erwiderte der neue Diener, Jean Passepartout, ein Beiname, der mein natürliches Geschick, mich aus Verlegenheiten zu ziehen, bezeichnet.'] Prediction: ['Jean Passepartout ist neu ein Diener.\nDie neue Diener, Phileas Fogg, erwiderte er.\nDie neue Diener, Jean Passepartout, wurde von einem Beiname aus Verlegenheiten zu ziehen.'] Label: [['„Ich heiße Jean Passepartout“, sagt er.\n„Merkwürdiger Nachname “, meint Fogg.\n„Das ist ein Spitzname“, sagt der Mann.\n„Nicht mein echter Name.\nMeine Freunde nennen mich so.“ „Aha “, sagt Fogg.\n„Was bedeutet Passepartout?\n“ „Das ist Französisch “, sagt der Mann.\n„Frei übersetzt bedeutet es: Alle Probleme lösen.\nDas kann ich nämlich sehr gut.“ Fogg nickt.']] Sacrebleu: {'score': 0.9744908244770287, 'counts': [13, 1, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [39.39393939393939, 3.125, 1.6129032258064515, 0.8333333333333334], 'bp': 0.27170718914656705, 'sys_len': 33, 'ref_len': 76} Bleu: {'bleu': 0.0, 'precisions': [0.3939393939393939, 0.03125, 0.0, 0.0], 'brevity_penalty': 0.27170718914656716, 'length_ratio': 0.4342105263157895, 'translation_length': 33, 'reference_length': 76} Rouge: {'rouge1': 0.16666666666666666, 'rouge2': 0.024390243902439022, 'rougeL': 0.14285714285714288, 'rougeLsum': 0.16666666666666666} Sari: {'sari': 35.89984714646092} Flesh Reading Ease: 66.0 ---------------------------------------- Source: ['Wieviel Uhr haben Sie? – Elf Uhr zweiundzwanzig Minuten, erwiderte Passepartout, indem er eine große silberne Uhr aus seiner Hosentasche hervorzog.'] Prediction: ['Im Spiel der Welt wurde eine große silberne Uhr aus seiner Hosentasche hervorzog.\nWie wie viel Uhr haben Sie?\nWie wie vielen Spielen?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nWie?\nW'] Label: [['Nun möchte Fogg von Pas wissen, wie spät es ist.\nPas guckt auf seine Taschenuhr.\n„Es ist fünf Minuten vor zwölf“, antwortet er.']] Sacrebleu: {'score': 0.1452336245576711, 'counts': [2, 0, 0, 0], 'totals': [291, 290, 289, 288], 'precisions': [0.6872852233676976, 0.1724137931034483, 0.08650519031141868, 0.043402777777777776], 'bp': 1.0, 'sys_len': 291, 'ref_len': 28} Bleu: {'bleu': 0.0, 'precisions': [0.006872852233676976, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 10.392857142857142, 'translation_length': 291, 'reference_length': 28} Rouge: {'rouge1': 0.010869565217391306, 'rouge2': 0.0, 'rougeL': 0.010869565217391306, 'rougeLsum': 0.010869565217391306} Sari: {'sari': 32.615710861146965} Flesh Reading Ease: 63.65 ---------------------------------------- Source: ['– Sie sind in der Zeit zurück, sagte Herr Fogg. – Verzeihen Sie, mein Herr, aber es ist nicht möglich.'] Prediction: ['Die Schweizerin Herr Fogg (45) ist in der Zeit zurück.\nSie sind in der Zeit zurück, sagt die Frau.\nSie sind in der Zeit zurück, aber es ist nicht möglich.'] Label: [['„Deine Uhr geht nach“, sagt Fogg.']] Sacrebleu: {'score': 2.369898273250278, 'counts': [4, 1, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [10.81081081081081, 2.7777777777777777, 1.4285714285714286, 0.7352941176470589], 'bp': 1.0, 'sys_len': 37, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.10810810810810811, 0.027777777777777776, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.625, 'translation_length': 37, 'reference_length': 8} Rouge: {'rouge1': 0.1, 'rouge2': 0.0, 'rougeL': 0.05, 'rougeLsum': 0.1} Sari: {'sari': 35.4137348719392} Flesh Reading Ease: 99.8 ---------------------------------------- Source: ['Also, von diesem Augenblicke an, elf Uhr neunundzwanzig Minuten Vormittags, Mittwochs, 2. October 1872, sind Sie in meinem Dienst.«'] Prediction: ['Im September 1872 wurde die erste Schweizerische Leiche gefunden.\nDie Schweizerische Leiche wurde am Mittwoch von einem neunundzwanzig Minuten Vormittags veröffentlicht.\nDie Schweizerische Leiche wurde am Freitag von einem Dienst entdeckt.'] Label: [['Dann sagt Fogg: „Du bist mein neuer Diener.\nAb sofort.\nEs ist jetzt eine Minute vor zwölf.\nAm Mittwoch, den 2.\nOktober 1872.“']] Sacrebleu: {'score': 1.6276888006478718, 'counts': [5, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [14.705882352941176, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 31} Bleu: {'bleu': 0.0, 'precisions': [0.14705882352941177, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.096774193548387, 'translation_length': 34, 'reference_length': 31} Rouge: {'rouge1': 0.10714285714285714, 'rouge2': 0.037037037037037035, 'rougeL': 0.07142857142857144, 'rougeLsum': 0.10714285714285714} Sari: {'sari': 45.09395053909662} Flesh Reading Ease: 46.85 ---------------------------------------- Source: ['Passepartout befand sich also, nachdem halb zwölf vorüber war, allein im Hause der Saville -Row. Sogleich machte er sich daran, es vom Keller bis zum Speicher zu besichtigen.'] Prediction: ['Im Keller befand sich seine Passepartout.\nDas gab es in der Saville-Row.\nDer Keller hatte sich daran besichtigen, es bis zum Speicher zu besichtigen.'] Label: [['Pas spaziert durchs Haus.']] Sacrebleu: {'score': 1.3353534059549443, 'counts': [1, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [3.5714285714285716, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 5} Bleu: {'bleu': 0.0, 'precisions': [0.03571428571428571, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.6, 'translation_length': 28, 'reference_length': 5} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.87096774193548} Flesh Reading Ease: 72.55 ---------------------------------------- Source: ['Er bemerkte auch in seinem Zimmer über der Standuhr ein Merkblatt angeheftet, mit der Vorschrift des täglichen Dienstes. Dasselbe enthielt – von acht Uhr Vormittags, der regelmäßigen Zeit, wo Phileas Fogg aufstand, bis zu halb zwölf, da er zum Frühstücken sich auf den Reformclub begab – alle Einzelheiten des Dienstes: Thee und geröstete Brodschnitten um acht Uhr dreiundzwanzig Minuten; Wasser zum Rasiren, um neun Uhr siebenunddreißig; Frisiren um neun Uhr vierzig, u.s.w. Nachher von halb zwölf Vormittags bis zu zwölf Uhr Nachts, wo der methodische Gentleman zu Bette ging, war alles aufgezeichnet, vorgesehen, geregelt.'] Prediction: ['Phileas Fogg hat in seinem Zimmer über der Standuhr ein Merkblatt angeheftet.\nDieser enthielt von acht Uhr Vormittags, der regelmäßige Zeit, wo Phileas Fogg aufstand, bis zu halb zwölf, da er zum Frühstücken sich auf den Reformclub begab.'] Label: [['In der Küche hängt ein Zettel an der Wand.\n„Aha!\n“, sagt Pas.\n„Hier steht die Zeit fürs Frühstück.\nUnd wann mein Herr zu Bett geht.“']] Sacrebleu: {'score': 1.3995516592202837, 'counts': [8, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [18.181818181818183, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 33} Bleu: {'bleu': 0.0, 'precisions': [0.18181818181818182, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3333333333333333, 'translation_length': 44, 'reference_length': 33} Rouge: {'rouge1': 0.2222222222222222, 'rouge2': 0.028571428571428574, 'rougeL': 0.19444444444444445, 'rougeLsum': 0.19444444444444445} Sari: {'sari': 35.24201520264512} Flesh Reading Ease: 61.55 ---------------------------------------- Source: ['Passepartout machte sich eine Freude daraus, dies Programm zu studieren und dessen verschiedene Artikel seinem Geist einzuprägen.'] Prediction: ['Eine US-Forscherin hat eine Studie durchgeführt, das Geist zu studieren und dessen verschiedene Artikel einzuprägen.\nSie hatte sich darum das Geist einzuprägen.'] Label: [['Pas gefällt das.\nIch muss nur die Zeit genau einhalten, denkt er.']] Sacrebleu: {'score': 2.1300733682208985, 'counts': [4, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [16.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.16, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 25, 'reference_length': 15} Rouge: {'rouge1': 0.05128205128205129, 'rouge2': 0.0, 'rougeL': 0.05128205128205129, 'rougeLsum': 0.05128205128205129} Sari: {'sari': 36.547619047619044} Flesh Reading Ease: 46.15 ---------------------------------------- Source: ['Es waren die gewöhnlichen Spielgenossen des Herrn Phileas Fogg, gleich ihm leidenschaftliche Whistspieler: der Ingenieur Andrew Stuart, die Banquiers John Sullivan und Samuel Fallentin, der Brauer Thomas Flanagan, Walther Ralph, einer der Administratoren der Bank von England, – reiche und angesehene Männer, selbst in diesem Club, welcher die hervorragendsten Glieder der Industrie und Finanzwelt in seiner Mitte zählt.'] Prediction: ['Phileas Fogg hat einen leidenschaftlichen Whistspieler.\nIn der Bank von England waren die gewöhnlichen Spielgenossen des Herrn Phileas Fogg.\nFogg wurde eine gewöhnliche Ingenieur Andrew Stuart, die Banquiers John Sullivan und Samuel Fallentin, der Brauer Thomas Flanagan, Walther Ralph, einer der Administratoren der Bank von England, selbst in diesem Club.'] Label: [['Fogg und die anderen Männer im Club spielen Karten.']] Sacrebleu: {'score': 0.9359100614362484, 'counts': [5, 0, 0, 0], 'totals': [58, 57, 56, 55], 'precisions': [8.620689655172415, 0.8771929824561403, 0.44642857142857145, 0.22727272727272727], 'bp': 1.0, 'sys_len': 58, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.08620689655172414, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.8, 'translation_length': 58, 'reference_length': 10} Rouge: {'rouge1': 0.12903225806451613, 'rouge2': 0.0, 'rougeL': 0.0967741935483871, 'rougeLsum': 0.0967741935483871} Sari: {'sari': 34.1977054848342} Flesh Reading Ease: 46.3 ---------------------------------------- Source: ["»Nun Ralph, fragte Thomas Flanagan, wie steht's mit dem Diebstahl? – Nun, erwiderte Andrew Stuart, die Bank wird um ihr Geld kommen."] Prediction: ['In der Schweiz wurde ein Geld für den Schweizer Wirtschaftswerbefund geschrieben.\nDie Schweizer Wirtschaftler wollen ihr Geld kommen.'] Label: [['Sie sprechen über den Raubüberfall auf die Bank von England.']] Sacrebleu: {'score': 2.276859592073037, 'counts': [2, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [10.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.8181818181818181, 'translation_length': 20, 'reference_length': 11} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 37.569444444444436} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['– Wie, dieses Individuum, welches fünfundfünfzigtausend Pfund in Banknoten (2.100,000 Mark) entwendet hat, ist nicht ein Dieb zu nennen?'] Prediction: ['Der fünfundfünfzigtausend Pfund in Banknoten (2.100,000 Mark) ist nicht ein Dieb zu nennen.\nWie, dass ein Pfund in Banknoten entwendet hat, ist nicht ein Dieb zu nennen?'] Label: [['55.000 Pfund hat der Dieb mitgenommen.\nSo viel Geld ist noch nie geraubt worden.']] Sacrebleu: {'score': 1.6794256847485503, 'counts': [5, 0, 0, 0], 'totals': [33, 32, 31, 30], 'precisions': [15.151515151515152, 1.5625, 0.8064516129032258, 0.4166666666666667], 'bp': 1.0, 'sys_len': 33, 'ref_len': 16} Bleu: {'bleu': 0.0, 'precisions': [0.15151515151515152, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0625, 'translation_length': 33, 'reference_length': 16} Rouge: {'rouge1': 0.26086956521739135, 'rouge2': 0.0, 'rougeL': 0.17391304347826086, 'rougeLsum': 0.21739130434782605} Sari: {'sari': 38.612836438923395} Flesh Reading Ease: 83.25 ---------------------------------------- Source: ['»Ich behaupte, sagte Andrew Stuart, daß der Dieb unfehlbar ein gewandter Mensch ist, welcher alle Aussicht hat, zu entkommen.'] Prediction: ['Ein Dieb wurde in der Nähe des Kantons Bern entdeckt.\nDie Polizei hatte ihn für einen Tötungsdelikt entkommen.\nDie Polizei hat ihn nun zu entkommen.'] Label: [['„Der Dieb ist weg“, sagt Andrew, einer der Herren.\n„Die Polizei wird ihn nicht finden.']] Sacrebleu: {'score': 2.0899410246084282, 'counts': [6, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [21.428571428571427, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.21428571428571427, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4736842105263157, 'translation_length': 28, 'reference_length': 19} Rouge: {'rouge1': 0.23255813953488372, 'rouge2': 0.04878048780487805, 'rougeL': 0.23255813953488372, 'rougeLsum': 0.23255813953488372} Sari: {'sari': 45.032051282051285} Flesh Reading Ease: 78.1 ---------------------------------------- Source: ['Ist die Erde etwa kleiner geworden?'] Prediction: ['Am Sonntagabend wurde in der Schweiz eine Frau aufgefunden.\nSie war mit ihrem Mann aufgefunden und kleiner geworden.\nDie Frau war mit ihrem Mann kleiner geworden.'] Label: [['„Die Welt wird doch nicht kleiner?\n“']] Sacrebleu: {'score': 1.286713095960916, 'counts': [1, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [3.4482758620689653, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.034482758620689655, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.625, 'translation_length': 29, 'reference_length': 8} Rouge: {'rouge1': 0.125, 'rouge2': 0.0, 'rougeL': 0.125, 'rougeLsum': 0.125} Sari: {'sari': 51.25000000000001} Flesh Reading Ease: 71.85 ---------------------------------------- Source: ['Die Erde hat an Umfang verloren, weil man jetzt zehnmal rascher wie vor hundert Jahren um sie herum reisen kann.'] Prediction: ['Die Schweizerin hat einen rascherischen Mann.\nJetzt hat man zehnmal rascher wie vor hundert Jahren um sie herum reisen kann.'] Label: [['„Weil man heute so schnell um die Erde reisen kann.\nZehnmal schneller als vor 100 Jahren!']] Sacrebleu: {'score': 7.946357815712818, 'counts': [7, 2, 1, 0], 'totals': [22, 21, 20, 19], 'precisions': [31.818181818181817, 9.523809523809524, 5.0, 2.6315789473684212], 'bp': 1.0, 'sys_len': 22, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.3181818181818182, 0.09523809523809523, 0.05, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2222222222222223, 'translation_length': 22, 'reference_length': 18} Rouge: {'rouge1': 0.4444444444444445, 'rouge2': 0.058823529411764705, 'rougeL': 0.22222222222222224, 'rougeLsum': 0.4444444444444445} Sari: {'sari': 40.776445776445776} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['In achtzig Tagen nur, sagte Phileas Fogg.'] Prediction: ['Die Schweiz ist in den vergangenen Tagen nicht mehr gefährlich.\nDas ist aber nicht bekannt.'] Label: [['„In genau 80 Tagen kann man um die Erde reisen.“']] Sacrebleu: {'score': 2.719665272174911, 'counts': [2, 0, 0, 0], 'totals': [17, 16, 15, 14], 'precisions': [11.764705882352942, 3.125, 1.6666666666666667, 0.8928571428571429], 'bp': 1.0, 'sys_len': 17, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.11764705882352941, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4166666666666667, 'translation_length': 17, 'reference_length': 12} Rouge: {'rouge1': 0.23076923076923075, 'rouge2': 0.0, 'rougeL': 0.15384615384615385, 'rougeLsum': 0.15384615384615385} Sari: {'sari': 65.7936507936508} Flesh Reading Ease: 84.75 ---------------------------------------- Source: ['– Wirklich, meine Herren, setzte John Sullivan hinzu, achtzig Tage, seitdem auf der großen Indischen Eisenbahn die Strecke zwischen Rothel und Allahabad eröffnet worden ist, wie das »Morning Chronicle« die Route berechnet, nämlich: Von London nach Suez über den Mont - Cenis und Brindisi, Eisenbahn und Packetboot 7 Tage.'] Prediction: ['Von London berechnet die Route von Suez.\nVon London nach Suez über den Mont - Cenis und Brindisi, Eisenbahn und Packetboot 7 Tage.'] Label: [['Dann liest er vor: „Mit Zug und Schiff von London nach Suez: 7 Tage.']] Sacrebleu: {'score': 9.717943863285956, 'counts': [8, 4, 2, 0], 'totals': [26, 25, 24, 23], 'precisions': [30.76923076923077, 16.0, 8.333333333333334, 2.1739130434782608], 'bp': 1.0, 'sys_len': 26, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.3076923076923077, 0.16, 0.08333333333333333, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5294117647058822, 'translation_length': 26, 'reference_length': 17} Rouge: {'rouge1': 0.3888888888888889, 'rouge2': 0.23529411764705882, 'rougeL': 0.33333333333333326, 'rougeLsum': 0.33333333333333326} Sari: {'sari': 44.24412174876992} Flesh Reading Ease: 69.55 ---------------------------------------- Source: ['Von Suez nach Bombay, Packetboot 13". Von Bombay nach Calcutta, Eisenbahn 3". Von Calcutta nach Hongkong, Packetboot 13". Von Hongkong nach Yokohama in Japan, Packetboot 6". Von Yokohama n. San Francisco, Packetb. 22". Von San Francisco n. New -York, Eisenb. 7". V. New -York n. London, Packetb. u. Eisenb. 9". Sa. 80 Tage.'] Prediction: ['Von Suez nach Bombay, Packetboot 13".\nVon Bombay nach Calcutta, Eisenbahn 3".\nVon Hongkong nach Yokohama in Japan, Packetboot 6".\nVon Yokohama n. San Francisco, Packetb.\n22".\nVon San Francisco n. New -York, Eisenb.\n7".\nV. New -York n. London, Packetb.\nu. Eisenb.\n9".\nSa.\n80 Tage.'] Label: [['Mit dem Schiff von Suez nach Mumbai in Indien: 13 Tage.\nMit dem Zug von Mumbai nach Kalkutta in Indien: 3 Tage.\nMit dem Schiff von Kalkutta nach Hongkong in China: 13 Tage.\nMit dem Schiff von Hongkong nach Yokohama in Japan: 6 Tage.\nMit dem Schiff von Yokohama nach San Francisco in Amerika: 22 Tage.\nMit dem Zug von San Francisco nach New York: 7 Tage.\nUnd das Schiff von New York nach London braucht 9 Tage.“ „Insgesamt sind das 80 Tage“, sagt er.']] Sacrebleu: {'score': 6.094967700752101, 'counts': [33, 8, 3, 2], 'totals': [76, 75, 74, 73], 'precisions': [43.421052631578945, 10.666666666666666, 4.054054054054054, 2.73972602739726], 'bp': 0.7196808936920782, 'sys_len': 76, 'ref_len': 101} Bleu: {'bleu': 0.060949677007521005, 'precisions': [0.4342105263157895, 0.10666666666666667, 0.04054054054054054, 0.0273972602739726], 'brevity_penalty': 0.7196808936920782, 'length_ratio': 0.7524752475247525, 'translation_length': 76, 'reference_length': 101} Rouge: {'rouge1': 0.46969696969696967, 'rouge2': 0.2153846153846154, 'rougeL': 0.46969696969696967, 'rougeLsum': 0.46969696969696967} Sari: {'sari': 37.448094689619396} Flesh Reading Ease: 80.5 ---------------------------------------- Source: ['– Der Himmel behüte mich! rief Stuart, aber ich würde schon um viertausend Pfund wetten, daß eine solche Reise, unter solchen Bedingungen, unmöglich ist.'] Prediction: ['Stuart (34) ist seit seinem Tod gekommen.\nEr würde schon um viertausend Pfund wetten.\nAuch seine Reise ist unter solchen Bedingungen unmöglich.'] Label: [['„Ich wette um 4000 Pfund, dass es in 80 Tagen nicht gelingt“, sagt Andrew.']] Sacrebleu: {'score': 1.826472886268134, 'counts': [3, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [11.11111111111111, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 17} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.588235294117647, 'translation_length': 27, 'reference_length': 17} Rouge: {'rouge1': 0.10526315789473685, 'rouge2': 0.0, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.10526315789473685} Sari: {'sari': 35.644399460188936} Flesh Reading Ease: 67.4 ---------------------------------------- Source: ['– Sehr möglich, vielmehr, erwiderte Herr Fogg.'] Prediction: ['Im Interview mit 20 Minuten spricht sich der Schweizer über die Welt und die Welt.\nIm Interview spricht er über die Welt und Welt, die Welt und Welt immer noch vor.'] Label: [['„Gut“, antwortet Fogg.\n„Ich nehme die Wette an!\nIch wette, dass ich in 80 Tagen einmal um die Erde reisen kann.']] Sacrebleu: {'score': 1.6276888006478718, 'counts': [5, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [14.705882352941176, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 26} Bleu: {'bleu': 0.0, 'precisions': [0.14705882352941177, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.3076923076923077, 'translation_length': 34, 'reference_length': 26} Rouge: {'rouge1': 0.07692307692307691, 'rouge2': 0.0, 'rougeL': 0.07692307692307691, 'rougeLsum': 0.07692307692307691} Sari: {'sari': 53.022486772486765} Flesh Reading Ease: 88.45 ---------------------------------------- Source: ['– Wann? – Augenblicklich.'] Prediction: ['Im Interview mit dem 20-Minuten-Podcast "Unchained" spricht über 20-Minuten-Radio-Host Andrea über ihre Fragen, die ihre Fragen über ihre Fragen und ihre Fragen über ihre Fragen über ihre Fragen und Fragen über ihre Fragen über ihre Fragen und Fragen über ihre Fragen über ihre Fragen und Fragen über ihre Fragen über ihre Fragen und Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über ihre Fragen über'] Label: [['Ich werde noch heute losfahren.“ „Was?\n“, rufen die anderen.']] Sacrebleu: {'score': 0.2368769287619243, 'counts': [2, 0, 0, 0], 'totals': [179, 178, 177, 176], 'precisions': [1.1173184357541899, 0.2808988764044944, 0.14124293785310735, 0.07102272727272728], 'bp': 1.0, 'sys_len': 179, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.0111731843575419, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 11.933333333333334, 'translation_length': 179, 'reference_length': 15} Rouge: {'rouge1': 0.01075268817204301, 'rouge2': 0.0, 'rougeL': 0.01075268817204301, 'rougeLsum': 0.01075268817204301} Sari: {'sari': 56.14942528735632} Flesh Reading Ease: -91.46 ---------------------------------------- Source: ["– 's ist Narrheit! rief Andrew Stuart, dem das Drängen seines Spielgenossen lästig ward."] Prediction: ['Im Spiel von "Fortnite" sind wir zu den ganzen Spielen geschickt.\nIn der Episode "Fortnite" findest du jeden zweiten Mal die besten Neustarts.\nHier gibts die besten Neustarts der Woche.'] Label: [['„Das kann nicht Ihr Ernst sein!\n“']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 37, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.625, 'translation_length': 37, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 57.8125} Flesh Reading Ease: 76.4 ---------------------------------------- Source: ['Dann zu seinen Collegen gewendet: – Ich habe zwanzigtausend Pfund bei Gebr. Baring stehen.'] Prediction: ['Ein französischer College-Student hatte zwanzigtausend Pfund bei seinen Gebrüchen.\nDer französischer Student wurde zum ersten Mal in seiner Wohnung gefunden.'] Label: [['„Auf meinem Konto stehen 20.000 Pfund “, sagt er.']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 22, 'reference_length': 11} Rouge: {'rouge1': 0.06060606060606061, 'rouge2': 0.0, 'rougeL': 0.06060606060606061, 'rougeLsum': 0.06060606060606061} Sari: {'sari': 44.357366771159874} Flesh Reading Ease: 41.3 ---------------------------------------- Source: ['Die setze ich gerne daran.'] Prediction: ['Die Schweizerin Stefanie Lofven setzte sich gerne daran.\nSie setzte sich gerne daran.'] Label: [['„Um dieses Geld wette ich mit Ihnen.“']] Sacrebleu: {'score': 2.627961710408444, 'counts': [1, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [6.666666666666667, 3.5714285714285716, 1.9230769230769231, 1.0416666666666667], 'bp': 1.0, 'sys_len': 15, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.06666666666666667, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 15, 'reference_length': 9} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 40.27777777777777} Flesh Reading Ease: 68.2 ---------------------------------------- Source: ['... – Zwanzigtausend Pfund ! rief John Sullivan .'] Prediction: ['Zwanzigtausend Pfund!\nrief John Sullivan.'] Label: [['„Oh nein!\n“, ruft John, ein anderer Herr aus dem Club.']] Sacrebleu: {'score': 2.75631563063758, 'counts': [3, 0, 0, 0], 'totals': [7, 6, 5, 4], 'precisions': [42.857142857142854, 8.333333333333334, 5.0, 3.125], 'bp': 0.31890655732397044, 'sys_len': 7, 'ref_len': 15} Bleu: {'bleu': 0.0, 'precisions': [0.42857142857142855, 0.0, 0.0, 0.0], 'brevity_penalty': 0.31890655732397044, 'length_ratio': 0.4666666666666667, 'translation_length': 7, 'reference_length': 15} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 36.94444444444444} Flesh Reading Ease: 58.0 ---------------------------------------- Source: ['Zwanzigtausend Pfund, die Sie durch eine unvorausgesehene Verspätung verlieren können! –'] Prediction: ['Zwanzigtausend Pfund wird durch eine unvorausgesehene Verspätung verlieren.\nDie Welt ist eine unvorausgesehene Verspätung.'] Label: [['„Wenn Sie ein Schiff verpassen, verlieren Sie alles!\n“']] Sacrebleu: {'score': 2.445593937240363, 'counts': [1, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [6.25, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.0625, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4545454545454546, 'translation_length': 16, 'reference_length': 11} Rouge: {'rouge1': 0.08333333333333333, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.08333333333333333} Sari: {'sari': 29.72222222222222} Flesh Reading Ease: 20.9 ---------------------------------------- Source: ['Es giebt nichts Unvorhergesehenes, erwiderte Phileas Fogg einfach.'] Prediction: ['Ein US-Präsident hat in den vergangenen Tagen einen Unfall gefunden.\nEr wollte sich mit dem Unfall einfach sein.'] Label: [['„Aber nein“, beruhigt Fogg ihn.']] Sacrebleu: {'score': 1.9146030690102511, 'counts': [1, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [5.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 7} Bleu: {'bleu': 0.0, 'precisions': [0.05, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.857142857142857, 'translation_length': 20, 'reference_length': 7} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 59.583333333333336} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Ich wette mit Jedem, der Lust dazu hat, um zwanzigtausend Pfund, daß ich die Reise um den Erdball in längstens achtzig Tagen machen werde, d.h. in neunzehnhundertundzwanzig Stunden, oder hundertfünfzehntausendzweihundert Minuten.'] Prediction: ['Der Schweizer Erdball-Profi hat einen neunzehnhundertundzwanzig Pfund.\nDer Schweizer hat einen neunzehnhundertundzwanzig Stunden.\nDer Schweizer hat einen Pfund zu sehen.'] Label: [['„Ich wette um 20.000 Pfund, dass ich es schaffe.']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.090909090909091, 'translation_length': 23, 'reference_length': 11} Rouge: {'rouge1': 0.06451612903225806, 'rouge2': 0.0, 'rougeL': 0.06451612903225806, 'rougeLsum': 0.06451612903225806} Sari: {'sari': 51.26959064327485} Flesh Reading Ease: 56.3 ---------------------------------------- Source: ['– Wir nehmen die Wette an, erwiderten, nachdem sie sich unter einander verständigt, die Herren Stuart, Fallentin, Sullivan, Flanagan und Ralph.'] Prediction: ['Wir nehmen die Wette an, erwiderten sie sich unter einander verständigt.\nWir nehmen die Herren der Wette an, um sie sich unter einander verständigt zu erwarten.'] Label: [['Die anderen fünf Männer machen mit.\nJeder von ihnen setzt 4000 Pfund ein.\nAlle denken, dass Fogg es nicht schaffen wird.\nNiemand glaubt, dass er in 80 Tagen um die Erde reisen kann.']] Sacrebleu: {'score': 1.4394421396370554, 'counts': [6, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 0.7408182206817179, 'sys_len': 30, 'ref_len': 39} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.0, 0.0, 0.0], 'brevity_penalty': 0.740818220681718, 'length_ratio': 0.7692307692307693, 'translation_length': 30, 'reference_length': 39} Rouge: {'rouge1': 0.09523809523809523, 'rouge2': 0.0, 'rougeL': 0.06349206349206349, 'rougeLsum': 0.09523809523809523} Sari: {'sari': 36.30174291938997} Flesh Reading Ease: 61.7 ---------------------------------------- Source: ['Der Zug nach Dover geht um acht Uhr fünfundvierzig Minuten ab. Mit dem reise ich. – Heute Abend? fragte Stuart. – Heute Abend, versetzte Phileas Fogg.'] Prediction: ['Am Freitagabend findet in Dover statt.\nDer Zug nach Dover geht um acht Uhr fünfundvierzig Minuten ab.\nMit dem reise ich.'] Label: [['„Ich steige heute Abend um 8.45 Uhr in den Zug“, sagt Fogg.']] Sacrebleu: {'score': 2.224972978585352, 'counts': [4, 0, 0, 0], 'totals': [24, 23, 22, 21], 'precisions': [16.666666666666668, 2.1739130434782608, 1.1363636363636365, 0.5952380952380952], 'bp': 1.0, 'sys_len': 24, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.16666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7142857142857142, 'translation_length': 24, 'reference_length': 14} Rouge: {'rouge1': 0.2857142857142857, 'rouge2': 0.0, 'rougeL': 0.1142857142857143, 'rougeLsum': 0.2285714285714286} Sari: {'sari': 32.46372402784319} Flesh Reading Ease: 85.25 ---------------------------------------- Source: ['Also, fuhr er fort, indem er einen Kalender aus der Tasche zog und nachsah, weil heute Mittwoch, der 2. October, so muß ich Samstags, den 21. December um acht Uhr fünfundvierzig Minuten Abends wieder in London sein, hier in diesem Salon des Reformclubs, sonst sollen die zwanzigtausend Pfund, welche eben für mich bei den Gebr. Baring stehen, mit Recht und Fug Ihnen, meine Herren, angehören.'] Prediction: ['Der 21.\nDecember sollen in London einen Pfund mehrfach aufgefunden sein.\nDas ist einige Wochen lang, dann sollen die zwanzigtausend Pfund mehrfach aufgefunden sein.\nDie Pfund sollen mit Recht und Fug Ihnen meine Herren angehören.'] Label: [['Er schaut in seinen Kalender.\n„Heute ist der 2.\nOktober.\nAm 21.\nDezember werde ich zur selben Zeit wieder hier sein.“']] Sacrebleu: {'score': 3.0901532587310254, 'counts': [8, 2, 0, 0], 'totals': [40, 39, 38, 37], 'precisions': [20.0, 5.128205128205129, 1.3157894736842106, 0.6756756756756757], 'bp': 1.0, 'sys_len': 40, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.05128205128205128, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.4814814814814814, 'translation_length': 40, 'reference_length': 27} Rouge: {'rouge1': 0.17543859649122806, 'rouge2': 0.0, 'rougeL': 0.10526315789473685, 'rougeLsum': 0.17543859649122806} Sari: {'sari': 36.693074887290635} Flesh Reading Ease: 68.85 ---------------------------------------- Source: ['Man forderte Herrn Fogg auf, sein Spiel zu unterbrechen, um seine Reisevorbereitungen zu treffen.'] Prediction: ['Herrn Fogg spielt in der Bundesliga auf den Duell.\nDer Schweizer hatte sich mit einem Penalty unterbrochen.\nFogg spielte in der Partie, um seine Reisevorbereitungen zu treffen.'] Label: [['„Sie müssen jetzt doch Koffer packen, Fogg.']] Sacrebleu: {'score': 1.5784309053930103, 'counts': [3, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [9.67741935483871, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.0967741935483871, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.4444444444444446, 'translation_length': 31, 'reference_length': 9} Rouge: {'rouge1': 0.05714285714285714, 'rouge2': 0.0, 'rougeL': 0.05714285714285714, 'rougeLsum': 0.05714285714285714} Sari: {'sari': 35.989010989010985} Flesh Reading Ease: 59.85 ---------------------------------------- Source: ['»Ich bin stets reisefertig!« erwiderte dieser leidenschaftslose Gentleman, gab seine Karten und sprach: »Ich schlage Eckstein um, Sie spielen aus, Herr Stuart.«'] Prediction: ['Ein leidenschaftslose Gentleman hat in seinem Karten einen leidenschaftslosen Gentleman gefunden.\nDer Gentleman schlägt Eckstein um, die spielen aus, Herr Stuart spielen aus.'] Label: [['„Nein“, sagt Fogg.\n„Ich habe genug Zeit.\nIch möchte noch ein bisschen weiterspielen.“']] Sacrebleu: {'score': 1.826472886268134, 'counts': [3, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [11.11111111111111, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.1111111111111111, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.5, 'translation_length': 27, 'reference_length': 18} Rouge: {'rouge1': 0.052631578947368425, 'rouge2': 0.0, 'rougeL': 0.052631578947368425, 'rougeLsum': 0.052631578947368425} Sari: {'sari': 35.50694444444444} Flesh Reading Ease: 51.5 ---------------------------------------- Source: ['Um sieben Uhr fünfzig öffnete er seine Hausthüre und trat in sein Haus. Passepartout, welcher sein Programm gewissenhaft einstudiert hatte, war sehr überrascht, als er Herrn Fogg so ungenau sah, daß er zu dieser ungewöhnlichen Stunde erschien.'] Prediction: ['Ein Programm-Passepartout hatte in der Nacht auf Sonntag eine Hausthüre gefunden.\nDer Programm-Passepartout war sehr überrascht, als er Herrn Fogg so ungenau sah, daß er zu dieser ungewöhnlichen Stunde erschien.'] Label: [['Pas wundert sich.\nSein Herr kommt viel früher als erwartet.']] Sacrebleu: {'score': 1.432548017297354, 'counts': [3, 0, 0, 0], 'totals': [34, 33, 32, 31], 'precisions': [8.823529411764707, 1.5151515151515151, 0.78125, 0.4032258064516129], 'bp': 1.0, 'sys_len': 34, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.08823529411764706, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.8333333333333335, 'translation_length': 34, 'reference_length': 12} Rouge: {'rouge1': 0.04444444444444444, 'rouge2': 0.0, 'rougeL': 0.04444444444444444, 'rougeLsum': 0.04444444444444444} Sari: {'sari': 34.496685998343} Flesh Reading Ease: 59.7 ---------------------------------------- Source: ['In zehn Minuten reisen wir nach Dover und Calais.«'] Prediction: ['Immer mehr wir zu sehen, wie es in den USA ist.\nImmer mehr wir zu sehen, wie es in den USA ist.'] Label: [['„In zehn Minuten fahren wir los“, sagt Fogg.']] Sacrebleu: {'score': 1.9011755113058346, 'counts': [3, 0, 0, 0], 'totals': [26, 25, 24, 23], 'precisions': [11.538461538461538, 2.0, 1.0416666666666667, 0.5434782608695652], 'bp': 1.0, 'sys_len': 26, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.11538461538461539, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.6, 'translation_length': 26, 'reference_length': 10} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.0, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.06666666666666667} Sari: {'sari': 52.88690476190476} Flesh Reading Ease: 98.8 ---------------------------------------- Source: ['»Der Herr will eine Reise machen? fragte er. – Ja, erwiderte Phileas Fogg.'] Prediction: ['Am Dienstagabend wurde Phileas Fogg (34) von der Schweizer Promi-Kollegen verstorben.\nDer Schweizer war eine Reise gekommen.\nEr fragte sich, wie er fragte.'] Label: [['„Sie fahren weg?“, fragt Pas.\n„Ja“, antwortet Fogg.']] Sacrebleu: {'score': 1.8196871111910016, 'counts': [4, 0, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 1.7857142857142858, 0.9259259259259259, 0.4807692307692308], 'bp': 1.0, 'sys_len': 29, 'ref_len': 14} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0714285714285716, 'translation_length': 29, 'reference_length': 14} Rouge: {'rouge1': 0.0625, 'rouge2': 0.0, 'rougeL': 0.0625, 'rougeLsum': 0.0625} Sari: {'sari': 52.61841438703141} Flesh Reading Ease: 67.0 ---------------------------------------- Source: ['Wir wollen eine Reise um die Erde vornehmen.«'] Prediction: ['Im Interview mit 20 Minuten spricht über die Schweizer über die Corona-Pandemie.\nDie beiden wollen eine Reise um die Erde vornehmen.'] Label: [['„Und du auch.\nWir machen eine Reise um die Erde.“']] Sacrebleu: {'score': 16.76784955078518, 'counts': [7, 4, 3, 2], 'totals': [23, 22, 21, 20], 'precisions': [30.434782608695652, 18.181818181818183, 14.285714285714286, 10.0], 'bp': 1.0, 'sys_len': 23, 'ref_len': 13} Bleu: {'bleu': 0.1676784955078518, 'precisions': [0.30434782608695654, 0.18181818181818182, 0.14285714285714285, 0.1], 'brevity_penalty': 1.0, 'length_ratio': 1.7692307692307692, 'translation_length': 23, 'reference_length': 13} Rouge: {'rouge1': 0.3125, 'rouge2': 0.26666666666666666, 'rougeL': 0.3125, 'rougeLsum': 0.3125} Sari: {'sari': 52.21139971139971} Flesh Reading Ease: 64.2 ---------------------------------------- Source: ['Da staunte Passepartout über die Maßen. Er riß die Augen weit auf, spannte die Wimpern und Brauen, streckte die Hände aus – Symptome förmlicher Bestürzung.'] Prediction: ['Passepartout staunte in der Schweiz die Maßen.\nEr riß die Augen weit auf und streckte die Brauen aus.\nSymptome förmlicher Bestürzung war eine grosse Bestürzung.'] Label: [['„Wie … wie meinen Sie das?\n“, fragt Pas.']] Sacrebleu: {'score': 1.3353534059549443, 'counts': [1, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [3.5714285714285716, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.03571428571428571, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.3333333333333335, 'translation_length': 28, 'reference_length': 12} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 33.27546296296296} Flesh Reading Ease: 72.25 ---------------------------------------- Source: ['»Reise um die Erde! brummte er. – In achtzig Tagen, erwiderte Herr Fogg.'] Prediction: ['Im Alter von 99 Jahren war ein Schweizer.\nEr war in den vergangenen Tagen in der Schweiz zu Gast.\nNun wurde er von einem ähnlichen Vorwurf geschickt.'] Label: [['„Eine Reise um die Erde in 80 Tagen, Pas.']] Sacrebleu: {'score': 1.633898440122165, 'counts': [3, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [10.0, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 11} Bleu: {'bleu': 0.0, 'precisions': [0.1, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.727272727272727, 'translation_length': 30, 'reference_length': 11} Rouge: {'rouge1': 0.1111111111111111, 'rouge2': 0.0, 'rougeL': 0.1111111111111111, 'rougeLsum': 0.1111111111111111} Sari: {'sari': 41.008121468926554} Flesh Reading Ease: 83.25 ---------------------------------------- Source: ['Also, wir haben keinen Augenblick Zeit zu verlieren.'] Prediction: ['Die 20-Minuten-App-App-App-App-App-App sowie der Google Play sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App sowie der App-App-Folge sowie der App-App sowie der App-App sowie der App-App sowie der App-App-App sowie der App-App-App sowie der App-App-App sowie der App-App-App sowie der App-App-App sowie der App-App-App sowie der App-App-App sowie der App-App-App sowie der App-App sowie der App-App-App sowie der App-App-App sowie der App-App-App'] Label: [['Wir müssen uns beeilen.“']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [209, 208, 207, 206], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 209, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 34.833333333333336, 'translation_length': 209, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 56.666666666666664} Flesh Reading Ease: -132.31 ---------------------------------------- Source: ['– Aber die Koffer? ... sagte Passepartout mit unwillkürlichem Kopfschütteln .'] Prediction: ['Seit Donnerstag wurde der Schweizer Passepartout mit unwillkürlichem Kopfschütteln geschüttet.\nDie beiden waren nicht nur mit der Koffer, sondern mit unwillkürlichem Kopfschütteln.'] Label: [['„Müssen wir keine Koffer packen?\n“, will Pas wissen.']] Sacrebleu: {'score': 1.9822566267103439, 'counts': [3, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [12.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 12} Bleu: {'bleu': 0.0, 'precisions': [0.12, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0833333333333335, 'translation_length': 25, 'reference_length': 12} Rouge: {'rouge1': 0.05555555555555555, 'rouge2': 0.0, 'rougeL': 0.05555555555555555, 'rougeLsum': 0.05555555555555555} Sari: {'sari': 34.32968682968683} Flesh Reading Ease: 46.15 ---------------------------------------- Source: ['– Keine Koffer.'] Prediction: ['Die Schweizerin hat sich mit ihrem Partner über ihre Wohnung geschlossen.\nDas hat sie zu Gast mit dem Interview mit 20 Minuten veröffentlicht.'] Label: [['„Brauchen wir nicht “, sagt Fogg.']] Sacrebleu: {'score': 1.506189323093867, 'counts': [1, 0, 0, 0], 'totals': [25, 24, 23, 22], 'precisions': [4.0, 2.0833333333333335, 1.0869565217391304, 0.5681818181818182], 'bp': 1.0, 'sys_len': 25, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.04, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.125, 'translation_length': 25, 'reference_length': 8} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 66.66666666666666} Flesh Reading Ease: 69.05 ---------------------------------------- Source: ["Nur eines Reisesackes bedarf's, mit zwei wollenen Hemden darin, und drei Paar Strümpfen; ebensoviel für Sie. Weiteres kaufen wir unterwegs."] Prediction: ["Im Reisesack bedarf's ein Reisesack ein.\nDie Hemden sind zwei wollenen.\nDie Welt ist eine grosse Runde."] Label: [['„Eine Reisetasche mit etwas Kleidung reicht.“']] Sacrebleu: {'score': 1.9146030690102511, 'counts': [1, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [5.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.05, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.5, 'translation_length': 20, 'reference_length': 8} Rouge: {'rouge1': 0.08333333333333333, 'rouge2': 0.0, 'rougeL': 0.08333333333333333, 'rougeLsum': 0.08333333333333333} Sari: {'sari': 50.92592592592593} Flesh Reading Ease: 74.85 ---------------------------------------- Source: ['Passepartout hätte gern geantwortet, konnte aber nicht.'] Prediction: ['Am Montagabend fand in der Nähe des Bundesstaats Zürich statt.\nDie Polizei hatte nicht mehr gefasst.\nDer Mann konnte aber nicht mehr gefasst werden.'] Label: [['Das kann doch nicht wahr sein, denkt Pas.']] Sacrebleu: {'score': 1.6504045595709425, 'counts': [2, 0, 0, 0], 'totals': [27, 26, 25, 24], 'precisions': [7.407407407407407, 1.9230769230769231, 1.0, 0.5208333333333334], 'bp': 1.0, 'sys_len': 27, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.07407407407407407, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.7, 'translation_length': 27, 'reference_length': 10} Rouge: {'rouge1': 0.058823529411764705, 'rouge2': 0.0, 'rougeL': 0.058823529411764705, 'rougeLsum': 0.058823529411764705} Sari: {'sari': 44.761904761904766} Flesh Reading Ease: 84.25 ---------------------------------------- Source: ['Und ich wollte ruhig leben! ...« Er machte mechanisch seine Vorbereitungen zur Reise.'] Prediction: ['Immer wieder kommt es zu einer Reise.\nDas machte eine Vorbereitung zur Reise.'] Label: [['Eine ruhige Arbeitsstelle ist das hier also nicht!']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [15, 14, 13, 12], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 15, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 15, 'reference_length': 9} Rouge: {'rouge1': 0.1904761904761905, 'rouge2': 0.0, 'rougeL': 0.09523809523809525, 'rougeLsum': 0.09523809523809525} Sari: {'sari': 42.93300653594771} Flesh Reading Ease: 68.2 ---------------------------------------- Source: ["Hatte er's mit einem Narren zu thun?"] Prediction: ['Im Alter von 99 Jahren hatte er mit einem Narren zu thun.\nNun hat er seine Frau eine Frau gefunden.\nSie hatte ihn mit einem Narren zu thun.'] Label: [['Ist mein Herr verrückt geworden?']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 31, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.166666666666667, 'translation_length': 31, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 29.166666666666668} Flesh Reading Ease: 88.8 ---------------------------------------- Source: ['Um acht Uhr hatte Passepartout den bescheidenen Sack mit seiner und seines Herrn Garderobe zurecht gemacht;'] Prediction: ['Im Tessin hatte ein Passepartout den bescheidenen Sack mit seiner und seines Herrn Garderobe zurecht gemacht.\nDie Garderobe wurde von Passepartout aus dem Tessin zurecht gemacht.'] Label: [['Pas packt schnell eine Reisetasche.']] Sacrebleu: {'score': 1.3353534059549443, 'counts': [1, 0, 0, 0], 'totals': [28, 27, 26, 25], 'precisions': [3.5714285714285716, 1.8518518518518519, 0.9615384615384616, 0.5], 'bp': 1.0, 'sys_len': 28, 'ref_len': 6} Bleu: {'bleu': 0.0, 'precisions': [0.03571428571428571, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 4.666666666666667, 'translation_length': 28, 'reference_length': 6} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 34.44444444444445} Flesh Reading Ease: 55.85 ---------------------------------------- Source: ['Er nahm Passepartout den Reisesack aus der Hand, öffnete ihn und schob ein starkes Bündel von den schönen Banknoten hinein, welche in aller Welt Cours haben.'] Prediction: ['Passepartout Cours hatte in der Welt schon mehrere Banknoten geschlossen.\nNun nahm er den Reisesack aus der Hand und schob ein starkes Bündel von den schönen Banknoten hinein.'] Label: [['Sein Herr steckt noch ein Bündel Geldscheine dazu.\n„Die werde ich brauchen “, sagt Fogg.']] Sacrebleu: {'score': 1.7557381354086663, 'counts': [4, 0, 0, 0], 'totals': [30, 29, 28, 27], 'precisions': [13.333333333333334, 1.7241379310344827, 0.8928571428571429, 0.46296296296296297], 'bp': 1.0, 'sys_len': 30, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.13333333333333333, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.6666666666666667, 'translation_length': 30, 'reference_length': 18} Rouge: {'rouge1': 0.13333333333333333, 'rouge2': 0.046511627906976744, 'rougeL': 0.13333333333333333, 'rougeLsum': 0.13333333333333333} Sari: {'sari': 34.638888888888886} Flesh Reading Ease: 72.4 ---------------------------------------- Source: ['In diesem Augenblicke trat eine arme Bettlerin mit einem Kinde an der Hand, barfuß im Koth, zerrissenem Hut mit jämmerlich herabhängender Feder, zerfetztem Shawl über dem Lumpenkleid, zu Herrn Fogg heran und bat um ein Almosen.'] Prediction: ['Eine Bettlerin hat eine arme Bettlerin mit einem Kinde an der Hand.\nDie Bettlerin bat um ein Almosen.'] Label: [['Auf dem Weg zum Bahnhof sehen sie eine Bettlerin.']] Sacrebleu: {'score': 2.5197593442434796, 'counts': [3, 0, 0, 0], 'totals': [20, 19, 18, 17], 'precisions': [15.0, 2.6315789473684212, 1.3888888888888888, 0.7352941176470589], 'bp': 1.0, 'sys_len': 20, 'ref_len': 10} Bleu: {'bleu': 0.0, 'precisions': [0.15, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 20, 'reference_length': 10} Rouge: {'rouge1': 0.14814814814814814, 'rouge2': 0.07999999999999999, 'rougeL': 0.14814814814814814, 'rougeLsum': 0.14814814814814814} Sari: {'sari': 36.80555555555556} Flesh Reading Ease: 71.55 ---------------------------------------- Source: ['Herr Fogg zog die zwanzig Guineen, welche er beim Whist gewonnen hatte, aus der Tasche und überreichte sie der Bettlerin mit den Worten: »Hier nehmen Sie, brave Frau, es ist mir lieb, daß ich Sie getroffen habe!«'] Prediction: ['Eine Frau hat beim Whist eine Guineen gewonnen.\nDer Whist-Bettlerin hatte die Guineen aus der Tasche und überreichte die Worte.'] Label: [['Fogg gibt ihr 100 Pfund.\nEr sagt: „Gnädige Frau!\nIch freue mich, dass ich Sie treffe!\n“']] Sacrebleu: {'score': 2.0540268312306345, 'counts': [2, 0, 0, 0], 'totals': [22, 21, 20, 19], 'precisions': [9.090909090909092, 2.380952380952381, 1.25, 0.6578947368421053], 'bp': 1.0, 'sys_len': 22, 'ref_len': 22} Bleu: {'bleu': 0.0, 'precisions': [0.09090909090909091, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.0, 'translation_length': 22, 'reference_length': 22} Rouge: {'rouge1': 0.05263157894736842, 'rouge2': 0.0, 'rougeL': 0.05263157894736842, 'rougeLsum': 0.05263157894736842} Sari: {'sari': 33.159879336349924} Flesh Reading Ease: 58.85 ---------------------------------------- Source: ['Als er sich hierauf umdrehte, sah er sich von seinen fünf Collegen des Reformclubs umgeben.'] Prediction: ['Ein frühere Student aus den USA wurde in einem frühen Reformclub umdrecht.\nEr wurde dabei von seinen fünf Collegen geschickt.\nNun wurde er von seinen fünf Collegen umgeben.'] Label: [['Am Bahnhof sieht Fogg die Männer aus dem Club.\nMit ihnen hat er die Wette abgeschlossen.\nSie wollen sehen, ob Fogg wirklich losfährt.']] Sacrebleu: {'score': 1.793443763338368, 'counts': [5, 0, 0, 0], 'totals': [31, 30, 29, 28], 'precisions': [16.129032258064516, 1.6666666666666667, 0.8620689655172413, 0.44642857142857145], 'bp': 1.0, 'sys_len': 31, 'ref_len': 27} Bleu: {'bleu': 0.0, 'precisions': [0.16129032258064516, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1481481481481481, 'translation_length': 31, 'reference_length': 27} Rouge: {'rouge1': 0.07017543859649122, 'rouge2': 0.0, 'rougeL': 0.07017543859649122, 'rougeLsum': 0.07017543859649122} Sari: {'sari': 35.47055984555985} Flesh Reading Ease: 71.25 ---------------------------------------- Source: ["»Meine Herren, sprach er, jetzt reise ich ab, und die Visa's auf meinem Paß werden Ihnen bei meiner Rückkehr den Nachweis meiner Reiseroute geben."] Prediction: ["Ein Paß wird bei der Rückkehr den Nachweis meiner Reiseroute geben.\nIhnen reise ihn ab, jetzt reise ihnen ab, und die Visa's auf meinem Paß werden Ihnen bei meiner Rückkehr den Nachweis meiner Reiseroute geben."] Label: [['„Meine Herren, es geht los“, sagt er.\n„In jedem Land bekomme ich einen Stempel in meinen Pass.\nSo können Sie später sehen, dass ich wirklich dort war.“']] Sacrebleu: {'score': 1.3339264902154053, 'counts': [4, 0, 0, 0], 'totals': [39, 38, 37, 36], 'precisions': [10.256410256410257, 1.3157894736842106, 0.6756756756756757, 0.3472222222222222], 'bp': 1.0, 'sys_len': 39, 'ref_len': 34} Bleu: {'bleu': 0.0, 'precisions': [0.10256410256410256, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.1470588235294117, 'translation_length': 39, 'reference_length': 34} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 27.938652938652943} Flesh Reading Ease: 63.05 ---------------------------------------- Source: ['– Sie vergessen nicht, daß Sie wieder hier sein müssen? ... bemerkte Andrew Stuart ... – Binnen achtzig Tagenerwiderte Herr Fogg , Samstags , den 21 . December 1872, um acht Uhr fünfundvierzig Minuten Abends.'] Prediction: ['Andrew Stuart (1872) bemerkte eine Tagenerwiderin, die wieder wieder sein müssen.\nDer Binnen achtzig Tagenerwiderin ist auf der Suche nach England.\nSie vergessen nicht, da sie wieder wieder sein müssen?'] Label: [['„Und Sie kommen tatsächlich in 80 Tagen wieder?“, fragt einer der Männer.\n„Am Samstag, den 21.\nDezember.\nAbends um 8.45 Uhr.']] Sacrebleu: {'score': 1.675771139737561, 'counts': [8, 0, 0, 0], 'totals': [37, 36, 35, 34], 'precisions': [21.62162162162162, 1.3888888888888888, 0.7142857142857143, 0.36764705882352944], 'bp': 1.0, 'sys_len': 37, 'ref_len': 29} Bleu: {'bleu': 0.0, 'precisions': [0.21621621621621623, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2758620689655173, 'translation_length': 37, 'reference_length': 29} Rouge: {'rouge1': 0.14285714285714288, 'rouge2': 0.0, 'rougeL': 0.10714285714285714, 'rougeLsum': 0.14285714285714288} Sari: {'sari': 32.51862025383531} Flesh Reading Ease: 53.0 ---------------------------------------- Source: ['Auf Wiedersehen, meine Herren.«'] Prediction: ['Immer mehr Frauen, die ihre Frauen auf ihren Mann auf ihren Mann geschützt haben.\nIhre Frau hatte ihren Mann auf ihren Mann geschützt.\nSie habe ihren Mann auf ihren Mann geschützt.'] Label: [['Auf Wiedersehen!\n“']] Sacrebleu: {'score': 0.0, 'counts': [0, 0, 0, 0], 'totals': [35, 34, 33, 32], 'precisions': [0.0, 0.0, 0.0, 0.0], 'bp': 1.0, 'sys_len': 35, 'ref_len': 4} Bleu: {'bleu': 0.0, 'precisions': [0.0, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 8.75, 'translation_length': 35, 'reference_length': 4} Rouge: {'rouge1': 0.05555555555555555, 'rouge2': 0.0, 'rougeL': 0.05555555555555555, 'rougeLsum': 0.05555555555555555} Sari: {'sari': 49.861111111111114} Flesh Reading Ease: 81.95 ---------------------------------------- Source: ['Um acht Uhr vierzig Minuten setzten sich Phileas Fogg und sein Diener in dieselbe Waggon - Abtheilung.'] Prediction: ['Am Dienstagabend fand die Schweizer Weltmeisterschaft statt.\nPhileas Fogg und sein Diener sind in dieselbe Waggon.\nDie beiden waren acht Uhr vierzig Minuten in dieselbe Waggon.'] Label: [['Fogg und Pas steigen in den Zug.']] Sacrebleu: {'score': 3.0603367373678014, 'counts': [4, 1, 0, 0], 'totals': [29, 28, 27, 26], 'precisions': [13.793103448275861, 3.5714285714285716, 1.8518518518518519, 0.9615384615384616], 'bp': 1.0, 'sys_len': 29, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.13793103448275862, 0.03571428571428571, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 3.625, 'translation_length': 29, 'reference_length': 8} Rouge: {'rouge1': 0.18181818181818182, 'rouge2': 0.06451612903225806, 'rougeL': 0.18181818181818182, 'rougeLsum': 0.18181818181818182} Sari: {'sari': 38.92156862745098} Flesh Reading Ease: 66.0 ---------------------------------------- Source: ['Die Neuigkeit von der Wette verbreitete sich zuerst im Reformclub und erregte unter den Mitgliedern dieser ehrenwerthen Gesellschaft eine arge Aufregung, welche sich durch die Berichterstatter von da in die Journale verbreitete und durch diese das Publicum von London und im ganzen Vereinigten Königreiche durchdrang.'] Prediction: ['Die Neuigkeit von der Wette verbreitete sich zuerst im Reformclub und erregte unter den Mitgliedern dieser ehrenwerthen Gesellschaft eine arge Aufregung.\nDie Neuigkeit von der Wette verbreitete sich zuerst im Reformclub und erregte unter den Mitgliedern dieser ehrenwerthen Gesellschaft eine arge Aufregung.'] Label: [['Schon bald berichten Zeitungen über die Wette.']] Sacrebleu: {'score': 0.9896324688555468, 'counts': [2, 0, 0, 0], 'totals': [44, 43, 42, 41], 'precisions': [4.545454545454546, 1.1627906976744187, 0.5952380952380952, 0.3048780487804878], 'bp': 1.0, 'sys_len': 44, 'ref_len': 8} Bleu: {'bleu': 0.0, 'precisions': [0.045454545454545456, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 5.5, 'translation_length': 44, 'reference_length': 8} Rouge: {'rouge1': 0.08163265306122448, 'rouge2': 0.0, 'rougeL': 0.08163265306122448, 'rougeLsum': 0.08163265306122448} Sari: {'sari': 34.571050642479214} Flesh Reading Ease: 36.15 ---------------------------------------- Source: ['Die einen ergriffen Partei für Phileas Fogg, die anderen – und sie bildeten bald eine ansehnliche Majorität – sprachen sich gegen ihn aus.'] Prediction: ['Phileas Fogg ist ein französischer Partei-Partner.\nDie anderen wollen bald eine ansehnliche Majorität ausgeben.'] Label: [['„Fogg wird verlieren “, schreibt eine Zeitung.']] Sacrebleu: {'score': 2.908317710573757, 'counts': [2, 0, 0, 0], 'totals': [16, 15, 14, 13], 'precisions': [12.5, 3.3333333333333335, 1.7857142857142858, 0.9615384615384616], 'bp': 1.0, 'sys_len': 16, 'ref_len': 9} Bleu: {'bleu': 0.0, 'precisions': [0.125, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.7777777777777777, 'translation_length': 16, 'reference_length': 9} Rouge: {'rouge1': 0.1739130434782609, 'rouge2': 0.0, 'rougeL': 0.1739130434782609, 'rougeLsum': 0.1739130434782609} Sari: {'sari': 35.55555555555556} Flesh Reading Ease: 32.6 ---------------------------------------- Source: ['Diese Reise um die Erde, innerhalb der geringen Frist, mit den jetzt im Gebrauch befindlichen Verkehrsmitteln anders als in der Theorie und auf dem Papier fertig zu bringen, war nicht allein unmöglich, sondern unsinnig! »Times«, »Standard«, »Evening - Star«, »Morning Chronicle« und zwanzig andere Journale ersten Ranges erklärten sich gegen Fogg.'] Prediction: ['Der Frist, der jetzt im Gebrauch befindliche Verkehrsmitteln anders als in der Theorie und auf dem Papier fertig zu bringen, war nicht allein unmöglich, sondern unsinnig!\nDas erste Ranges erklärten sich gegen Fogg.'] Label: [['„Schiffe fahren oft später los als geplant.\nNiemand kann in 80 Tagen um die Erde reisen.“']] Sacrebleu: {'score': 1.2753998269755913, 'counts': [3, 0, 0, 0], 'totals': [38, 37, 36, 35], 'precisions': [7.894736842105263, 1.3513513513513513, 0.6944444444444444, 0.35714285714285715], 'bp': 1.0, 'sys_len': 38, 'ref_len': 19} Bleu: {'bleu': 0.0, 'precisions': [0.07894736842105263, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 2.0, 'translation_length': 38, 'reference_length': 19} Rouge: {'rouge1': 0.07692307692307693, 'rouge2': 0.0, 'rougeL': 0.07692307692307693, 'rougeLsum': 0.07692307692307693} Sari: {'sari': 32.78964735486475} Flesh Reading Ease: 64.05 ---------------------------------------- Source: ['An diesem Tage, um neun Uhr Abends, erhielt der Polizeidirector der Hauptstadt folgende telegraphische Depesche: »Suez nach London.« »Rowan, Polizeidirector, Centralverwaltung, Schottlandplatz.«'] Prediction: ['Die Polizei erhielt aufgrund eines deutschen Medien teilweise aufsuez nach London.\nEs erhielt sie von einem Contact von Suez nach London.'] Label: [['Detektiv Fix.\nAm 9.\nOktober kommen Fogg und Pas mit dem Schiff in Ägypten an.']] Sacrebleu: {'score': 1.958224832501124, 'counts': [2, 0, 0, 0], 'totals': [23, 22, 21, 20], 'precisions': [8.695652173913043, 2.272727272727273, 1.1904761904761905, 0.625], 'bp': 1.0, 'sys_len': 23, 'ref_len': 18} Bleu: {'bleu': 0.0, 'precisions': [0.08695652173913043, 0.0, 0.0, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.2777777777777777, 'translation_length': 23, 'reference_length': 18} Rouge: {'rouge1': 0.0, 'rouge2': 0.0, 'rougeL': 0.0, 'rougeLsum': 0.0} Sari: {'sari': 44.28030303030304} Flesh Reading Ease: 58.35 ---------------------------------------- Source: ['Dieser Mann hieß Fix, und war einer jener »Detectives« oder geheimen Agenten, welche die englische Polizei nach dem Diebstahl auf der Bank in die verschiedenen Häfen abgeschickt hatte.'] Prediction: ['Ein Mann wurde in der Nähe von der Polizei auf der Bank in die verschiedenen Häfen abgeschickt.\nDie Polizei hatte ihn nach dem Diebstahl auf der Bank abgeschickt.'] Label: [['Sie wissen nicht, dass im Hafen ein Detektiv wartet.\nEr ist von der Polizei in London.\nUnd er heißt Fix.']] Sacrebleu: {'score': 5.4957573647494575, 'counts': [6, 2, 1, 0], 'totals': [30, 29, 28, 27], 'precisions': [20.0, 6.896551724137931, 3.5714285714285716, 1.8518518518518519], 'bp': 1.0, 'sys_len': 30, 'ref_len': 24} Bleu: {'bleu': 0.0, 'precisions': [0.2, 0.06896551724137931, 0.03571428571428571, 0.0], 'brevity_penalty': 1.0, 'length_ratio': 1.25, 'translation_length': 30, 'reference_length': 24} Rouge: {'rouge1': 0.19607843137254902, 'rouge2': 0.08163265306122448, 'rougeL': 0.19607843137254902, 'rougeLsum': 0.19607843137254902} Sari: {'sari': 37.90129461182092} Flesh Reading Ease: 72.4 ---------------------------------------- ---------------------------------------- Average scores: Sacrebleu: 9.372744495303902 Bleu: 0.06910462721422227 Rouge1: 0.2741041826714698 Rouge2: 0.14003557268391706 RougeL: 0.2329282687531788 Sari: 38.43075053531865 Flesh Reading Ease: 56.07359696641387 ---------------------------------------- ---------------------------------------- Total scores: Sacrebleu: 9.117606351052729 Bleu: 0.09117606351052729 Rouge1: 0.2742290940154626 Rouge2: 0.13986967075767476 RougeL: 0.2326492979668398 Sari: 38.43075053531862 Flesh Reading Ease: 56.07359696641387 ----------------------------------------