| [ | |
| { | |
| "eval_loss": 0.11767489463090897, | |
| "eval_f1_weighted": 0.9649920315555134, | |
| "eval_f1_macro": 0.9107725718578208, | |
| "eval_f1_micro": 0.9646924829157175, | |
| "eval_accuracy": 0.9646924829157175, | |
| "eval_precision_weighted": 0.9654428432212139, | |
| "eval_recall_weighted": 0.9646924829157175, | |
| "eval_f1_weighted_real": 0.6238214285714285, | |
| "eval_f1_macro_real": 0.3668571428571428, | |
| "eval_f1_micro_real": 0.5625, | |
| "eval_accuracy_real": 0.5625, | |
| "eval_class_report": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.9935515873015874, | |
| "recall": 0.9930555555555556, | |
| "f1": 0.9931464289734137 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 0.9800606384876047, | |
| "recall": 0.9775280898876404, | |
| "f1": 0.9780428514970242 | |
| }, | |
| { | |
| "narrative_id": 2, | |
| "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", | |
| "precision": 0.9588014981273408, | |
| "recall": 0.9588014981273408, | |
| "f1": 0.9588014981273408 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", | |
| "precision": 0.9780116851896393, | |
| "recall": 0.9775280898876404, | |
| "f1": 0.9770747424580228 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9627001336049236, | |
| "recall": 0.9550561797752809, | |
| "f1": 0.9548327993095935 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.9774411710209375, | |
| "recall": 0.9766536964980544, | |
| "f1": 0.9768827788246525 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", | |
| "precision": 0.9462928394378893, | |
| "recall": 0.9375, | |
| "f1": 0.940369157502778 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 0.9710601385887938, | |
| "recall": 0.96875, | |
| "f1": 0.9687961220498323 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 0.9677418748472715, | |
| "recall": 0.9649805447470817, | |
| "f1": 0.964202625093409 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", | |
| "precision": 0.9884529471105347, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9883178585287724 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", | |
| "precision": 0.9194445739506115, | |
| "recall": 0.9045643153526971, | |
| "f1": 0.9076151819733852 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 0.9797141539880129, | |
| "recall": 0.979253112033195, | |
| "f1": 0.9794433342380656 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", | |
| "precision": 0.9652009475355998, | |
| "recall": 0.9655172413793104, | |
| "f1": 0.9645206014209012 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", | |
| "precision": 0.9393687916509493, | |
| "recall": 0.9377593360995851, | |
| "f1": 0.9375123493380756 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.9632510346796062, | |
| "recall": 0.9567099567099567, | |
| "f1": 0.9563801412775133 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", | |
| "precision": 0.978587962962963, | |
| "recall": 0.978448275862069, | |
| "f1": 0.9784383174219591 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 0.9627723989549716, | |
| "recall": 0.9626556016597511, | |
| "f1": 0.9626448559538119 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", | |
| "precision": 0.9562417361239474, | |
| "recall": 0.9543568464730291, | |
| "f1": 0.9550933073526043 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 0.9713074497234142, | |
| "recall": 0.9698275862068966, | |
| "f1": 0.9701057071093011 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 0.9135318566024814, | |
| "recall": 0.9081272084805654, | |
| "f1": 0.9104660210867873 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.9208628901097154, | |
| "recall": 0.9222614840989399, | |
| "f1": 0.9210971764227696 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 0.9962720210847551, | |
| "recall": 0.9962546816479401, | |
| "f1": 0.9962223077574487 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 0.9573561365445297, | |
| "recall": 0.947565543071161, | |
| "f1": 0.9498885654111355 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 0.9888852589507144, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9887862826171072 | |
| }, | |
| { | |
| "narrative_id": 24, | |
| "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", | |
| "precision": 0.9683375295643549, | |
| "recall": 0.9610894941634242, | |
| "f1": 0.9615159855171242 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 0.9579859875509715, | |
| "recall": 0.9571984435797666, | |
| "f1": 0.9570555070277138 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 0.9675904241478012, | |
| "recall": 0.9590163934426229, | |
| "f1": 0.960375551986178 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.9657237681064644, | |
| "recall": 0.9649805447470817, | |
| "f1": 0.9651888484282305 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 0.9727280587980977, | |
| "recall": 0.9727626459143969, | |
| "f1": 0.9726791531530754 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 0.9802071234998064, | |
| "recall": 0.9796747967479674, | |
| "f1": 0.9797632858490534 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.9629680987165202, | |
| "recall": 0.9634146341463414, | |
| "f1": 0.9631511761907022 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 0.9533514937912764, | |
| "recall": 0.9512195121951219, | |
| "f1": 0.9519467075813962 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.9816857542987552, | |
| "recall": 0.9812734082397003, | |
| "f1": 0.9803816842516073 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 0.9892990904226858, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9888852589507144 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 0.9737827715355806, | |
| "recall": 0.9737827715355806, | |
| "f1": 0.9737827715355806 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 0.9780135311501479, | |
| "recall": 0.9775280898876404, | |
| "f1": 0.9776088313211028 | |
| }, | |
| { | |
| "narrative_id": 36, | |
| "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", | |
| "precision": 0.9809911222083507, | |
| "recall": 0.9812734082397003, | |
| "f1": 0.9810941591197164 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 0.9537174303683738, | |
| "recall": 0.9509433962264151, | |
| "f1": 0.9506717880108757 | |
| }, | |
| { | |
| "narrative_id": 38, | |
| "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", | |
| "precision": 0.9767681865861825, | |
| "recall": 0.9737827715355806, | |
| "f1": 0.9739580676895875 | |
| }, | |
| { | |
| "narrative_id": 39, | |
| "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", | |
| "precision": 0.9849312419943448, | |
| "recall": 0.9844357976653697, | |
| "f1": 0.9843997694192247 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.961049726135933, | |
| "recall": 0.9612068965517241, | |
| "f1": 0.9606047917760051 | |
| } | |
| ], | |
| "eval_class_report_real": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.1111111111111111, | |
| "recall": 0.3333333333333333, | |
| "f1": 0.16666666666666666 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.8240740740740741, | |
| "recall": 0.75, | |
| "f1": 0.7850877192982456 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 1.0, | |
| "recall": 0.2857142857142857, | |
| "f1": 0.44444444444444436 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 0.3333333333333333, | |
| "recall": 0.5, | |
| "f1": 0.4 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 1.0, | |
| "recall": 0.5, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 0.4444444444444444, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.5333333333333333 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 1.0, | |
| "recall": 0.5, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 1.0, | |
| "recall": 0.75, | |
| "f1": 0.8571428571428571 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.25, | |
| "recall": 0.5, | |
| "f1": 0.3333333333333333 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 1.0, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.8 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.8666666666666666, | |
| "recall": 0.4, | |
| "f1": 0.42000000000000004 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 1.0, | |
| "recall": 0.5, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 0.25, | |
| "recall": 0.5, | |
| "f1": 0.3333333333333333 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.25, | |
| "recall": 0.5, | |
| "f1": 0.3333333333333333 | |
| } | |
| ], | |
| "eval_runtime": 139.5141, | |
| "eval_samples_per_second": 76.207, | |
| "eval_steps_per_second": 0.953, | |
| "epoch": 0.9989909182643795, | |
| "step": 495, | |
| "datasplit_random_state": 2024, | |
| "learning_rate": 2e-05, | |
| "batch_size": 16, | |
| "weight_decay": 0.1, | |
| "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" | |
| }, | |
| { | |
| "eval_loss": 0.07704894244670868, | |
| "eval_f1_weighted": 0.9783088430565907, | |
| "eval_f1_macro": 0.9425410502085283, | |
| "eval_f1_micro": 0.978454821564161, | |
| "eval_accuracy": 0.978454821564161, | |
| "eval_precision_weighted": 0.9782648032636756, | |
| "eval_recall_weighted": 0.978454821564161, | |
| "eval_f1_weighted_real": 0.7585720486111112, | |
| "eval_f1_macro_real": 0.48263888888888884, | |
| "eval_f1_micro_real": 0.6979166666666666, | |
| "eval_accuracy_real": 0.6979166666666666, | |
| "eval_class_report": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.9966563786008229, | |
| "recall": 0.9965277777777778, | |
| "f1": 0.9965264931968595 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 0.9889186681785381, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9886164370341991 | |
| }, | |
| { | |
| "narrative_id": 2, | |
| "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", | |
| "precision": 0.9777187292591425, | |
| "recall": 0.9775280898876404, | |
| "f1": 0.976886530725482 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", | |
| "precision": 0.9812349289415627, | |
| "recall": 0.9812734082397003, | |
| "f1": 0.9808930081637585 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9817638665953273, | |
| "recall": 0.9812734082397003, | |
| "f1": 0.9812512137605771 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.9783013810863699, | |
| "recall": 0.9766536964980544, | |
| "f1": 0.9765217220005621 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", | |
| "precision": 0.9791666666666666, | |
| "recall": 0.9791666666666666, | |
| "f1": 0.9791666666666666 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 0.9741990546218487, | |
| "recall": 0.97265625, | |
| "f1": 0.972750351782364 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 0.9763800071429914, | |
| "recall": 0.9766536964980544, | |
| "f1": 0.9764770908693228 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", | |
| "precision": 0.9884529471105347, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9883178585287724 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", | |
| "precision": 0.953787664834568, | |
| "recall": 0.9543568464730291, | |
| "f1": 0.9539778785504156 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 0.9960043030582449, | |
| "recall": 0.995850622406639, | |
| "f1": 0.9958842643249677 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", | |
| "precision": 0.97389091626348, | |
| "recall": 0.9741379310344828, | |
| "f1": 0.9738083931973667 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", | |
| "precision": 0.9612608753848214, | |
| "recall": 0.9585062240663901, | |
| "f1": 0.9593240117623814 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.9786772486772487, | |
| "recall": 0.9783549783549783, | |
| "f1": 0.9784695113430485 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", | |
| "precision": 0.9829694527736133, | |
| "recall": 0.9827586206896551, | |
| "f1": 0.9824159139328854 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 0.9774036337830302, | |
| "recall": 0.975103734439834, | |
| "f1": 0.9740946720038415 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", | |
| "precision": 0.9719917012448133, | |
| "recall": 0.970954356846473, | |
| "f1": 0.9695540584823304 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 0.9685581659719591, | |
| "recall": 0.9655172413793104, | |
| "f1": 0.9646457762854109 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 0.9430284014754587, | |
| "recall": 0.9328621908127208, | |
| "f1": 0.926002895658468 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.9497529534873139, | |
| "recall": 0.950530035335689, | |
| "f1": 0.9500671354200263 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 0.9893164298595011, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9885631475473804 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 0.992648078790401, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9925079776805076 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 0.9925267027326952, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9924769894053888 | |
| }, | |
| { | |
| "narrative_id": 24, | |
| "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", | |
| "precision": 0.981789909195856, | |
| "recall": 0.980544747081712, | |
| "f1": 0.9802005334614748 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 0.9785402664780096, | |
| "recall": 0.9766536964980544, | |
| "f1": 0.9765147304057811 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 0.968071313133462, | |
| "recall": 0.9672131147540983, | |
| "f1": 0.9670862217736598 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.9842799062157039, | |
| "recall": 0.9844357976653697, | |
| "f1": 0.9841287624988662 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 0.976456415616251, | |
| "recall": 0.9766536964980544, | |
| "f1": 0.9763750441880658 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 0.9846316575410652, | |
| "recall": 0.983739837398374, | |
| "f1": 0.9836569437626078 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.9758000770363033, | |
| "recall": 0.975609756097561, | |
| "f1": 0.9755074683010423 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 0.9772918418839361, | |
| "recall": 0.975609756097561, | |
| "f1": 0.9761170549307736 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.9771100344752545, | |
| "recall": 0.9775280898876404, | |
| "f1": 0.9771068055977441 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 0.992648078790401, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9925403313149761 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 0.981394784297406, | |
| "recall": 0.9812734082397003, | |
| "f1": 0.9811547936484203 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 0.9926654182272159, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.99239922867068 | |
| }, | |
| { | |
| "narrative_id": 36, | |
| "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", | |
| "precision": 0.9925267027326952, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9924769894053888 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 0.9778077268643307, | |
| "recall": 0.9773584905660377, | |
| "f1": 0.9773249475890984 | |
| }, | |
| { | |
| "narrative_id": 38, | |
| "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", | |
| "precision": 0.9887640449438202, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9887640449438202 | |
| }, | |
| { | |
| "narrative_id": 39, | |
| "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", | |
| "precision": 0.9806824304100569, | |
| "recall": 0.980544747081712, | |
| "f1": 0.980544747081712 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.9789807048427738, | |
| "recall": 0.978448275862069, | |
| "f1": 0.9773858366723434 | |
| } | |
| ], | |
| "eval_class_report_real": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.8333333333333334, | |
| "recall": 0.5, | |
| "f1": 0.48888888888888893 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 0.6666666666666666, | |
| "recall": 0.3333333333333333, | |
| "f1": 0.4444444444444444 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9444444444444445, | |
| "recall": 0.8333333333333334, | |
| "f1": 0.8740740740740741 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 0.3333333333333333, | |
| "recall": 0.5, | |
| "f1": 0.4 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 1.0, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.8000000000000002 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 1.0, | |
| "recall": 0.75, | |
| "f1": 0.8571428571428571 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.25, | |
| "recall": 0.5, | |
| "f1": 0.3333333333333333 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 1.0, | |
| "recall": 0.5555555555555556, | |
| "f1": 0.7142857142857143 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.8666666666666666, | |
| "recall": 0.4, | |
| "f1": 0.42000000000000004 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 1.0, | |
| "recall": 0.5, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.25, | |
| "recall": 0.5, | |
| "f1": 0.3333333333333333 | |
| } | |
| ], | |
| "eval_runtime": 133.5175, | |
| "eval_samples_per_second": 79.63, | |
| "eval_steps_per_second": 0.996, | |
| "epoch": 2.0, | |
| "step": 991, | |
| "datasplit_random_state": 2024, | |
| "learning_rate": 2e-05, | |
| "batch_size": 16, | |
| "weight_decay": 0.1, | |
| "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" | |
| }, | |
| { | |
| "eval_loss": 0.08929800242185593, | |
| "eval_f1_weighted": 0.9812929960386142, | |
| "eval_f1_macro": 0.949316803240119, | |
| "eval_f1_micro": 0.9813971146545178, | |
| "eval_accuracy": 0.9813971146545178, | |
| "eval_precision_weighted": 0.9812162606832993, | |
| "eval_recall_weighted": 0.9813971146545178, | |
| "eval_f1_weighted_real": 0.6928530092592592, | |
| "eval_f1_macro_real": 0.4239417989417989, | |
| "eval_f1_micro_real": 0.6145833333333334, | |
| "eval_accuracy_real": 0.6145833333333334, | |
| "eval_class_report": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.9966563786008229, | |
| "recall": 0.9965277777777778, | |
| "f1": 0.9965568485803433 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 0.9887529477042586, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9886892217137013 | |
| }, | |
| { | |
| "narrative_id": 2, | |
| "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", | |
| "precision": 0.9701428769593563, | |
| "recall": 0.9700374531835206, | |
| "f1": 0.9700277538759124 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", | |
| "precision": 0.9779536942458291, | |
| "recall": 0.9775280898876404, | |
| "f1": 0.9766396186718179 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9832882507976142, | |
| "recall": 0.9812734082397003, | |
| "f1": 0.980816703329049 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.9922366961784995, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9921829049498847 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", | |
| "precision": 0.979394317485334, | |
| "recall": 0.9791666666666666, | |
| "f1": 0.9792465070526603 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 0.980636961722488, | |
| "recall": 0.98046875, | |
| "f1": 0.9801523696828128 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 0.9922927267285244, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9920810541551532 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", | |
| "precision": 0.970954356846473, | |
| "recall": 0.970954356846473, | |
| "f1": 0.970954356846473 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 0.9875518672199171, | |
| "recall": 0.9875518672199171, | |
| "f1": 0.9875518672199171 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", | |
| "precision": 0.9648930657622009, | |
| "recall": 0.9655172413793104, | |
| "f1": 0.9650236832133384 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", | |
| "precision": 0.9813001383125864, | |
| "recall": 0.979253112033195, | |
| "f1": 0.9796740472122458 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.9737969474530741, | |
| "recall": 0.974025974025974, | |
| "f1": 0.9731296147706548 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", | |
| "precision": 0.9871631807047296, | |
| "recall": 0.9870689655172413, | |
| "f1": 0.9869202349374764 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 0.9791061481321259, | |
| "recall": 0.979253112033195, | |
| "f1": 0.9787572772622299 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", | |
| "precision": 0.979115663900415, | |
| "recall": 0.979253112033195, | |
| "f1": 0.9789327444638128 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 0.9872281167108753, | |
| "recall": 0.9870689655172413, | |
| "f1": 0.9870689655172413 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 0.9584723604896672, | |
| "recall": 0.9540636042402827, | |
| "f1": 0.9533137960784114 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.9684243906858747, | |
| "recall": 0.9681978798586572, | |
| "f1": 0.9679531586942312 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 0.988683270336043, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9886345091511427 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 0.9780988596059207, | |
| "recall": 0.9775280898876404, | |
| "f1": 0.9771194597541342 | |
| }, | |
| { | |
| "narrative_id": 24, | |
| "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", | |
| "precision": 0.9657731661622713, | |
| "recall": 0.9649805447470817, | |
| "f1": 0.9651122418437593 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 0.9692650881745427, | |
| "recall": 0.9688715953307393, | |
| "f1": 0.9686189843535976 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 0.9645719489981786, | |
| "recall": 0.9631147540983607, | |
| "f1": 0.9626463700234191 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.9803462471099081, | |
| "recall": 0.980544747081712, | |
| "f1": 0.9803536389433943 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 0.9842990442370897, | |
| "recall": 0.9844357976653697, | |
| "f1": 0.984326088639324 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 0.987936615477266, | |
| "recall": 0.9878048780487805, | |
| "f1": 0.9877954863491647 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.9796476311684104, | |
| "recall": 0.9796747967479674, | |
| "f1": 0.9794518786949044 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 0.9843661547726589, | |
| "recall": 0.983739837398374, | |
| "f1": 0.9839584793762692 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.9925267027326952, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9924769894053888 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 0.9892990904226858, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9888852589507144 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 0.981394784297406, | |
| "recall": 0.9812734082397003, | |
| "f1": 0.9811547936484203 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 0.9890588153696768, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9887245767026213 | |
| }, | |
| { | |
| "narrative_id": 36, | |
| "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", | |
| "precision": 0.985509184947387, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.984996532112637 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 0.9853998203054808, | |
| "recall": 0.9849056603773585, | |
| "f1": 0.9848832983927325 | |
| }, | |
| { | |
| "narrative_id": 38, | |
| "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", | |
| "precision": 0.9887640449438202, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9887640449438202 | |
| }, | |
| { | |
| "narrative_id": 39, | |
| "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", | |
| "precision": 0.977300082647685, | |
| "recall": 0.9727626459143969, | |
| "f1": 0.9718995905865259 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.9915626359591877, | |
| "recall": 0.9913793103448276, | |
| "f1": 0.9912463133882147 | |
| } | |
| ], | |
| "eval_class_report_real": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.08333333333333333, | |
| "recall": 0.16666666666666666, | |
| "f1": 0.1111111111111111 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 0.3333333333333333, | |
| "recall": 0.3333333333333333, | |
| "f1": 0.3333333333333333 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9166666666666666, | |
| "recall": 0.75, | |
| "f1": 0.8240740740740741 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 1.0, | |
| "recall": 0.5714285714285714, | |
| "f1": 0.7272727272727273 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 1.0, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.7777777777777777 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 1.0, | |
| "recall": 0.3333333333333333, | |
| "f1": 0.5 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 1.0, | |
| "recall": 0.75, | |
| "f1": 0.8571428571428571 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 1.0, | |
| "recall": 0.7777777777777778, | |
| "f1": 0.875 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.8666666666666666, | |
| "recall": 0.6, | |
| "f1": 0.6333333333333333 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 1.0, | |
| "recall": 0.5, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 1.0, | |
| "recall": 0.8571428571428571, | |
| "f1": 0.9183673469387755 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 0.25, | |
| "recall": 0.5, | |
| "f1": 0.3333333333333333 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.25, | |
| "recall": 0.5, | |
| "f1": 0.3333333333333333 | |
| } | |
| ], | |
| "eval_runtime": 148.3343, | |
| "eval_samples_per_second": 71.676, | |
| "eval_steps_per_second": 0.897, | |
| "epoch": 2.9989909182643792, | |
| "step": 1486, | |
| "datasplit_random_state": 2024, | |
| "learning_rate": 2e-05, | |
| "batch_size": 16, | |
| "weight_decay": 0.1, | |
| "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" | |
| }, | |
| { | |
| "eval_loss": 0.09917911887168884, | |
| "eval_f1_weighted": 0.9807043613149505, | |
| "eval_f1_macro": 0.9517012694935253, | |
| "eval_f1_micro": 0.980542900531511, | |
| "eval_accuracy": 0.980542900531511, | |
| "eval_precision_weighted": 0.9809601925939406, | |
| "eval_recall_weighted": 0.980542900531511, | |
| "eval_f1_weighted_real": 0.7764821724709785, | |
| "eval_f1_macro_real": 0.47246225015274507, | |
| "eval_f1_micro_real": 0.75, | |
| "eval_accuracy_real": 0.75, | |
| "eval_class_report": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.9966563786008229, | |
| "recall": 0.9965277777777778, | |
| "f1": 0.9965568485803433 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 0.993044408774746, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9926305773027744 | |
| }, | |
| { | |
| "narrative_id": 2, | |
| "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", | |
| "precision": 0.9657275627687611, | |
| "recall": 0.9662921348314607, | |
| "f1": 0.9659747003157477 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", | |
| "precision": 0.9744022407302895, | |
| "recall": 0.9737827715355806, | |
| "f1": 0.9729962329946412 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9816895547232625, | |
| "recall": 0.9812734082397003, | |
| "f1": 0.9814457090267986 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.9743840698689102, | |
| "recall": 0.9727626459143969, | |
| "f1": 0.9732357408026897 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", | |
| "precision": 0.9675916736506256, | |
| "recall": 0.9618055555555556, | |
| "f1": 0.9634241540611141 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 0.9814262576219512, | |
| "recall": 0.98046875, | |
| "f1": 0.9804866627307858 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 0.988551331936546, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9880264517694518 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", | |
| "precision": 0.9844357976653697, | |
| "recall": 0.9844357976653697, | |
| "f1": 0.9844357976653697 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", | |
| "precision": 0.945798844659242, | |
| "recall": 0.9336099585062241, | |
| "f1": 0.9363524767127276 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 0.9881446354475399, | |
| "recall": 0.9875518672199171, | |
| "f1": 0.9876834767141115 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", | |
| "precision": 0.9850574712643678, | |
| "recall": 0.9827586206896551, | |
| "f1": 0.9826247590490469 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", | |
| "precision": 0.9764887680641008, | |
| "recall": 0.975103734439834, | |
| "f1": 0.9754440866372793 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.9789735969251798, | |
| "recall": 0.9783549783549783, | |
| "f1": 0.9785619178380057 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", | |
| "precision": 0.9958554376657826, | |
| "recall": 0.9956896551724138, | |
| "f1": 0.9956896551724138 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 0.9840821558142493, | |
| "recall": 0.983402489626556, | |
| "f1": 0.982886446175374 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", | |
| "precision": 0.97967001167319, | |
| "recall": 0.979253112033195, | |
| "f1": 0.9794213216248383 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 0.9872281167108753, | |
| "recall": 0.9870689655172413, | |
| "f1": 0.9870689655172413 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 0.9588486454652531, | |
| "recall": 0.9540636042402827, | |
| "f1": 0.9554884183966931 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.9667180776359077, | |
| "recall": 0.9646643109540636, | |
| "f1": 0.9654277130061791 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 0.9963933971424607, | |
| "recall": 0.9962546816479401, | |
| "f1": 0.996285649667036 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 0.9870162297128591, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9854834374536859 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 0.9850877647180656, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9848862532944929 | |
| }, | |
| { | |
| "narrative_id": 24, | |
| "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", | |
| "precision": 0.9810624638960643, | |
| "recall": 0.980544747081712, | |
| "f1": 0.9806508985971831 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 0.9787402018834941, | |
| "recall": 0.9766536964980544, | |
| "f1": 0.9768871672992545 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 0.9601234355976439, | |
| "recall": 0.9549180327868853, | |
| "f1": 0.956614606701748 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.9927737632017788, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9923191074769685 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 0.9847992130177885, | |
| "recall": 0.9844357976653697, | |
| "f1": 0.9842074689534265 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 0.9960855164107196, | |
| "recall": 0.9959349593495935, | |
| "f1": 0.9959318287830549 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.9788880146865985, | |
| "recall": 0.975609756097561, | |
| "f1": 0.9753195145170546 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 0.9816660775303405, | |
| "recall": 0.9796747967479674, | |
| "f1": 0.9800787566091334 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.9850534054653904, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9849950425350325 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 0.9855735885698432, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9852132242561373 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 0.9782985553772071, | |
| "recall": 0.9775280898876404, | |
| "f1": 0.9777562771614324 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 0.9899263851220458, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9889163021747291 | |
| }, | |
| { | |
| "narrative_id": 36, | |
| "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", | |
| "precision": 0.993044408774746, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9924982660563185 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 0.9888078266946191, | |
| "recall": 0.9886792452830189, | |
| "f1": 0.9886750570644776 | |
| }, | |
| { | |
| "narrative_id": 38, | |
| "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", | |
| "precision": 0.9858312030596673, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9852239710941696 | |
| }, | |
| { | |
| "narrative_id": 39, | |
| "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", | |
| "precision": 0.9884705178090392, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9883268482490273 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.9870490102171137, | |
| "recall": 0.9870689655172413, | |
| "f1": 0.9869776798162336 | |
| } | |
| ], | |
| "eval_class_report_real": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.7999999999999999, | |
| "recall": 0.5, | |
| "f1": 0.45714285714285713 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 0.8333333333333334, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9166666666666666, | |
| "recall": 0.8333333333333334, | |
| "f1": 0.851851851851852 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 1.0, | |
| "recall": 0.8571428571428571, | |
| "f1": 0.9230769230769231 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 0.8333333333333333, | |
| "recall": 0.75, | |
| "f1": 0.7333333333333334 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 1.0, | |
| "recall": 0.5, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 1.0, | |
| "recall": 0.3333333333333333, | |
| "f1": 0.5 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 1.0, | |
| "recall": 0.5, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 1.0, | |
| "recall": 0.75, | |
| "f1": 0.8571428571428571 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 1.0, | |
| "recall": 0.7777777777777778, | |
| "f1": 0.875 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.8666666666666666, | |
| "recall": 0.6, | |
| "f1": 0.6333333333333333 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 0.8928571428571429, | |
| "recall": 0.8571428571428571, | |
| "f1": 0.8571428571428571 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| } | |
| ], | |
| "eval_runtime": 138.7923, | |
| "eval_samples_per_second": 76.604, | |
| "eval_steps_per_second": 0.958, | |
| "epoch": 4.0, | |
| "step": 1982, | |
| "datasplit_random_state": 2024, | |
| "learning_rate": 2e-05, | |
| "batch_size": 16, | |
| "weight_decay": 0.1, | |
| "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" | |
| }, | |
| { | |
| "eval_loss": 0.0867423266172409, | |
| "eval_f1_weighted": 0.9853375698462054, | |
| "eval_f1_macro": 0.960851119146693, | |
| "eval_f1_micro": 0.9853834472285498, | |
| "eval_accuracy": 0.9853834472285498, | |
| "eval_precision_weighted": 0.9853110253562772, | |
| "eval_recall_weighted": 0.9853834472285498, | |
| "eval_f1_weighted_real": 0.7886457214464732, | |
| "eval_f1_macro_real": 0.501969208736126, | |
| "eval_f1_micro_real": 0.7395833333333334, | |
| "eval_accuracy_real": 0.7395833333333334, | |
| "eval_class_report": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.9966563786008229, | |
| "recall": 0.9965277777777778, | |
| "f1": 0.9965568485803433 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 0.9963933971424609, | |
| "recall": 0.9962546816479401, | |
| "f1": 0.996285649667036 | |
| }, | |
| { | |
| "narrative_id": 2, | |
| "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", | |
| "precision": 0.9773373560826745, | |
| "recall": 0.9775280898876404, | |
| "f1": 0.9772596625622779 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", | |
| "precision": 0.9925784014221855, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9923768899986127 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9963933971424607, | |
| "recall": 0.9962546816479401, | |
| "f1": 0.9962532960325675 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.9922366961784995, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9921829049498847 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", | |
| "precision": 0.9895833333333334, | |
| "recall": 0.9895833333333334, | |
| "f1": 0.9895833333333334 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 0.9846504407051282, | |
| "recall": 0.984375, | |
| "f1": 0.9842187499999999 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 0.988551331936546, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9880264517694518 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", | |
| "precision": 0.9884705178090392, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9883268482490273 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", | |
| "precision": 0.9668424444992201, | |
| "recall": 0.9626556016597511, | |
| "f1": 0.9637792668117007 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 0.9960043030582449, | |
| "recall": 0.995850622406639, | |
| "f1": 0.9958490873057906 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", | |
| "precision": 0.9850574712643678, | |
| "recall": 0.9827586206896551, | |
| "f1": 0.9826247590490469 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", | |
| "precision": 0.9721734153670053, | |
| "recall": 0.970954356846473, | |
| "f1": 0.9712133486989505 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.9826839826839827, | |
| "recall": 0.9826839826839827, | |
| "f1": 0.9826839826839827 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", | |
| "precision": 0.991402993558166, | |
| "recall": 0.9913793103448276, | |
| "f1": 0.9913429891762917 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 0.9840821558142493, | |
| "recall": 0.983402489626556, | |
| "f1": 0.982886446175374 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", | |
| "precision": 0.9791666666666666, | |
| "recall": 0.979253112033195, | |
| "f1": 0.9789621623145289 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 0.9884066587395958, | |
| "recall": 0.9870689655172413, | |
| "f1": 0.9870089375041687 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 0.9639071176173649, | |
| "recall": 0.9611307420494699, | |
| "f1": 0.9608871038785624 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.9675391477958907, | |
| "recall": 0.9681978798586572, | |
| "f1": 0.9670598894627163 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 0.9889374393119712, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9886626001523835 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 0.9886832703360432, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9886345091511427 | |
| }, | |
| { | |
| "narrative_id": 24, | |
| "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", | |
| "precision": 0.9885457891294467, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9880098062229085 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 0.9841997030019362, | |
| "recall": 0.9844357976653697, | |
| "f1": 0.9842258009319854 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 0.9672131147540983, | |
| "recall": 0.9672131147540983, | |
| "f1": 0.9672131147540983 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.9886150742181871, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9883988247674079 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 0.981453733018612, | |
| "recall": 0.980544747081712, | |
| "f1": 0.9802033532153286 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 0.987936615477266, | |
| "recall": 0.9878048780487805, | |
| "f1": 0.9877954863491647 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.9794773128106462, | |
| "recall": 0.9796747967479674, | |
| "f1": 0.9791329730173081 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 0.9883855981416957, | |
| "recall": 0.9878048780487805, | |
| "f1": 0.987934588747597 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.9850187265917603, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9850187265917603 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 0.9890414759328617, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9888656793469174 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 0.9781270004971356, | |
| "recall": 0.9775280898876404, | |
| "f1": 0.977375318275014 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 0.9925267027326952, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9924769894053888 | |
| }, | |
| { | |
| "narrative_id": 36, | |
| "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", | |
| "precision": 0.9888916631987792, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9887598880977024 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 0.9853998203054806, | |
| "recall": 0.9849056603773585, | |
| "f1": 0.9848832983927325 | |
| }, | |
| { | |
| "narrative_id": 38, | |
| "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", | |
| "precision": 0.9887640449438202, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9887640449438202 | |
| }, | |
| { | |
| "narrative_id": 39, | |
| "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.9915626359591877, | |
| "recall": 0.9913793103448276, | |
| "f1": 0.9912463133882147 | |
| } | |
| ], | |
| "eval_class_report_real": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.8888888888888888, | |
| "recall": 0.5, | |
| "f1": 0.5333333333333333 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9444444444444445, | |
| "recall": 0.8333333333333334, | |
| "f1": 0.8740740740740741 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 1.0, | |
| "recall": 0.8571428571428571, | |
| "f1": 0.9230769230769231 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 0.5, | |
| "recall": 0.5, | |
| "f1": 0.5 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 1.0, | |
| "recall": 0.3333333333333333, | |
| "f1": 0.5 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 1.0, | |
| "recall": 0.75, | |
| "f1": 0.8571428571428571 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.25, | |
| "recall": 0.5, | |
| "f1": 0.3333333333333333 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 1.0, | |
| "recall": 0.7777777777777778, | |
| "f1": 0.875 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.8666666666666666, | |
| "recall": 0.6, | |
| "f1": 0.6333333333333333 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.25, | |
| "recall": 0.5, | |
| "f1": 0.3333333333333333 | |
| } | |
| ], | |
| "eval_runtime": 147.7984, | |
| "eval_samples_per_second": 71.936, | |
| "eval_steps_per_second": 0.9, | |
| "epoch": 4.998990918264379, | |
| "step": 2477, | |
| "datasplit_random_state": 2024, | |
| "learning_rate": 2e-05, | |
| "batch_size": 16, | |
| "weight_decay": 0.1, | |
| "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" | |
| }, | |
| { | |
| "eval_loss": 0.11188022047281265, | |
| "eval_f1_weighted": 0.9845120131763575, | |
| "eval_f1_macro": 0.9590792493937701, | |
| "eval_f1_micro": 0.9845292331055429, | |
| "eval_accuracy": 0.9845292331055429, | |
| "eval_precision_weighted": 0.9846583253763934, | |
| "eval_recall_weighted": 0.9845292331055429, | |
| "eval_f1_weighted_real": 0.8102418414918415, | |
| "eval_f1_macro_real": 0.4965034965034965, | |
| "eval_f1_micro_real": 0.78125, | |
| "eval_accuracy_real": 0.78125, | |
| "eval_class_report": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.9966563786008229, | |
| "recall": 0.9965277777777778, | |
| "f1": 0.9965568485803433 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 0.9927867942849217, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9925625281922549 | |
| }, | |
| { | |
| "narrative_id": 2, | |
| "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", | |
| "precision": 0.9746862703404096, | |
| "recall": 0.9737827715355806, | |
| "f1": 0.973370201928037 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", | |
| "precision": 0.9774651744607779, | |
| "recall": 0.9775280898876404, | |
| "f1": 0.9769126382310641 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9890414759328617, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9888656793469174 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.9886150742181871, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9883972677243572 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", | |
| "precision": 0.9864534785545422, | |
| "recall": 0.9861111111111112, | |
| "f1": 0.986126529718595 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 0.9846504407051282, | |
| "recall": 0.984375, | |
| "f1": 0.9842187499999999 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 0.9841863713459044, | |
| "recall": 0.9844357976653697, | |
| "f1": 0.9841433109644917 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", | |
| "precision": 0.9884529471105347, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9883178585287724 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", | |
| "precision": 0.9697658374593248, | |
| "recall": 0.966804979253112, | |
| "f1": 0.9676168909170031 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", | |
| "precision": 0.9884066587395958, | |
| "recall": 0.9870689655172413, | |
| "f1": 0.9870089375041687 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", | |
| "precision": 0.9764887680641008, | |
| "recall": 0.975103734439834, | |
| "f1": 0.9754440866372793 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.9791567691567692, | |
| "recall": 0.9783549783549783, | |
| "f1": 0.9785559874919497 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", | |
| "precision": 0.9915687760515347, | |
| "recall": 0.9913793103448276, | |
| "f1": 0.9912550919484351 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 0.9840821558142493, | |
| "recall": 0.983402489626556, | |
| "f1": 0.982886446175374 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", | |
| "precision": 0.9797878256405869, | |
| "recall": 0.979253112033195, | |
| "f1": 0.9786562924791815 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 0.9833074534161491, | |
| "recall": 0.9827586206896551, | |
| "f1": 0.9827187100893997 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 0.9603276582075168, | |
| "recall": 0.9575971731448764, | |
| "f1": 0.9576427334036163 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.9718527730174858, | |
| "recall": 0.9717314487632509, | |
| "f1": 0.9716357987084194 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 0.9925784014221855, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9923768899986127 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 0.9925267027326952, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9924769894053888 | |
| }, | |
| { | |
| "narrative_id": 24, | |
| "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", | |
| "precision": 0.9856433650878841, | |
| "recall": 0.9844357976653697, | |
| "f1": 0.9843816089531795 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 0.9927737632017788, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922063697939185 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 0.967905979553952, | |
| "recall": 0.9631147540983607, | |
| "f1": 0.9636825332770963 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.9806575311566007, | |
| "recall": 0.980544747081712, | |
| "f1": 0.9804268822484984 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 0.9847992130177885, | |
| "recall": 0.9844357976653697, | |
| "f1": 0.9842074689534265 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 0.9859078590785908, | |
| "recall": 0.983739837398374, | |
| "f1": 0.9836135938999142 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.9759413855922462, | |
| "recall": 0.975609756097561, | |
| "f1": 0.9752488788670753 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 0.9883855981416957, | |
| "recall": 0.9878048780487805, | |
| "f1": 0.987934588747597 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.9850187265917603, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9850187265917603 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 0.992648078790401, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9925403313149761 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 0.9823346753589497, | |
| "recall": 0.9812734082397003, | |
| "f1": 0.9812108704564564 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 0.9925267027326952, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9924769894053888 | |
| }, | |
| { | |
| "narrative_id": 36, | |
| "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", | |
| "precision": 0.9926654182272159, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.99239922867068 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 0.9812494758909853, | |
| "recall": 0.9811320754716981, | |
| "f1": 0.9811250951074627 | |
| }, | |
| { | |
| "narrative_id": 38, | |
| "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", | |
| "precision": 0.9851463448467193, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9850145697456425 | |
| }, | |
| { | |
| "narrative_id": 39, | |
| "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.9915626359591877, | |
| "recall": 0.9913793103448276, | |
| "f1": 0.9912463133882147 | |
| } | |
| ], | |
| "eval_class_report_real": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.5, | |
| "recall": 0.3333333333333333, | |
| "f1": 0.38888888888888884 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 0.8333333333333334, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9444444444444445, | |
| "recall": 0.9166666666666666, | |
| "f1": 0.9228070175438595 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 1.0, | |
| "recall": 0.75, | |
| "f1": 0.8333333333333333 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 0.25, | |
| "recall": 0.5, | |
| "f1": 0.3333333333333333 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 1.0, | |
| "recall": 0.5, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 1.0, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.8000000000000002 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 1.0, | |
| "recall": 0.75, | |
| "f1": 0.8571428571428571 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 1.0, | |
| "recall": 0.8888888888888888, | |
| "f1": 0.9411764705882353 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.8666666666666666, | |
| "recall": 0.6, | |
| "f1": 0.6333333333333333 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.25, | |
| "recall": 0.5, | |
| "f1": 0.3333333333333333 | |
| } | |
| ], | |
| "eval_runtime": 138.398, | |
| "eval_samples_per_second": 76.822, | |
| "eval_steps_per_second": 0.961, | |
| "epoch": 6.0, | |
| "step": 2973, | |
| "datasplit_random_state": 2024, | |
| "learning_rate": 2e-05, | |
| "batch_size": 16, | |
| "weight_decay": 0.1, | |
| "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" | |
| }, | |
| { | |
| "eval_loss": 0.10926356166601181, | |
| "eval_f1_weighted": 0.9847429322839655, | |
| "eval_f1_macro": 0.9599985726873115, | |
| "eval_f1_micro": 0.9847190584662111, | |
| "eval_accuracy": 0.9847190584662111, | |
| "eval_precision_weighted": 0.9848389770938004, | |
| "eval_recall_weighted": 0.9847190584662111, | |
| "eval_f1_weighted_real": 0.8023714539007093, | |
| "eval_f1_macro_real": 0.49371833839918944, | |
| "eval_f1_micro_real": 0.7708333333333334, | |
| "eval_accuracy_real": 0.7708333333333334, | |
| "eval_class_report": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.9966563786008229, | |
| "recall": 0.9965277777777778, | |
| "f1": 0.9965568485803433 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 0.9927867942849217, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9925625281922549 | |
| }, | |
| { | |
| "narrative_id": 2, | |
| "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", | |
| "precision": 0.9732909165753454, | |
| "recall": 0.9737827715355806, | |
| "f1": 0.9731742087140999 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", | |
| "precision": 0.981699012597889, | |
| "recall": 0.9812734082397003, | |
| "f1": 0.9807200937975605 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9925093632958801, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9925093632958801 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", | |
| "precision": 0.9798810371727039, | |
| "recall": 0.9791666666666666, | |
| "f1": 0.979394317485334 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 0.9889010823114084, | |
| "recall": 0.98828125, | |
| "f1": 0.9880834918713247 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 0.9881900035714957, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9882171162997943 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", | |
| "precision": 0.9659180943311274, | |
| "recall": 0.9626556016597511, | |
| "f1": 0.9634417100619751 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 0.992294013040901, | |
| "recall": 0.991701244813278, | |
| "f1": 0.9918328543074725 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", | |
| "precision": 0.9786007957559683, | |
| "recall": 0.978448275862069, | |
| "f1": 0.978448275862069 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", | |
| "precision": 0.9800215152912248, | |
| "recall": 0.979253112033195, | |
| "f1": 0.9795442014488674 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.9755651755651754, | |
| "recall": 0.974025974025974, | |
| "f1": 0.9742982844107173 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", | |
| "precision": 0.9958554376657826, | |
| "recall": 0.9956896551724138, | |
| "f1": 0.9956896551724138 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 0.9754953412757946, | |
| "recall": 0.975103734439834, | |
| "f1": 0.9747924092664957 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", | |
| "precision": 0.975103734439834, | |
| "recall": 0.975103734439834, | |
| "f1": 0.975103734439834 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 0.9958492975734355, | |
| "recall": 0.9956896551724138, | |
| "f1": 0.9956863356923772 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 0.9611628654031481, | |
| "recall": 0.9575971731448764, | |
| "f1": 0.9571337423269637 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.975788509357414, | |
| "recall": 0.9752650176678446, | |
| "f1": 0.9754637237253725 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 0.992648078790401, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9925079776805076 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 0.9890414759328617, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9888333257124489 | |
| }, | |
| { | |
| "narrative_id": 24, | |
| "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", | |
| "precision": 0.9885457891294467, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9880098062229085 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 0.9884594321948408, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9883225296579244 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 0.9686757334562729, | |
| "recall": 0.9672131147540983, | |
| "f1": 0.9664568111822888 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.9888827126181212, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9883153192102608 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 0.9847992130177885, | |
| "recall": 0.9844357976653697, | |
| "f1": 0.9842074689534265 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 0.9890664423885619, | |
| "recall": 0.9878048780487805, | |
| "f1": 0.9877482662640941 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.9759413855922462, | |
| "recall": 0.975609756097561, | |
| "f1": 0.9752488788670753 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 0.9883855981416957, | |
| "recall": 0.9878048780487805, | |
| "f1": 0.987934588747597 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.9850187265917603, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9850187265917603 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 0.9855735885698432, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9852132242561373 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 0.9745357355375207, | |
| "recall": 0.9737827715355806, | |
| "f1": 0.9740022284635635 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 0.9963933971424607, | |
| "recall": 0.9962546816479401, | |
| "f1": 0.9962532960325675 | |
| }, | |
| { | |
| "narrative_id": 36, | |
| "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", | |
| "precision": 0.9925093632958801, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9925093632958801 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 0.9853998203054806, | |
| "recall": 0.9849056603773585, | |
| "f1": 0.9848832983927325 | |
| }, | |
| { | |
| "narrative_id": 38, | |
| "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", | |
| "precision": 0.9852786560931753, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9851116306490484 | |
| }, | |
| { | |
| "narrative_id": 39, | |
| "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.9915626359591877, | |
| "recall": 0.9913793103448276, | |
| "f1": 0.9912463133882147 | |
| } | |
| ], | |
| "eval_class_report_real": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.8333333333333334, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.7222222222222222 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9166666666666666, | |
| "recall": 0.8333333333333334, | |
| "f1": 0.851851851851852 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 1.0, | |
| "recall": 0.8571428571428571, | |
| "f1": 0.9230769230769231 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 1.0, | |
| "recall": 0.75, | |
| "f1": 0.8333333333333333 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 1.0, | |
| "recall": 0.5, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 1.0, | |
| "recall": 0.3333333333333333, | |
| "f1": 0.5 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 1.0, | |
| "recall": 0.75, | |
| "f1": 0.8571428571428571 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 1.0, | |
| "recall": 0.8888888888888888, | |
| "f1": 0.9411764705882353 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.8666666666666666, | |
| "recall": 0.6, | |
| "f1": 0.6333333333333333 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 1.0, | |
| "recall": 0.5, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.25, | |
| "recall": 0.5, | |
| "f1": 0.3333333333333333 | |
| } | |
| ], | |
| "eval_runtime": 147.9381, | |
| "eval_samples_per_second": 71.868, | |
| "eval_steps_per_second": 0.899, | |
| "epoch": 6.998990918264379, | |
| "step": 3468, | |
| "datasplit_random_state": 2024, | |
| "learning_rate": 2e-05, | |
| "batch_size": 16, | |
| "weight_decay": 0.1, | |
| "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" | |
| }, | |
| { | |
| "eval_loss": 0.11466827243566513, | |
| "eval_f1_weighted": 0.9857086760323819, | |
| "eval_f1_macro": 0.9626363117504515, | |
| "eval_f1_micro": 0.9857630979498861, | |
| "eval_accuracy": 0.9857630979498861, | |
| "eval_precision_weighted": 0.9857466665876528, | |
| "eval_recall_weighted": 0.9857630979498861, | |
| "eval_f1_weighted_real": 0.8045271100193018, | |
| "eval_f1_macro_real": 0.5058197344563374, | |
| "eval_f1_micro_real": 0.75, | |
| "eval_accuracy_real": 0.75, | |
| "eval_class_report": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 0.9927867942849217, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9925625281922549 | |
| }, | |
| { | |
| "narrative_id": 2, | |
| "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", | |
| "precision": 0.9746862703404096, | |
| "recall": 0.9737827715355806, | |
| "f1": 0.973370201928037 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", | |
| "precision": 0.981699012597889, | |
| "recall": 0.9812734082397003, | |
| "f1": 0.9807200937975605 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9925093632958801, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9925093632958801 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.9961277467621572, | |
| "recall": 0.9961089494163424, | |
| "f1": 0.996075512576593 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", | |
| "precision": 0.9895833333333334, | |
| "recall": 0.9895833333333334, | |
| "f1": 0.9895833333333334 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 0.9889010823114084, | |
| "recall": 0.98828125, | |
| "f1": 0.9880834918713247 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 0.9881900035714957, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9882171162997943 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", | |
| "precision": 0.9752451206393116, | |
| "recall": 0.975103734439834, | |
| "f1": 0.9750991291372887 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 0.9960043030582449, | |
| "recall": 0.995850622406639, | |
| "f1": 0.9958842643249677 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", | |
| "precision": 0.9827586206896551, | |
| "recall": 0.9827586206896551, | |
| "f1": 0.9827586206896551 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", | |
| "precision": 0.9800215152912248, | |
| "recall": 0.979253112033195, | |
| "f1": 0.9795442014488674 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.9876789876789877, | |
| "recall": 0.987012987012987, | |
| "f1": 0.987012987012987 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", | |
| "precision": 0.9871631807047296, | |
| "recall": 0.9870689655172413, | |
| "f1": 0.9869202349374764 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 0.9791061481321259, | |
| "recall": 0.979253112033195, | |
| "f1": 0.9787572772622299 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", | |
| "precision": 0.9837464794788554, | |
| "recall": 0.983402489626556, | |
| "f1": 0.9830676421249562 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 0.9919950738916256, | |
| "recall": 0.9913793103448276, | |
| "f1": 0.9913593550447 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 0.953785201841739, | |
| "recall": 0.950530035335689, | |
| "f1": 0.9500249412145535 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.9749623136535283, | |
| "recall": 0.9752650176678446, | |
| "f1": 0.9750335677100131 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 0.9925784014221855, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9923768899986127 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 0.9925267027326952, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9924769894053888 | |
| }, | |
| { | |
| "narrative_id": 24, | |
| "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", | |
| "precision": 0.9817523145042265, | |
| "recall": 0.980544747081712, | |
| "f1": 0.9804905583695219 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 0.974716730954677, | |
| "recall": 0.9713114754098361, | |
| "f1": 0.9707391315839742 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.9806575311566007, | |
| "recall": 0.980544747081712, | |
| "f1": 0.9804268822484984 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 0.9884020376322863, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9881900948207473 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 0.9890664423885619, | |
| "recall": 0.9878048780487805, | |
| "f1": 0.9877482662640941 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.9759413855922462, | |
| "recall": 0.975609756097561, | |
| "f1": 0.9752488788670753 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 0.9843661547726589, | |
| "recall": 0.983739837398374, | |
| "f1": 0.9839584793762692 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.9848612399638067, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9847213059480567 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 0.9890414759328617, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9888656793469174 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 0.9782860709827003, | |
| "recall": 0.9775280898876404, | |
| "f1": 0.9776446109030378 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 0.9890414759328617, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9888333257124489 | |
| }, | |
| { | |
| "narrative_id": 36, | |
| "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", | |
| "precision": 0.9962720210847551, | |
| "recall": 0.9962546816479401, | |
| "f1": 0.9962223077574487 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 0.9888078266946191, | |
| "recall": 0.9886792452830189, | |
| "f1": 0.9886750570644776 | |
| }, | |
| { | |
| "narrative_id": 38, | |
| "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", | |
| "precision": 0.9852786560931753, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9851116306490484 | |
| }, | |
| { | |
| "narrative_id": 39, | |
| "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.9871631807047296, | |
| "recall": 0.9870689655172413, | |
| "f1": 0.9869130510294304 | |
| } | |
| ], | |
| "eval_class_report_real": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.7777777777777777, | |
| "recall": 0.5, | |
| "f1": 0.6031746031746031 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9444444444444445, | |
| "recall": 0.9166666666666666, | |
| "f1": 0.9228070175438595 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 1.0, | |
| "recall": 0.8571428571428571, | |
| "f1": 0.9230769230769231 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 0.5, | |
| "recall": 0.25, | |
| "f1": 0.3333333333333333 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 1.0, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.7777777777777777 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 1.0, | |
| "recall": 0.5, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 1.0, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.8000000000000002 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 1.0, | |
| "recall": 0.75, | |
| "f1": 0.8571428571428571 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 1.0, | |
| "recall": 0.7777777777777778, | |
| "f1": 0.875 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.8666666666666666, | |
| "recall": 0.6, | |
| "f1": 0.6333333333333333 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.25, | |
| "recall": 0.5, | |
| "f1": 0.3333333333333333 | |
| } | |
| ], | |
| "eval_runtime": 138.962, | |
| "eval_samples_per_second": 76.51, | |
| "eval_steps_per_second": 0.957, | |
| "epoch": 8.0, | |
| "step": 3964, | |
| "datasplit_random_state": 2024, | |
| "learning_rate": 2e-05, | |
| "batch_size": 16, | |
| "weight_decay": 0.1, | |
| "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" | |
| }, | |
| { | |
| "eval_loss": 0.11454310268163681, | |
| "eval_f1_weighted": 0.9858399380218279, | |
| "eval_f1_macro": 0.9629434399226713, | |
| "eval_f1_micro": 0.9858580106302202, | |
| "eval_accuracy": 0.9858580106302202, | |
| "eval_precision_weighted": 0.9858412971582003, | |
| "eval_recall_weighted": 0.9858580106302202, | |
| "eval_f1_weighted_real": 0.7750736597830622, | |
| "eval_f1_macro_real": 0.48237380058406343, | |
| "eval_f1_micro_real": 0.7291666666666666, | |
| "eval_accuracy_real": 0.7291666666666666, | |
| "eval_class_report": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.9966563786008229, | |
| "recall": 0.9965277777777778, | |
| "f1": 0.9965568485803433 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 0.9927867942849217, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9925625281922549 | |
| }, | |
| { | |
| "narrative_id": 2, | |
| "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", | |
| "precision": 0.9742286427679685, | |
| "recall": 0.9737827715355806, | |
| "f1": 0.9737494798168956 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", | |
| "precision": 0.9851733498264782, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9847136924157525 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.993044408774746, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9924982660563185 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.992367554624364, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", | |
| "precision": 0.9863535373434902, | |
| "recall": 0.9861111111111112, | |
| "f1": 0.9861983235188079 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 0.9889010823114084, | |
| "recall": 0.98828125, | |
| "f1": 0.9880834918713247 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 0.9881900035714957, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9882171162997943 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", | |
| "precision": 0.9652424208440805, | |
| "recall": 0.9626556016597511, | |
| "f1": 0.9633672405212558 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", | |
| "precision": 0.9785680076628352, | |
| "recall": 0.978448275862069, | |
| "f1": 0.9784316784618858 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", | |
| "precision": 0.9800215152912248, | |
| "recall": 0.979253112033195, | |
| "f1": 0.9795442014488674 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.982857142857143, | |
| "recall": 0.9826839826839827, | |
| "f1": 0.982689179567931 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", | |
| "precision": 0.991402993558166, | |
| "recall": 0.9913793103448276, | |
| "f1": 0.9913429891762917 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 0.9791061481321259, | |
| "recall": 0.979253112033195, | |
| "f1": 0.9787572772622299 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", | |
| "precision": 0.9789866783140424, | |
| "recall": 0.979253112033195, | |
| "f1": 0.9790770817353753 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 0.9958492975734355, | |
| "recall": 0.9956896551724138, | |
| "f1": 0.9956863356923772 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 0.9595867485984891, | |
| "recall": 0.9575971731448764, | |
| "f1": 0.9575313482037187 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.9717923723650542, | |
| "recall": 0.9717314487632509, | |
| "f1": 0.9717235175748402 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 0.9925784014221855, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9923768899986127 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 0.9925267027326952, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9924769894053888 | |
| }, | |
| { | |
| "narrative_id": 24, | |
| "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", | |
| "precision": 0.9850292567260931, | |
| "recall": 0.9844357976653697, | |
| "f1": 0.9842214953986189 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 0.976775956284153, | |
| "recall": 0.9754098360655737, | |
| "f1": 0.9753888188314419 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.9806575311566007, | |
| "recall": 0.980544747081712, | |
| "f1": 0.9804268822484984 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 0.992380900412331, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9921036984718924 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 0.9924506387921022, | |
| "recall": 0.991869918699187, | |
| "f1": 0.9918510990665462 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.9759413855922462, | |
| "recall": 0.975609756097561, | |
| "f1": 0.9752488788670753 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 0.9883855981416957, | |
| "recall": 0.9878048780487805, | |
| "f1": 0.987934588747597 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.9848612399638067, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9847213059480567 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 0.9890414759328617, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9888656793469174 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 0.9782860709827003, | |
| "recall": 0.9775280898876404, | |
| "f1": 0.9776446109030378 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 0.9925267027326952, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9924769894053888 | |
| }, | |
| { | |
| "narrative_id": 36, | |
| "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", | |
| "precision": 0.993044408774746, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9924982660563185 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 0.9888078266946191, | |
| "recall": 0.9886792452830189, | |
| "f1": 0.9886750570644776 | |
| }, | |
| { | |
| "narrative_id": 38, | |
| "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", | |
| "precision": 0.9852786560931753, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9851116306490484 | |
| }, | |
| { | |
| "narrative_id": 39, | |
| "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.9871631807047296, | |
| "recall": 0.9870689655172413, | |
| "f1": 0.9869130510294304 | |
| } | |
| ], | |
| "eval_class_report_real": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.5, | |
| "recall": 0.3333333333333333, | |
| "f1": 0.38888888888888884 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9166666666666666, | |
| "recall": 0.8333333333333334, | |
| "f1": 0.851851851851852 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 1.0, | |
| "recall": 0.8571428571428571, | |
| "f1": 0.9230769230769231 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 1.0, | |
| "recall": 0.75, | |
| "f1": 0.8333333333333333 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 1.0, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.8000000000000002 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 1.0, | |
| "recall": 0.75, | |
| "f1": 0.8571428571428571 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 1.0, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.8 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.8666666666666666, | |
| "recall": 0.6, | |
| "f1": 0.6333333333333333 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 1.0, | |
| "recall": 0.5, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.25, | |
| "recall": 0.5, | |
| "f1": 0.3333333333333333 | |
| } | |
| ], | |
| "eval_runtime": 147.2437, | |
| "eval_samples_per_second": 72.207, | |
| "eval_steps_per_second": 0.903, | |
| "epoch": 8.99899091826438, | |
| "step": 4459, | |
| "datasplit_random_state": 2024, | |
| "learning_rate": 2e-05, | |
| "batch_size": 16, | |
| "weight_decay": 0.1, | |
| "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" | |
| }, | |
| { | |
| "eval_loss": 0.1161591187119484, | |
| "eval_f1_weighted": 0.9865839701625604, | |
| "eval_f1_macro": 0.9651416279172226, | |
| "eval_f1_micro": 0.9866173120728929, | |
| "eval_accuracy": 0.9866173120728929, | |
| "eval_precision_weighted": 0.98658355324801, | |
| "eval_recall_weighted": 0.9866173120728929, | |
| "eval_f1_weighted_real": 0.791466548702393, | |
| "eval_f1_macro_real": 0.4924165824064712, | |
| "eval_f1_micro_real": 0.7395833333333334, | |
| "eval_accuracy_real": 0.7395833333333334, | |
| "eval_class_report": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.9966563786008229, | |
| "recall": 0.9965277777777778, | |
| "f1": 0.9965568485803433 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 0.9927867942849217, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9925625281922549 | |
| }, | |
| { | |
| "narrative_id": 2, | |
| "narrative": "Die Wahrheit \u00fcber die Corona-Todesopfer wird verheimlicht und ist tats\u00e4chlich niedriger.", | |
| "precision": 0.9785893570068898, | |
| "recall": 0.9775280898876404, | |
| "f1": 0.9774655521043963 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Die Wahrheit \u00fcber die Nebenwirkungen der Covid-19-Impfung wird verheimlicht.", | |
| "precision": 0.981699012597889, | |
| "recall": 0.9812734082397003, | |
| "f1": 0.9807200937975605 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.993044408774746, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9924982660563185 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Die EU kostet Deutschland nur Geld und die EWG w\u00fcrde reichen.", | |
| "precision": 0.9895833333333334, | |
| "recall": 0.9895833333333334, | |
| "f1": 0.9895833333333334 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 0.9889010823114084, | |
| "recall": 0.98828125, | |
| "f1": 0.9880834918713247 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 0.9881900035714957, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9882171162997943 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Hom\u00f6opathie wirkt \u00fcber den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Unsere eigenen Leute m\u00fcssen leiden, weil Deutschland Geld ins Ausland schickt.", | |
| "precision": 0.9684038513914034, | |
| "recall": 0.966804979253112, | |
| "f1": 0.9672421883796061 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Ausl\u00e4nder werden geringer f\u00fcr Verbrechen bestraft als Deutsche.", | |
| "precision": 0.9827586206896551, | |
| "recall": 0.9827586206896551, | |
| "f1": 0.9827586206896551 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Ausl\u00e4nder werden \u00fcberdurchschnittflich oft als schuldunf\u00e4hig eingestuft.", | |
| "precision": 0.9800215152912248, | |
| "recall": 0.979253112033195, | |
| "f1": 0.9795442014488674 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.982857142857143, | |
| "recall": 0.9826839826839827, | |
| "f1": 0.982689179567931 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Die wahren Zahlen \u00fcber Ausl\u00e4nderkriminalit\u00e4t werden verheimlicht.", | |
| "precision": 0.991402993558166, | |
| "recall": 0.9913793103448276, | |
| "f1": 0.9913429891762917 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 0.9791061481321259, | |
| "recall": 0.979253112033195, | |
| "f1": 0.9787572772622299 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Migranten sind wie Menschen, die in deine Wohnung kommen und den K\u00fchlschrank leer fressen", | |
| "precision": 0.9877463692946058, | |
| "recall": 0.9875518672199171, | |
| "f1": 0.9872198103275027 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 0.9958492975734355, | |
| "recall": 0.9956896551724138, | |
| "f1": 0.9956863356923772 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 0.9595867485984891, | |
| "recall": 0.9575971731448764, | |
| "f1": 0.9575313482037187 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.9749623136535283, | |
| "recall": 0.9752650176678446, | |
| "f1": 0.9750335677100131 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 0.9925784014221855, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9923768899986127 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 0.9925267027326952, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9924769894053888 | |
| }, | |
| { | |
| "narrative_id": 24, | |
| "narrative": "Russland will den 2+4 Vertrag k\u00fcndigen, weil sich Deutschland mit Waffenlieferungen an die Ukraine nicht daran h\u00e4lt", | |
| "precision": 0.9850292567260931, | |
| "recall": 0.9844357976653697, | |
| "f1": 0.9842214953986189 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 0.9801329921751808, | |
| "recall": 0.9795081967213115, | |
| "f1": 0.9790938170186471 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.9806575311566007, | |
| "recall": 0.980544747081712, | |
| "f1": 0.9804268822484984 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 0.9884020376322863, | |
| "recall": 0.9883268482490273, | |
| "f1": 0.9881900948207473 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 0.9924506387921022, | |
| "recall": 0.991869918699187, | |
| "f1": 0.9918510990665462 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.9759413855922462, | |
| "recall": 0.975609756097561, | |
| "f1": 0.9752488788670753 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 0.9883855981416957, | |
| "recall": 0.9878048780487805, | |
| "f1": 0.987934588747597 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.9848612399638067, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9847213059480567 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 0.9890414759328617, | |
| "recall": 0.9887640449438202, | |
| "f1": 0.9888656793469174 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 0.9782860709827003, | |
| "recall": 0.9775280898876404, | |
| "f1": 0.9776446109030378 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 0.9925267027326952, | |
| "recall": 0.9925093632958801, | |
| "f1": 0.9924769894053888 | |
| }, | |
| { | |
| "narrative_id": 36, | |
| "narrative": "In der Wahlkabine liegen Bleistifte aus, damit Stimmen manipuliert werden k\u00f6nnen", | |
| "precision": 0.9963933971424607, | |
| "recall": 0.9962546816479401, | |
| "f1": 0.9962532960325675 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 0.9888078266946191, | |
| "recall": 0.9886792452830189, | |
| "f1": 0.9886750570644776 | |
| }, | |
| { | |
| "narrative_id": 38, | |
| "narrative": "Gr\u00fcne Gentechnik kann Krankheiten ausl\u00f6sen.", | |
| "precision": 0.9852786560931753, | |
| "recall": 0.9850187265917603, | |
| "f1": 0.9851116306490484 | |
| }, | |
| { | |
| "narrative_id": 39, | |
| "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert.", | |
| "precision": 0.9922178988326849, | |
| "recall": 0.9922178988326849, | |
| "f1": 0.9922178988326849 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.9915626359591877, | |
| "recall": 0.9913793103448276, | |
| "f1": 0.9912463133882147 | |
| } | |
| ], | |
| "eval_class_report_real": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "5G verursacht Krankheiten f\u00fcr Menschen und Tiere", | |
| "precision": 0.5, | |
| "recall": 0.3333333333333333, | |
| "f1": 0.38888888888888884 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die Wahrheit \u00fcber die Auswirkungen der Corona-Ma\u00dfnahmen wird verheimlicht.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9166666666666666, | |
| "recall": 0.8333333333333334, | |
| "f1": 0.8728070175438596 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souver\u00e4nit\u00e4t von Staaten auf und f\u00fchrt zu einer WHO-Diktatur.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Gewisse Lebensmittel oder Inhaltsstoffe sind gesundheitssch\u00e4dlich.", | |
| "precision": 1.0, | |
| "recall": 0.8571428571428571, | |
| "f1": 0.9230769230769231 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Leitungswasser enth\u00e4lt \u00d6strogene und macht deshalb unfruchtbar", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Ausl\u00e4nder bekommen mehr Leistungen vom Staat als Deutsche.", | |
| "precision": 0.5, | |
| "recall": 0.5, | |
| "f1": 0.5 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Ausl\u00e4nder sind krimineller als Deutsche und begehen mehr Straftaten.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Ausreisepflichtige Migranten belegen Wohnraum in Deutschland.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 21, | |
| "narrative": "Selensky ist korrupt und drogenabh\u00e4ngig.", | |
| "precision": 1.0, | |
| "recall": 0.5, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 22, | |
| "narrative": "Hilfsg\u00fcter an die Ukraine werden in Wahrheit weggeworfen oder zerst\u00f6rt.", | |
| "precision": 1.0, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.8000000000000002 | |
| }, | |
| { | |
| "narrative_id": 23, | |
| "narrative": "Die Ukraine wird von Nazis regiert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 25, | |
| "narrative": "Die Klimadebatte ist \u00fcbertrieben, denn das Wetter war fr\u00fcher \u00fcberhaupt nicht anders.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 26, | |
| "narrative": "Deutschlands Anteil an den weltweiten Treibhausgasemissionen ist nur sehr klein und deswegen k\u00f6nnen wir alleine gar nichts bewirken.", | |
| "precision": 1.0, | |
| "recall": 0.75, | |
| "f1": 0.8571428571428571 | |
| }, | |
| { | |
| "narrative_id": 27, | |
| "narrative": "Die Wahrheit \u00fcber den Klimawandel wird verheimlicht.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 28, | |
| "narrative": "E-Mobilit\u00e4t ist schlechter f\u00fcr die Umwelt als Verbrenner Autos", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 29, | |
| "narrative": "Windr\u00e4der t\u00f6ten hundertausende V\u00f6gel, verursachen Luftwirbel und D\u00fcrre und es werden W\u00e4lder f\u00fcr die Windr\u00e4der gerohdet.", | |
| "precision": 1.0, | |
| "recall": 0.7777777777777778, | |
| "f1": 0.875 | |
| }, | |
| { | |
| "narrative_id": 30, | |
| "narrative": "Naturph\u00e4nomene wie Vulkanausbr\u00fcche sind schuld am Klimawandel", | |
| "precision": 0.8666666666666666, | |
| "recall": 0.6, | |
| "f1": 0.6333333333333333 | |
| }, | |
| { | |
| "narrative_id": 31, | |
| "narrative": "Der CO2-Beitrag des Menschen in der Luft ist so klein, dass er das Klima nicht beeinflusst", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 32, | |
| "narrative": "Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 1.0, | |
| "recall": 0.5, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 33, | |
| "narrative": "Die Briefwahl ist nicht sicher und kann manipuliert werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 34, | |
| "narrative": "Die Wahl ist ung\u00fcltig, weil die Urne nicht versiegelt ist.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 35, | |
| "narrative": "Die obere Ecke des Stimmzettels ist manipuliert", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 37, | |
| "narrative": "Rohmilch ist viel ges\u00fcnder als erhitzte Milch.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 40, | |
| "narrative": "Das Jobcenter zahlt Leistungen und Gegenst\u00e4nde wie Autos f\u00fcr ukrainische Gefl\u00fcchtete.", | |
| "precision": 0.25, | |
| "recall": 0.5, | |
| "f1": 0.3333333333333333 | |
| } | |
| ], | |
| "eval_runtime": 139.1042, | |
| "eval_samples_per_second": 76.432, | |
| "eval_steps_per_second": 0.956, | |
| "epoch": 9.989909182643794, | |
| "step": 4950, | |
| "datasplit_random_state": 2024, | |
| "learning_rate": 2e-05, | |
| "batch_size": 16, | |
| "weight_decay": 0.1, | |
| "model_checkpoint": "MoritzLaurer/mDeBERTa-v3-base-xnli-multilingual-nli-2mil7" | |
| } | |
| ] |