| [ | |
| { | |
| "eval_loss": 0.20462539792060852, | |
| "eval_f1_weighted": 0.9226951404204398, | |
| "eval_f1_macro": 0.8965036231167418, | |
| "eval_f1_micro": 0.9229418830268872, | |
| "eval_accuracy": 0.9229418830268872, | |
| "eval_precision_weighted": 0.9225184977804481, | |
| "eval_recall_weighted": 0.9229418830268872, | |
| "eval_f1_weighted_real": 0.787560199518404, | |
| "eval_f1_macro_real": 0.4848395498550297, | |
| "eval_f1_micro_real": 0.7395833333333334, | |
| "eval_accuracy_real": 0.7395833333333334, | |
| "eval_class_report": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "Homöopathie wirkt über den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", | |
| "precision": 0.9298259496279299, | |
| "recall": 0.9257425742574258, | |
| "f1": 0.9244340657418361 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die EU kostet Deutschland nur Geld und die EWG würde reichen.", | |
| "precision": 0.9476917878670273, | |
| "recall": 0.9395348837209302, | |
| "f1": 0.937543821282415 | |
| }, | |
| { | |
| "narrative_id": 2, | |
| "narrative": "E-Mobilität ist schlechter für die Umwelt als Verbrenner Autos", | |
| "precision": 0.9466630506023007, | |
| "recall": 0.9336734693877551, | |
| "f1": 0.9316544731099986 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Gewisse Lebensmittel, Leitungswasser oder Gentechnik sind gesundheitsschädlich und machen unfruchtbar.", | |
| "precision": 0.9414720666470534, | |
| "recall": 0.933579335793358, | |
| "f1": 0.9312727776522235 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Selensky ist korrupt und drogenabhängig und die Ukraine wird von Nazis regiert.", | |
| "precision": 0.9527450901113945, | |
| "recall": 0.9528535980148883, | |
| "f1": 0.9525066102613855 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der Anteil des Menschen an den Treibhausgasen ist nur gering und die Wahrheit über den Klimawandel wird verheimlicht.", | |
| "precision": 0.9107983009339384, | |
| "recall": 0.9078014184397163, | |
| "f1": 0.9081622939673235 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.9273137715973274, | |
| "recall": 0.9282296650717703, | |
| "f1": 0.9230816580670183 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Das Wetter war früher überhaupt nicht anders und Naturphänomene wie Vulkanausbrüche sind schuld am Klimawandel", | |
| "precision": 0.9124014641398179, | |
| "recall": 0.9112271540469974, | |
| "f1": 0.9112520203904015 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen und schickt Geld ins Ausland während unsere Leute leiden.", | |
| "precision": 0.9213248646514776, | |
| "recall": 0.9205955334987593, | |
| "f1": 0.9209354750928006 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Ausländer und Migranten bekommen mehr Leistungen oder Wohnungen vom Staat als Deutsche.", | |
| "precision": 0.9595807614289591, | |
| "recall": 0.9586466165413534, | |
| "f1": 0.9580685068419372 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Ausländer sind krimineller als Deutsche, werden geringer bestraft und begehen mehr Straftaten und das wird uns verheimlicht.", | |
| "precision": 0.9531074319909502, | |
| "recall": 0.9518987341772152, | |
| "f1": 0.9521389029462441 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Die Stimmzettel, Urnen und Briefwahl sind manipuliert und Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.9716702876254121, | |
| "recall": 0.9710820895522388, | |
| "f1": 0.970673287184173 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 0.939159587279888, | |
| "recall": 0.9282296650717703, | |
| "f1": 0.9250593810795684 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Windräder töten hundertausende Vögel, verursachen Luftwirbel und Dürre und es werden Wälder für die Windräder gerohdet.", | |
| "precision": 0.9680851063829787, | |
| "recall": 0.9627659574468085, | |
| "f1": 0.9625658640698993 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9705213281249915, | |
| "recall": 0.9704433497536946, | |
| "f1": 0.9700623328863659 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souveränität von Staaten auf und führt zu einer WHO-Diktatur.", | |
| "precision": 0.9585762876579204, | |
| "recall": 0.9540816326530612, | |
| "f1": 0.9545380147958022 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert", | |
| "precision": 0.9497099993302526, | |
| "recall": 0.9417721518987342, | |
| "f1": 0.9418651584133116 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Hilfsgüter an die Ukraine werden in Wahrheit weggeworfen oder zerstört.", | |
| "precision": 0.967097528666639, | |
| "recall": 0.9655172413793104, | |
| "f1": 0.9659343230110085 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Die Wahrheit über die Corona Maßnahmen, Todesopfer und Covid Impfung wird verheimlicht.", | |
| "precision": 0.9406260965350601, | |
| "recall": 0.9420529801324503, | |
| "f1": 0.9408347545229002 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "5G verursacht Krankheiten für Menschen und Tiere.", | |
| "precision": 0.986624307005544, | |
| "recall": 0.986046511627907, | |
| "f1": 0.9858520125744941 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Der Text entspricht keinem bekannten Desinformations-Narrativ.", | |
| "precision": 0.8545860074162598, | |
| "recall": 0.8516783762685401, | |
| "f1": 0.8513736896196074 | |
| } | |
| ], | |
| "eval_class_report_real": [ | |
| { | |
| "narrative_id": 2, | |
| "narrative": "E-Mobilität ist schlechter für die Umwelt als Verbrenner Autos", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Gewisse Lebensmittel, Leitungswasser oder Gentechnik sind gesundheitsschädlich und machen unfruchtbar.", | |
| "precision": 0.9333333333333333, | |
| "recall": 0.7, | |
| "f1": 0.77 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Selensky ist korrupt und drogenabhängig und die Ukraine wird von Nazis regiert.", | |
| "precision": 1.0, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.8000000000000002 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der Anteil des Menschen an den Treibhausgasen ist nur gering und die Wahrheit über den Klimawandel wird verheimlicht.", | |
| "precision": 0.9047619047619048, | |
| "recall": 0.7142857142857143, | |
| "f1": 0.7571428571428572 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.0, | |
| "recall": 0.0, | |
| "f1": 0.0 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Das Wetter war früher überhaupt nicht anders und Naturphänomene wie Vulkanausbrüche sind schuld am Klimawandel", | |
| "precision": 0.9285714285714286, | |
| "recall": 0.8571428571428571, | |
| "f1": 0.8744588744588745 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen und schickt Geld ins Ausland während unsere Leute leiden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Ausländer und Migranten bekommen mehr Leistungen oder Wohnungen vom Staat als Deutsche.", | |
| "precision": 0.8095238095238095, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.6406926406926406 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Ausländer sind krimineller als Deutsche, werden geringer bestraft und begehen mehr Straftaten und das wird uns verheimlicht.", | |
| "precision": 1.0, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.8000000000000002 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Die Stimmzettel, Urnen und Briefwahl sind manipuliert und Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.8541666666666666, | |
| "recall": 0.8125, | |
| "f1": 0.8303571428571428 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Windräder töten hundertausende Vögel, verursachen Luftwirbel und Dürre und es werden Wälder für die Windräder gerohdet.", | |
| "precision": 1.0, | |
| "recall": 0.7777777777777778, | |
| "f1": 0.875 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 1.0, | |
| "recall": 0.75, | |
| "f1": 0.851851851851852 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souveränität von Staaten auf und führt zu einer WHO-Diktatur.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Hilfsgüter an die Ukraine werden in Wahrheit weggeworfen oder zerstört.", | |
| "precision": 1.0, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.8000000000000002 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Die Wahrheit über die Corona Maßnahmen, Todesopfer und Covid Impfung wird verheimlicht.", | |
| "precision": 0.8333333333333334, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "5G verursacht Krankheiten für Menschen und Tiere.", | |
| "precision": 0.8333333333333334, | |
| "recall": 0.5, | |
| "f1": 0.48888888888888893 | |
| } | |
| ], | |
| "eval_runtime": 125.5651, | |
| "eval_samples_per_second": 86.959, | |
| "eval_steps_per_second": 1.091, | |
| "epoch": 0.9993658845909955, | |
| "step": 394, | |
| "datasplit_random_state": 2024, | |
| "learning_rate": 2e-05, | |
| "batch_size": 16, | |
| "weight_decay": 0.1, | |
| "model_checkpoint": "joeddav/xlm-roberta-large-xnli" | |
| }, | |
| { | |
| "eval_loss": 0.11163713037967682, | |
| "eval_f1_weighted": 0.9645546733588469, | |
| "eval_f1_macro": 0.9542438745021545, | |
| "eval_f1_micro": 0.9644276078721242, | |
| "eval_accuracy": 0.9644276078721242, | |
| "eval_precision_weighted": 0.9651066435125745, | |
| "eval_recall_weighted": 0.9644276078721242, | |
| "eval_f1_weighted_real": 0.788377192982456, | |
| "eval_f1_macro_real": 0.4862155388471178, | |
| "eval_f1_micro_real": 0.7604166666666666, | |
| "eval_accuracy_real": 0.7604166666666666, | |
| "eval_class_report": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "Homöopathie wirkt über den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", | |
| "precision": 0.9609529702970298, | |
| "recall": 0.9603960396039604, | |
| "f1": 0.9603960396039604 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die EU kostet Deutschland nur Geld und die EWG würde reichen.", | |
| "precision": 0.964562569213732, | |
| "recall": 0.9534883720930233, | |
| "f1": 0.9523244174406965 | |
| }, | |
| { | |
| "narrative_id": 2, | |
| "narrative": "E-Mobilität ist schlechter für die Umwelt als Verbrenner Autos", | |
| "precision": 0.9758989310009719, | |
| "recall": 0.9744897959183674, | |
| "f1": 0.9747220562693408 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Gewisse Lebensmittel, Leitungswasser oder Gentechnik sind gesundheitsschädlich und machen unfruchtbar.", | |
| "precision": 0.9699519481372588, | |
| "recall": 0.964329643296433, | |
| "f1": 0.9651990618026143 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Selensky ist korrupt und drogenabhängig und die Ukraine wird von Nazis regiert.", | |
| "precision": 0.9620321141995242, | |
| "recall": 0.9602977667493796, | |
| "f1": 0.9604601054958996 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der Anteil des Menschen an den Treibhausgasen ist nur gering und die Wahrheit über den Klimawandel wird verheimlicht.", | |
| "precision": 0.9397974515123186, | |
| "recall": 0.9397163120567376, | |
| "f1": 0.9396052546032145 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.9374800637958532, | |
| "recall": 0.9330143540669856, | |
| "f1": 0.9310397205134047 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Das Wetter war früher überhaupt nicht anders und Naturphänomene wie Vulkanausbrüche sind schuld am Klimawandel", | |
| "precision": 0.9352005696653216, | |
| "recall": 0.9268929503916449, | |
| "f1": 0.9287375430901702 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen und schickt Geld ins Ausland während unsere Leute leiden.", | |
| "precision": 0.9709977309218296, | |
| "recall": 0.9702233250620348, | |
| "f1": 0.9702980297532805 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Ausländer und Migranten bekommen mehr Leistungen oder Wohnungen vom Staat als Deutsche.", | |
| "precision": 0.9663446455855992, | |
| "recall": 0.9611528822055138, | |
| "f1": 0.9614826741360297 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Ausländer sind krimineller als Deutsche, werden geringer bestraft und begehen mehr Straftaten und das wird uns verheimlicht.", | |
| "precision": 0.9563600853508899, | |
| "recall": 0.9544303797468354, | |
| "f1": 0.9544410661966357 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Die Stimmzettel, Urnen und Briefwahl sind manipuliert und Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.9853452061704964, | |
| "recall": 0.9841417910447762, | |
| "f1": 0.9841548549820762 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 0.9372566491680066, | |
| "recall": 0.9330143540669856, | |
| "f1": 0.9329153605015674 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Windräder töten hundertausende Vögel, verursachen Luftwirbel und Dürre und es werden Wälder für die Windräder gerohdet.", | |
| "precision": 0.9900265957446809, | |
| "recall": 0.9893617021276596, | |
| "f1": 0.9894804761952506 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9770935960591134, | |
| "recall": 0.9753694581280788, | |
| "f1": 0.9752729018712781 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souveränität von Staaten auf und führt zu einer WHO-Diktatur.", | |
| "precision": 0.9808187204500569, | |
| "recall": 0.9795918367346939, | |
| "f1": 0.9797964298501355 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert", | |
| "precision": 0.9752656197000826, | |
| "recall": 0.9746835443037974, | |
| "f1": 0.974871838034836 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Hilfsgüter an die Ukraine werden in Wahrheit weggeworfen oder zerstört.", | |
| "precision": 0.9804091460763125, | |
| "recall": 0.9802955665024631, | |
| "f1": 0.9803067839666868 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Die Wahrheit über die Corona Maßnahmen, Todesopfer und Covid Impfung wird verheimlicht.", | |
| "precision": 0.9658927600217551, | |
| "recall": 0.9652317880794702, | |
| "f1": 0.9653567374600798 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "5G verursacht Krankheiten für Menschen und Tiere.", | |
| "precision": 0.969931876908621, | |
| "recall": 0.9674418604651163, | |
| "f1": 0.9679721909544071 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Der Text entspricht keinem bekannten Desinformations-Narrativ.", | |
| "precision": 0.9697485497947004, | |
| "recall": 0.9695550351288056, | |
| "f1": 0.9695518993266667 | |
| } | |
| ], | |
| "eval_class_report_real": [ | |
| { | |
| "narrative_id": 2, | |
| "narrative": "E-Mobilität ist schlechter für die Umwelt als Verbrenner Autos", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Gewisse Lebensmittel, Leitungswasser oder Gentechnik sind gesundheitsschädlich und machen unfruchtbar.", | |
| "precision": 0.925, | |
| "recall": 0.7, | |
| "f1": 0.76 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Selensky ist korrupt und drogenabhängig und die Ukraine wird von Nazis regiert.", | |
| "precision": 1.0, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.8000000000000002 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der Anteil des Menschen an den Treibhausgasen ist nur gering und die Wahrheit über den Klimawandel wird verheimlicht.", | |
| "precision": 0.9047619047619048, | |
| "recall": 0.7142857142857143, | |
| "f1": 0.7571428571428572 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Das Wetter war früher überhaupt nicht anders und Naturphänomene wie Vulkanausbrüche sind schuld am Klimawandel", | |
| "precision": 0.9285714285714286, | |
| "recall": 0.8571428571428571, | |
| "f1": 0.8744588744588745 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen und schickt Geld ins Ausland während unsere Leute leiden.", | |
| "precision": 1.0, | |
| "recall": 0.5, | |
| "f1": 0.6666666666666666 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Ausländer und Migranten bekommen mehr Leistungen oder Wohnungen vom Staat als Deutsche.", | |
| "precision": 0.8518518518518517, | |
| "recall": 0.7777777777777778, | |
| "f1": 0.7722222222222223 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Ausländer sind krimineller als Deutsche, werden geringer bestraft und begehen mehr Straftaten und das wird uns verheimlicht.", | |
| "precision": 1.0, | |
| "recall": 0.3333333333333333, | |
| "f1": 0.5 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Die Stimmzettel, Urnen und Briefwahl sind manipuliert und Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.9423076923076923, | |
| "recall": 0.9375, | |
| "f1": 0.9342857142857143 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Windräder töten hundertausende Vögel, verursachen Luftwirbel und Dürre und es werden Wälder für die Windräder gerohdet.", | |
| "precision": 1.0, | |
| "recall": 0.5555555555555556, | |
| "f1": 0.7142857142857143 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9444444444444445, | |
| "recall": 0.8333333333333334, | |
| "f1": 0.8740740740740741 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souveränität von Staaten auf und führt zu einer WHO-Diktatur.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Hilfsgüter an die Ukraine werden in Wahrheit weggeworfen oder zerstört.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Die Wahrheit über die Corona Maßnahmen, Todesopfer und Covid Impfung wird verheimlicht.", | |
| "precision": 0.1111111111111111, | |
| "recall": 0.3333333333333333, | |
| "f1": 0.16666666666666666 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "5G verursacht Krankheiten für Menschen und Tiere.", | |
| "precision": 0.8333333333333334, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.6666666666666666 | |
| } | |
| ], | |
| "eval_runtime": 235.2505, | |
| "eval_samples_per_second": 46.414, | |
| "eval_steps_per_second": 0.582, | |
| "epoch": 1.9987317691819912, | |
| "step": 788, | |
| "datasplit_random_state": 2024, | |
| "learning_rate": 2e-05, | |
| "batch_size": 16, | |
| "weight_decay": 0.1, | |
| "model_checkpoint": "joeddav/xlm-roberta-large-xnli" | |
| }, | |
| { | |
| "eval_loss": 0.11920677125453949, | |
| "eval_f1_weighted": 0.9648831659179845, | |
| "eval_f1_macro": 0.953656979077525, | |
| "eval_f1_micro": 0.9647971911669593, | |
| "eval_accuracy": 0.9647971911669593, | |
| "eval_precision_weighted": 0.9651581753022773, | |
| "eval_recall_weighted": 0.9647971911669593, | |
| "eval_f1_weighted_real": 0.8890942818596929, | |
| "eval_f1_macro_real": 0.5635118306351182, | |
| "eval_f1_micro_real": 0.875, | |
| "eval_accuracy_real": 0.875, | |
| "eval_class_report": [ | |
| { | |
| "narrative_id": 0, | |
| "narrative": "Homöopathie wirkt über den Placebo-Effekt hinaus und kann schwerwiegende Krankheiten heilen", | |
| "precision": 0.9441787798689372, | |
| "recall": 0.9405940594059405, | |
| "f1": 0.9397934132728877 | |
| }, | |
| { | |
| "narrative_id": 1, | |
| "narrative": "Die EU kostet Deutschland nur Geld und die EWG würde reichen.", | |
| "precision": 0.976499388004896, | |
| "recall": 0.9720930232558139, | |
| "f1": 0.9718455722304961 | |
| }, | |
| { | |
| "narrative_id": 2, | |
| "narrative": "E-Mobilität ist schlechter für die Umwelt als Verbrenner Autos", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Gewisse Lebensmittel, Leitungswasser oder Gentechnik sind gesundheitsschädlich und machen unfruchtbar.", | |
| "precision": 0.9855952056241426, | |
| "recall": 0.985239852398524, | |
| "f1": 0.9853086243957204 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Selensky ist korrupt und drogenabhängig und die Ukraine wird von Nazis regiert.", | |
| "precision": 0.9735552257686548, | |
| "recall": 0.9727047146401985, | |
| "f1": 0.9728553344467602 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der Anteil des Menschen an den Treibhausgasen ist nur gering und die Wahrheit über den Klimawandel wird verheimlicht.", | |
| "precision": 0.9678435875914628, | |
| "recall": 0.9663120567375887, | |
| "f1": 0.9667125417556401 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 0.9622466847347231, | |
| "recall": 0.9617224880382775, | |
| "f1": 0.9618840224103383 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Das Wetter war früher überhaupt nicht anders und Naturphänomene wie Vulkanausbrüche sind schuld am Klimawandel", | |
| "precision": 0.9495184433891178, | |
| "recall": 0.9373368146214099, | |
| "f1": 0.9375423186901133 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen und schickt Geld ins Ausland während unsere Leute leiden.", | |
| "precision": 0.9655760771486579, | |
| "recall": 0.9652605459057072, | |
| "f1": 0.965391439701497 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Ausländer und Migranten bekommen mehr Leistungen oder Wohnungen vom Staat als Deutsche.", | |
| "precision": 0.9801449702733783, | |
| "recall": 0.9799498746867168, | |
| "f1": 0.9798695388405071 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Ausländer sind krimineller als Deutsche, werden geringer bestraft und begehen mehr Straftaten und das wird uns verheimlicht.", | |
| "precision": 0.9619377242312696, | |
| "recall": 0.9607594936708861, | |
| "f1": 0.9612021686311655 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Die Stimmzettel, Urnen und Briefwahl sind manipuliert und Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.9907731352919884, | |
| "recall": 0.9906716417910447, | |
| "f1": 0.9906627641813296 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 0.930087295042611, | |
| "recall": 0.9186602870813397, | |
| "f1": 0.9158001484859868 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Windräder töten hundertausende Vögel, verursachen Luftwirbel und Dürre und es werden Wälder für die Windräder gerohdet.", | |
| "precision": 0.9900265957446809, | |
| "recall": 0.9893617021276596, | |
| "f1": 0.9893617021276596 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 0.9901477832512315, | |
| "recall": 0.9901477832512315, | |
| "f1": 0.9901477832512315 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souveränität von Staaten auf und führt zu einer WHO-Diktatur.", | |
| "precision": 0.9649440421329822, | |
| "recall": 0.9642857142857143, | |
| "f1": 0.9645688999490015 | |
| }, | |
| { | |
| "narrative_id": 16, | |
| "narrative": "Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert", | |
| "precision": 0.9690788745056906, | |
| "recall": 0.9670886075949368, | |
| "f1": 0.9674108986135754 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Hilfsgüter an die Ukraine werden in Wahrheit weggeworfen oder zerstört.", | |
| "precision": 0.9901477832512315, | |
| "recall": 0.9901477832512315, | |
| "f1": 0.9901477832512315 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Die Wahrheit über die Corona Maßnahmen, Todesopfer und Covid Impfung wird verheimlicht.", | |
| "precision": 0.9755578015830578, | |
| "recall": 0.9751655629139073, | |
| "f1": 0.97527840211519 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "5G verursacht Krankheiten für Menschen und Tiere.", | |
| "precision": 0.9782220879895299, | |
| "recall": 0.9767441860465116, | |
| "f1": 0.9770390486725465 | |
| }, | |
| { | |
| "narrative_id": 20, | |
| "narrative": "Der Text entspricht keinem bekannten Desinformations-Narrativ.", | |
| "precision": 0.9445854744691136, | |
| "recall": 0.9395003903200625, | |
| "f1": 0.9393268984694599 | |
| } | |
| ], | |
| "eval_class_report_real": [ | |
| { | |
| "narrative_id": 2, | |
| "narrative": "E-Mobilität ist schlechter für die Umwelt als Verbrenner Autos", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 3, | |
| "narrative": "Gewisse Lebensmittel, Leitungswasser oder Gentechnik sind gesundheitsschädlich und machen unfruchtbar.", | |
| "precision": 1.0, | |
| "recall": 0.9, | |
| "f1": 0.9470588235294117 | |
| }, | |
| { | |
| "narrative_id": 4, | |
| "narrative": "Selensky ist korrupt und drogenabhängig und die Ukraine wird von Nazis regiert.", | |
| "precision": 1.0, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.8000000000000002 | |
| }, | |
| { | |
| "narrative_id": 5, | |
| "narrative": "Der Anteil des Menschen an den Treibhausgasen ist nur gering und die Wahrheit über den Klimawandel wird verheimlicht.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 6, | |
| "narrative": "Deutschland wird von Faschisten regiert.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 7, | |
| "narrative": "Das Wetter war früher überhaupt nicht anders und Naturphänomene wie Vulkanausbrüche sind schuld am Klimawandel", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 8, | |
| "narrative": "Die Regierung will gezielt Migranten ins Land holen und schickt Geld ins Ausland während unsere Leute leiden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 9, | |
| "narrative": "Ausländer und Migranten bekommen mehr Leistungen oder Wohnungen vom Staat als Deutsche.", | |
| "precision": 0.911111111111111, | |
| "recall": 0.8888888888888888, | |
| "f1": 0.8888888888888888 | |
| }, | |
| { | |
| "narrative_id": 10, | |
| "narrative": "Ausländer sind krimineller als Deutsche, werden geringer bestraft und begehen mehr Straftaten und das wird uns verheimlicht.", | |
| "precision": 1.0, | |
| "recall": 0.3333333333333333, | |
| "f1": 0.5 | |
| }, | |
| { | |
| "narrative_id": 11, | |
| "narrative": "Die Stimmzettel, Urnen und Briefwahl sind manipuliert und Wahlhelfer lassen Stimmen verschwinden.", | |
| "precision": 0.8928571428571428, | |
| "recall": 0.875, | |
| "f1": 0.8589743589743589 | |
| }, | |
| { | |
| "narrative_id": 12, | |
| "narrative": "Bargeld soll abgeschafft werden.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 13, | |
| "narrative": "Windräder töten hundertausende Vögel, verursachen Luftwirbel und Dürre und es werden Wälder für die Windräder gerohdet.", | |
| "precision": 1.0, | |
| "recall": 0.6666666666666666, | |
| "f1": 0.8 | |
| }, | |
| { | |
| "narrative_id": 14, | |
| "narrative": "Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen.", | |
| "precision": 1.0, | |
| "recall": 0.9166666666666666, | |
| "f1": 0.956140350877193 | |
| }, | |
| { | |
| "narrative_id": 15, | |
| "narrative": "Der WHO Pandemievertrag hebt die Souveränität von Staaten auf und führt zu einer WHO-Diktatur.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 17, | |
| "narrative": "Hilfsgüter an die Ukraine werden in Wahrheit weggeworfen oder zerstört.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 18, | |
| "narrative": "Die Wahrheit über die Corona Maßnahmen, Todesopfer und Covid Impfung wird verheimlicht.", | |
| "precision": 1.0, | |
| "recall": 1.0, | |
| "f1": 1.0 | |
| }, | |
| { | |
| "narrative_id": 19, | |
| "narrative": "5G verursacht Krankheiten für Menschen und Tiere.", | |
| "precision": 0.8888888888888888, | |
| "recall": 0.8333333333333334, | |
| "f1": 0.8380952380952381 | |
| } | |
| ], | |
| "eval_runtime": 234.4585, | |
| "eval_samples_per_second": 46.571, | |
| "eval_steps_per_second": 0.584, | |
| "epoch": 2.9980976537729864, | |
| "step": 1182, | |
| "datasplit_random_state": 2024, | |
| "learning_rate": 2e-05, | |
| "batch_size": 16, | |
| "weight_decay": 0.1, | |
| "model_checkpoint": "joeddav/xlm-roberta-large-xnli" | |
| } | |
| ] |