Sahajtomar commited on
Commit
710fbcf
1 Parent(s): d6bd6df

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +63 -1
README.md CHANGED
@@ -1 +1,63 @@
1
- "hello"
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ language: de
3
+ datasets:
4
+ - mlqa
5
+ metrics:
6
+ - f1
7
+ - em
8
+ ---
9
+
10
+ ### QA Model trained on MLQA dataset for german langauge.
11
+
12
+ MODEL used for fine tuning is GBERT Large by deepset.ai
13
+
14
+
15
+
16
+ ## MLQA DEV (german)
17
+ EM: 63.82
18
+ F1: 77.20
19
+
20
+ ## XQUAD TEST (german)
21
+ EM: 65.96
22
+ F1: 80.85
23
+
24
+ ## Model inferencing:
25
+ ```python
26
+ !pip install -q transformers
27
+ from transformers import pipeline
28
+
29
+ qa_pipeline = pipeline(
30
+ "question-answering",
31
+ model="Sahajtomar/GBERTQA",
32
+ tokenizer="Sahajtomar/GBERTQA"
33
+ )
34
+
35
+ qa_pipeline({
36
+ 'context': "Vor einigen Jahren haben Wissenschaftler ein wichtiges Mutagen identifiziert, das in unseren eigenen Zellen liegt: APOBEC, ein Protein, das normalerweise als Schutzmittel gegen Virusinfektionen fungiert. Heute hat ein Team von Schweizer und russischen Wissenschaftlern unter der Leitung von Sergey Nikolaev, Genetiker an der Universität Genf (UNIGE) in der Schweiz, entschlüsselt, wie APOBEC eine Schwäche unseres DNA-Replikationsprozesses ausnutzt, um Mutationen in unserem Genom zu induzieren.",
37
+ 'question': "Welches Mutagen schützt vor Virusinfektionen?"
38
+
39
+ })
40
+
41
+ # output
42
+
43
+ {'answer': 'APOBEC', 'end': 121, 'score': 0.9795194864273071, 'start': 115}
44
+
45
+ ## Even complex queries can be answered pretty well
46
+
47
+ qa_pipeline({
48
+ "context": 'Im Juli 1944 befand sich die Rote Armee tief auf polnischem Gebiet und verfolgte die Deutschen in Richtung Warschau. In dem Wissen, dass Stalin der Idee eines unabhängigen Polens feindlich gegenüberstand, gab die polnische Exilregierung in London der unterirdischen Heimatarmee (AK) den Befehl, vor dem Eintreffen der Roten Armee zu versuchen, die Kontrolle über Warschau von den Deutschen zu übernehmen. So begann am 1. August 1944, als sich die Rote Armee der Stadt näherte, der Warschauer Aufstand. Der bewaffnete Kampf, der 48 Stunden dauern sollte, war teilweise erfolgreich, dauerte jedoch 63 Tage. Schließlich mussten die Kämpfer der Heimatarmee und die ihnen unterstützenden Zivilisten kapitulieren. Sie wurden in Kriegsgefangenenlager in Deutschland transportiert, während die gesamte Zivilbevölkerung ausgewiesen wurde. Die Zahl der polnischen Zivilisten wird auf 150.000 bis 200.000 geschätzt.'
49
+ 'question': "Wer wurde nach Deutschland transportiert?"
50
+
51
+ #output
52
+
53
+ {'answer': 'die Kämpfer der Heimatarmee und die ihnen unterstützenden Zivilisten',
54
+ 'end': 693,
55
+ 'score': 0.23357819020748138,
56
+ 'start': 625}
57
+
58
+
59
+ ```
60
+
61
+ Try it on a Colab:
62
+
63
+ <a href="https://github.com/Sahajtomar/Question-Answering/blob/main/Sahajtomar_GBERTQA.ipynb" target="_parent"><img src="https://camo.githubusercontent.com/52feade06f2fecbf006889a904d221e6a730c194/68747470733a2f2f636f6c61622e72657365617263682e676f6f676c652e636f6d2f6173736574732f636f6c61622d62616467652e737667" alt="Open In Colab" data-canonical-src="https://colab.research.google.com/assets/colab-badge.svg"></a>