piEsposito commited on
Commit
66cbc8c
1 Parent(s): 55f2224

fix readme for edith example

Browse files
Files changed (1) hide show
  1. README.md +99 -0
README.md ADDED
@@ -0,0 +1,99 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ language:
3
+ - pt-br
4
+ tags:
5
+ - question-answering
6
+ license: Apache 2.0
7
+ pipeline_tag: question-answering
8
+ metrics:
9
+ - EM
10
+ - F1
11
+ ---
12
+
13
+ # BraQuAD BERT
14
+
15
+ ## Model description
16
+
17
+ This is a question-answering model trained in BraQuAD 2.0, a version of SQuAD 2.0 translated to PT-BR using Google Cloud Translation API.
18
+
19
+ ### Context
20
+ Edith Ranzini (São Paulo,[1] 1946) é uma engenheira brasileira formada pela USP, professora doutora da Pontifícia Universidade Católica de São Paulo[2] e professora sênior da Escola Politécnica da Universidade de São Paulo (Poli).[3] Ela compôs a equipe responsável pela criação do primeiro computador brasileiro, o Patinho Feio,[1] em 1972, e participou do grupo de instituidores da Fundação para o Desenvolvimento Tecnológico da Engenharia, sendo a única mulher do mesmo.[4][2] Atua nas áreas de inteligência artificial, engenharia de computação, redes neurais e sistemas gráficos.
21
+
22
+ Na sua época de prestar o vestibular, inscreveu-se para física na USP e para engenharia na Poli-USP,[3] sendo aprovada nesta última em 1965, ingressando como uma das 12 mulheres do total de 360 calouros.
23
+
24
+ Em 1969, formou-se como engenheira de eletricidade, permanecendo na universidade para fazer sua pós-graduação. Nessa época entrou para o Laboratório de Sistemas Digitais (LSD),atual Departamento de Engenharia de Computação e Sistemas Digitais, criado pelo professor Antônio Hélio Guerra Vieira.[3] Em 1970, deu início ao seu mestrado em Engenharia de Sistemas pela USP, concluindo o mesmo em 1975.[2] Nesse período, permaneceu no LSD e fez parte do grupo responsável pelo desenvolvimento do primeiro computador brasileiro, o Patinho Feio (1971-1972) e do G10 (1973-1975), primeiro computador brasileiro de médio porte, feito para o Grupo de trabalho Especial (GTE), posteriormente Digibras.
25
+
26
+
27
+ ### Examples:
28
+
29
+ 1-Alem do Patinho feio qual outro projeto edith trabalhou? Answer: G10
30
+
31
+ 2-Quantas mulheres entraram na Poli em 1965? Answer: 12
32
+
33
+ 3-Qual grande projeto edith trabalhou? Answer: do primeiro computador brasileiro
34
+
35
+ 4-Qual o primeiro computador brasileiro? Answer: Patinho Feio
36
+
37
+ ## Expected results
38
+
39
+ As for an example, let's show a context and some questions you can ask, as well as the expected responses. This QnA pairs were not part of the training dataset.
40
+
41
+
42
+
43
+ #### How to use
44
+
45
+ ```python
46
+ from transformers import AutoModelForQuestionAnswering, AutoTokenizer
47
+ import torch
48
+
49
+ mname = "piEsposito/braquad-bert-qna"
50
+ model = AutoModelForQuestionAnswering.from_pretrained(mname)
51
+ tokenizer = AutoTokenizer.from_pretrained(mname)
52
+
53
+ context = """Edith Ranzini (São Paulo,[1] 1946) é uma engenheira brasileira formada pela USP, professora doutora da Pontifícia Universidade Católica de São Paulo[2] e professora sênior da Escola Politécnica da Universidade de São Paulo (Poli).[3] Ela compôs a equipe responsável pela criação do primeiro computador brasileiro, o Patinho Feio,[1] em 1972, e participou do grupo de instituidores da Fundação para o Desenvolvimento Tecnológico da Engenharia, sendo a única mulher do mesmo.[4][2] Atua nas áreas de inteligência artificial, engenharia de computação, redes neurais e sistemas gráficos.
54
+
55
+ Na sua época de prestar o vestibular, inscreveu-se para física na USP e para engenharia na Poli-USP,[3] sendo aprovada nesta última em 1965, ingressando como uma das 12 mulheres do total de 360 calouros.[5]
56
+
57
+ Em 1969, formou-se como engenheira de eletricidade,[2][3] permanecendo na universidade para fazer sua pós-graduação. Nessa época entrou para o Laboratório de Sistemas Digitais (LSD),atual Departamento de Engenharia de Computação e Sistemas Digitais, criado pelo professor Antônio Hélio Guerra Vieira.[3] Em 1970, deu início ao seu mestrado em Engenharia de Sistemas pela USP, concluindo o mesmo em 1975.[2] Nesse período, permaneceu no LSD e fez parte do grupo responsável pelo desenvolvimento do primeiro computador brasileiro, o Patinho Feio (1971-1972) e do G10 (1973-1975), primeiro computador brasileiro de médio porte, feito para o Grupo de trabalho Especial (GTE), posteriormente Digibras."""
58
+ # you can try this for all the examples above.
59
+
60
+ question = 'Qual grande projeto edith trabalhou?'
61
+
62
+ string = f"[CLS] {question} [SEP] {context} [SEP]"
63
+
64
+ as_tensor = torch.Tensor(tokenizer.encode(string)).unsqueeze(0)
65
+ starts, ends = model(as_tensor.long())
66
+ s, e = torch.argmax(starts[0]), torch.argmax(ends[0])
67
+
68
+ print(tokenizer.decode(tokenizer.encode(string)[s:e+1])) # 'do primeiro computador brasileiro'
69
+ ```
70
+
71
+ #### Limitations and bias
72
+
73
+ - The model is trained on a dataset translated using Google Cloud API. Due to that, there are some issues with the labels, in some cases, not being identic to the answers. Due to that, the performance cannot reach the level it does with english, handly curated models. Anyway, it is a good progresso towards QnA in PT-BR.
74
+
75
+
76
+ ## Training data
77
+
78
+ [BraQuAD dataset](https://github.com/piEsposito/br-quad-2.0).
79
+
80
+
81
+ ## Training procedure
82
+
83
+
84
+ ## Eval results
85
+
86
+ EM | F1
87
+ -------|---------
88
+ 0.62 | 0.69
89
+
90
+
91
+ ### BibTeX entry and citation info
92
+
93
+ ```bibtex
94
+ @inproceedings{...,
95
+ year={2020},
96
+ title={BraQuAD - Dataset para Question Answering em PT-BR},
97
+ author={Esposito, Wladimir and Esposito, Piero and Tamais, Ana},
98
+ }
99
+ ```