efederici commited on
Commit
5cf5d93
1 Parent(s): f1208cb

readme updated

Browse files
Files changed (1) hide show
  1. README.md +35 -1
README.md CHANGED
@@ -5,4 +5,38 @@ tags:
5
  - summarization
6
  ---
7
 
8
- # text2tags-it
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
5
  - summarization
6
  ---
7
 
8
+ # text2tags-it
9
+
10
+ The model has been trained on a collection of 11k articles with tags. Its purpose is to create tags suitable for the given article.
11
+
12
+ Sample code with a IlPost article:
13
+
14
+ ```python
15
+ from transformers import T5ForConditionalGeneration,T5Tokenizer
16
+
17
+ model = T5ForConditionalGeneration.from_pretrained("efederici/text2tags-it")
18
+ tokenizer = T5Tokenizer.from_pretrained("efederici/text2tags-it")
19
+
20
+ article = '''
21
+ Nel 1924 la scrittrice Virginia Woolf affrontò nel saggio Mr Bennett e Mrs Brown il tema della costruzione e della struttura del romanzo, genere all’epoca considerato in declino a causa dell’incapacità degli autori e delle autrici di creare personaggi realistici. Woolf raccontò di aver a lungo osservato, durante un viaggio in treno da Richmond a Waterloo, una signora di oltre 60 anni seduta davanti a lei, chiamata signora Brown. Ne rimase affascinata, per la capacità di quella figura di evocare storie possibili e fare da spunto per un romanzo: «tutti i romanzi cominciano con una vecchia signora seduta in un angolo».
22
+ Immagini come quella della signora Brown, secondo Woolf, «costringono qualcuno a cominciare, quasi automaticamente, a scrivere un romanzo». Nel saggio Woolf provò ad analizzare le tecniche narrative utilizzate da tre noti scrittori inglesi dell’epoca – H. G. Wells, John Galsworthy e Arnold Bennett – per comprendere perché le convenzioni stilistiche dell’Ottocento risultassero ormai inadatte alla descrizione dei «caratteri» umani degli anni Venti.
23
+ In un lungo e commentato articolo del New Yorker, la critica letteraria e giornalista Parul Sehgal, a lungo caporedattrice dell’inserto culturale del New York Times dedicato alle recensioni di libri, ha provato a compiere un esercizio simile a quello di Woolf, chiedendosi come gli autori e le autrici di oggi tratterebbero la signora Brown. E ha immaginato che probabilmente quella figura non eserciterebbe su di loro una curiosità e un fascino legati alla sua incompletezza e al suo aspetto misterioso, ma con ogni probabilità trasmetterebbe loro l’indistinta e generica impressione di aver subìto un trauma.
24
+ '''
25
+
26
+ def tag(text: str):
27
+ """ Generates tags from given text """
28
+ text = text.strip().replace('\n', '')
29
+ tokenized_text = tokenizer.encode(text, return_tensors="pt")
30
+
31
+ summary_ids = model.generate(tokenized_text,
32
+ num_beams=4,
33
+ no_repeat_ngram_size=2,
34
+ max_length=20,
35
+ early_stopping=True)
36
+
37
+ output = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
38
+ return output.split(',')
39
+
40
+ tags = tag(article)
41
+ print(tags)
42
+ ```