fvelasco commited on
Commit
ebe7859
1 Parent(s): c3eabb9

changing postproc

Browse files
Files changed (1) hide show
  1. app.py +10 -6
app.py CHANGED
@@ -30,17 +30,21 @@ def postproc(input_sentence, preds):
30
  for word in input_sentence.split(' '):
31
  if word:
32
  if word[0].isupper():
33
- if word.lower() in preds:
34
  if prev_letter == '.':
35
  preds = preds.replace('. ' + word.lower() + ' ', '. ' + word + ' ')
36
  else:
37
- preds = preds.replace(word.lower() + ' ', word + ' ')
 
 
 
38
  prev_letter = word[-1]
39
  preds = preds.strip() # quitar ultimo espacio
40
  except:
41
  pass
42
  return preds
43
 
 
44
  # sentences = ["El libro relata las aventuras y desventuras de un hidalgo de 50 años llamado Alonso Quijano, quien decide ser un caballero andante como aquellos que aparecen en sus libros de caballerías favoritos.Las hazañas de don Quijote están contenidas en dos tomos que narran tres salidas. Por un lado, la “Primera parte” denominada como El ingenioso Hidalgo Don Quijote de la Mancha está formada por 52 capítulos y en ella se encuentran la primera salida y la segunda salida."]
45
  # sentences = ['De acuerdo con las informaciones anteriores , las alumnas se han quejado de la actitud de los profesores en los exámenes finales. Los representantes estudiantiles son los alumnos Juanju y Javi.']
46
  def get_output(sentence, first_generation=True):
@@ -63,14 +67,13 @@ def get_output(sentence, first_generation=True):
63
  # length_penalty=1.0,
64
  early_stopping=True# disable sampling to test if batching affects output
65
  )
66
- preds = postproc(input_sentence=sentence,
67
  preds=tokenizer.decode(output_sequence[0], skip_special_tokens=True, clean_up_tokenization_spaces=True))
68
  return preds
69
 
70
-
71
  examples=['De acuerdo con las informaciones anteriores , las alumnas se han quejado de la actitud de los profesores en los exámenes finales. Los representantes estudiantiles son los alumnos Juanju y Javi.',
72
  'Durante su ingreso no debe tomar agua que no le sea suministrada por los especialistas en su cirujía',
73
- 'Los intermediarios del acuerdo se ocuparán también de saber si la casa tiene las deudas saldadas y si no hay problemas legales pendientes']
74
 
75
  iface = gr.Interface(fn=get_output,
76
  title="Spanish Text Neutralization app",
@@ -81,4 +84,5 @@ iface = gr.Interface(fn=get_output,
81
  # outputs="text",
82
  outputs=gr.outputs.Textbox(label="Neutral version of your text")
83
  )
84
- iface.launch()
 
 
30
  for word in input_sentence.split(' '):
31
  if word:
32
  if word[0].isupper():
33
+ if word.lower() in preds and word != input_sentence.split(' ')[0]:
34
  if prev_letter == '.':
35
  preds = preds.replace('. ' + word.lower() + ' ', '. ' + word + ' ')
36
  else:
37
+ if word[-1] == '.':
38
+ preds = preds.replace(word.lower(), word)
39
+ else:
40
+ preds = preds.replace(word.lower() + ' ', word + ' ')
41
  prev_letter = word[-1]
42
  preds = preds.strip() # quitar ultimo espacio
43
  except:
44
  pass
45
  return preds
46
 
47
+
48
  # sentences = ["El libro relata las aventuras y desventuras de un hidalgo de 50 años llamado Alonso Quijano, quien decide ser un caballero andante como aquellos que aparecen en sus libros de caballerías favoritos.Las hazañas de don Quijote están contenidas en dos tomos que narran tres salidas. Por un lado, la “Primera parte” denominada como El ingenioso Hidalgo Don Quijote de la Mancha está formada por 52 capítulos y en ella se encuentran la primera salida y la segunda salida."]
49
  # sentences = ['De acuerdo con las informaciones anteriores , las alumnas se han quejado de la actitud de los profesores en los exámenes finales. Los representantes estudiantiles son los alumnos Juanju y Javi.']
50
  def get_output(sentence, first_generation=True):
 
67
  # length_penalty=1.0,
68
  early_stopping=True# disable sampling to test if batching affects output
69
  )
70
+ preds = postproc(sentence,
71
  preds=tokenizer.decode(output_sequence[0], skip_special_tokens=True, clean_up_tokenization_spaces=True))
72
  return preds
73
 
 
74
  examples=['De acuerdo con las informaciones anteriores , las alumnas se han quejado de la actitud de los profesores en los exámenes finales. Los representantes estudiantiles son los alumnos Juanju y Javi.',
75
  'Durante su ingreso no debe tomar agua que no le sea suministrada por los especialistas en su cirujía',
76
+ 'Debido a esto , el premio se asignará a los candidatos seleccionados en tres pagos']
77
 
78
  iface = gr.Interface(fn=get_output,
79
  title="Spanish Text Neutralization app",
 
84
  # outputs="text",
85
  outputs=gr.outputs.Textbox(label="Neutral version of your text")
86
  )
87
+
88
+ iface.launch()