ruanchaves commited on
Commit
8035793
1 Parent(s): 0869455

feat: add scores to evalaution output

Browse files
Files changed (1) hide show
  1. app.py +16 -14
app.py CHANGED
@@ -34,21 +34,21 @@ exibindo a porcentagem de similaridade entre os pares textuais.)
34
  """ }
35
 
36
  score_descriptions = {
37
- 0: "The sentences are completely different from each other and do not have any common topic or similarity.",
38
- 1: "The sentences are completely different from each other and do not have any common topic or similarity.",
39
- 2: "The sentences are not directly related, but they share some topic or theme.",
40
- 3: "The sentences are somewhat related: they may have different content but have some common details or aspects.",
41
- 4: "The sentences are strongly related, but still have some differences in details or wording.",
42
- 5: "The sentences convey essentially the same message or information."
43
  }
44
 
45
  score_descriptions_pt = {
46
- 0: "(As frases são completamente diferentes uma da outra e não têm nenhum tópico ou semelhança em comum.)",
47
- 1: "(As frases são completamente diferentes uma da outra e não têm nenhum tópico ou semelhança em comum.)",
48
- 2: "(As frases não estão diretamente relacionadas, mas compartilham algum tópico ou tema.)",
49
- 3: "(As frases são um pouco relacionadas: podem ter conteúdo diferente, mas têm alguns detalhes ou aspectos comuns.)",
50
- 4: "(As frases estão fortemente relacionadas, mas ainda têm algumas diferenças em detalhes ou palavras.)",
51
- 5: "(As frases transmitem essencialmente a mesma mensagem ou informação.)"
52
  }
53
 
54
  model_list = [
@@ -90,10 +90,12 @@ def similarity(s1, s2):
90
  output = model(**model_input)
91
  score = output[0][0].item()
92
  scores[name] = score
93
- average_score = sum(scores.values()) / len(scores)
 
 
94
  description = score_descriptions[round(average_score)]
95
  description_pt = score_descriptions_pt[round(average_score)]
96
- final_description = description + "\n \n" + description_pt
97
 
98
  for key, value in scores.items():
99
  scores[key] = '{:,.2%}'.format(min(value, 5) / 5)
 
34
  """ }
35
 
36
  score_descriptions = {
37
+ 0: "The sentences are {0} similar. The sentences are completely different from each other and do not have any common topic or similarity.",
38
+ 1: "The sentences are {0} similar. The sentences are completely different from each other and do not have any common topic or similarity.",
39
+ 2: "The sentences are {0} similar. The sentences are not directly related, but they share some topic or theme.",
40
+ 3: "The sentences are {0} similar. The sentences are somewhat related: they may have different content but have some common details or aspects.",
41
+ 4: "The sentences are {0} similar. The sentences are strongly related, but still have some differences in details or wording.",
42
+ 5: "The sentences are {0} similar. The sentences convey essentially the same message or information."
43
  }
44
 
45
  score_descriptions_pt = {
46
+ 0: "(As frases possuem uma semelhança de {0}. As frases são completamente diferentes uma da outra e não têm nenhum tópico ou semelhança em comum.)",
47
+ 1: "(As frases possuem uma semelhança de {0}. As frases são completamente diferentes uma da outra e não têm nenhum tópico ou semelhança em comum.)",
48
+ 2: "(As frases possuem uma semelhança de {0}. As frases não estão diretamente relacionadas, mas compartilham algum tópico ou tema.)",
49
+ 3: "(As frases possuem uma semelhança de {0}. As frases são um pouco relacionadas: podem ter conteúdo diferente, mas têm alguns detalhes ou aspectos comuns.)",
50
+ 4: "(As frases possuem uma semelhança de {0}. As frases estão fortemente relacionadas, mas ainda têm algumas diferenças em detalhes ou palavras.)",
51
+ 5: "(As frases possuem uma semelhança de {0}. As frases transmitem essencialmente a mesma mensagem ou informação.)"
52
  }
53
 
54
  model_list = [
 
90
  output = model(**model_input)
91
  score = output[0][0].item()
92
  scores[name] = score
93
+ assin2_scores = {k: v for k, v in scores.items() if "ASSIN 2" in k}
94
+ average_score = sum(assin2_scores.values()) / len(assin2_scores)
95
+ average_score_str = '{:,.2%}'.format(min(average_score,5) / 5)
96
  description = score_descriptions[round(average_score)]
97
  description_pt = score_descriptions_pt[round(average_score)]
98
+ final_description = description.format(average_score_str) + "\n \n" + description_pt.format(average_score_str)
99
 
100
  for key, value in scores.items():
101
  scores[key] = '{:,.2%}'.format(min(value, 5) / 5)