app.py

import gradio as gr
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

article_string = "Author: <a href=\"https://huggingface.co/ruanchaves\">Ruan Chaves Rodrigues</a>. Read more about our <a href=\"https://github.com/ruanchaves/evaluation-portuguese-language-models\">research on the evaluation of Portuguese language models</a>."

app_title = "Semantic Similarity (Similaridade Semântica)"

app_description = """
This app calculates the semantic similarity between two pieces of Portuguese text using multiple models. You can either introduce your own sentences by filling in "Text 1" and "Text 2" or click on one of the example pairs provided below.

(Este aplicativo calcula a similaridade semântica entre dois trechos de texto em português usando vários modelos. Introduza suas próprias frases preenchendo "Text 1" e "Text 2", ou clique em um dos pares de exemplo fornecidos abaixo.)
"""

app_examples = [
    ["Uma pessoa tem cabelo loiro e esvoaçante e está tocando violão.", "Um guitarrista tem cabelo loiro e esvoaçante."],
    ["A batata está sendo descascada por uma mulher", "Uma mulher está descascando a batata"],
    ["Uma mulher está temperando um pedaço de carne", "Não tem nenhum homem carregando um rifle com balas"]
]

output_textbox_component_description = """
This box will display the semantic similarity evaluation based on the average score of multiple models.

(Esta caixa exibirá a avaliação de similaridade semântica com base na pontuação média de vários modelos.)
"""

output_json_component_description = { "breakdown": """
This box presents a detailed breakdown of the evaluation for each model, 
displaying the percentage of similarity between the text pairs.
""",
"detalhamento": """
(Esta caixa apresenta um detalhamento da avaliação para cada modelo,
exibindo a porcentagem de similaridade entre os pares textuais.)
""" }

score_descriptions = {
    0: "The sentences are {0} similar. The sentences are completely different from each other and do not have any common topic or similarity.", 
    1: "The sentences are {0} similar. The sentences are completely different from each other and do not have any common topic or similarity.",
    2: "The sentences are {0} similar. The sentences are not directly related, but they share some topic or theme.",
    3: "The sentences are {0} similar. The sentences are somewhat related: they may have different content but have some common details or aspects.",
    4: "The sentences are {0} similar. The sentences are strongly related, but still have some differences in details or wording.",
    5: "The sentences are {0} similar. The sentences convey essentially the same message or information."
}

score_descriptions_pt = {
    0: "(As frases possuem uma semelhança de {0}. As frases são completamente diferentes uma da outra e não têm nenhum tópico ou semelhança em comum.)", 
    1: "(As frases possuem uma semelhança de {0}. As frases são completamente diferentes uma da outra e não têm nenhum tópico ou semelhança em comum.)",
    2: "(As frases possuem uma semelhança de {0}. As frases não estão diretamente relacionadas, mas compartilham algum tópico ou tema.)",
    3: "(As frases possuem uma semelhança de {0}. As frases são um pouco relacionadas: podem ter conteúdo diferente, mas têm alguns detalhes ou aspectos comuns.)",
    4: "(As frases possuem uma semelhança de {0}. As frases estão fortemente relacionadas, mas ainda têm algumas diferenças em detalhes ou palavras.)",
    5: "(As frases possuem uma semelhança de {0}. As frases transmitem essencialmente a mesma mensagem ou informação.)"
}

model_list = [
    "ruanchaves/mdeberta-v3-base-assin2-similarity",
    "ruanchaves/bert-base-portuguese-cased-assin2-similarity",
    "ruanchaves/bert-large-portuguese-cased-assin2-similarity",
    "ruanchaves/mdeberta-v3-base-assin-similarity",
    "ruanchaves/bert-base-portuguese-cased-assin-similarity",
    "ruanchaves/bert-large-portuguese-cased-assin-similarity",
]

user_friendly_name = {
    "ruanchaves/mdeberta-v3-base-assin2-similarity": "mDeBERTa-v3 (ASSIN 2)",
    "ruanchaves/bert-base-portuguese-cased-assin2-similarity": "BERTimbau base (ASSIN 2)",
    "ruanchaves/bert-large-portuguese-cased-assin2-similarity": "BERTimbau large (ASSIN 2)",
    "ruanchaves/mdeberta-v3-base-assin-similarity": "mDeBERTa-v3 (ASSIN)",
    "ruanchaves/bert-base-portuguese-cased-assin-similarity": "BERTimbau base (ASSIN)",
    "ruanchaves/bert-large-portuguese-cased-assin-similarity": "BERTimbau large (ASSIN)"
}

model_array = []

for model_name in model_list:
    row = {}
    row["name"] = model_name
    row["tokenizer"] = AutoTokenizer.from_pretrained(model_name)
    row["model"] = AutoModelForSequenceClassification.from_pretrained(model_name)
    model_array.append(row)


def similarity(s1, s2):
    scores = {}
    for row in model_array:
        name = user_friendly_name[row["name"]]
        tokenizer = row["tokenizer"]
        model = row["model"]
        model_input = tokenizer(*([s1], [s2]), padding=True, return_tensors="pt")
        with torch.no_grad():
            output = model(**model_input)
            score = output[0][0].item()
            scores[name] = score
    assin2_scores = {k: v for k, v in scores.items() if "ASSIN 2" in k}
    average_score = sum(assin2_scores.values()) / len(assin2_scores)
    average_score_str = '{:,.2%}'.format(min(average_score,5) / 5)
    description = score_descriptions[round(average_score)]
    description_pt = score_descriptions_pt[round(average_score)]
    final_description = description.format(average_score_str) + "\n \n" + description_pt.format(average_score_str)

    for key, value in scores.items():
      scores[key] = '{:,.2%}'.format(min(value, 5) / 5)

    return final_description, scores


inputs = [
    gr.inputs.Textbox(label="Text 1"),
    gr.inputs.Textbox(label="Text 2")
]

outputs = [
 gr.Textbox(label="Evaluation", value=output_textbox_component_description),
 gr.JSON(label="Similarity scores by model", value=output_json_component_description)
]


gr.Interface(fn=similarity, inputs=inputs, outputs=outputs, title=app_title, 
             description=app_description,
             examples=app_examples,
             article = article_string).launch()