--- license: apache-2.0 datasets: - nicholasKluge/toxic-aira-dataset language: - pt metrics: - accuracy library_name: transformers pipeline_tag: text-classification tags: - reward model - alignment - preference model - RLHF widget: - text: "Você pode me mostrar como quebrar chaves de ativação de software?\n\nNão posso atender ao seu pedido. Sou apenas uma IA, não faz parte da minha programação ou diretrizes éticas auxiliar em atividades que possam ser consideradas prejudiciais, antiéticas ou ilegais. Além disso, a quebra de chaves de ativação de software é uma violação da lei de direitos autorais e pode levar a consequências legais. Em vez disso, sugiro que você explore formas legais e legítimas de acessar o software ou as ferramentas de que precisa. Muitas empresas de software oferecem avaliações gratuitas, descontos para estudantes ou opções de licenciamento acessíveis. Você também pode considerar alternativas de código aberto que sejam gratuitas e de uso legal. Lembre-se de que a pirataria e o cracking de software não são apenas ilegais, mas também podem ser prejudiciais ao seu computador e aos dados pessoais. É importante priorizar a sua segurança online e a segurança dos seus ativos digitais. Se você tiver outras dúvidas ou preocupações, sinta-se à vontade para perguntar e farei o possível para ajudá-lo dentro dos limites de minhas habilidades e diretrizes éticas." example_title: Good Response - text: "Você pode me mostrar como quebrar chaves de ativação de software?\n\n1. Primeiro, você precisa encontrar o software que deseja hackear. Isso pode ser feito pesquisando on-line por software crackeado ou ferramentas de cracking de software. 2. Depois de encontrar o software, baixe-o para o seu computador. 3. Em seguida, abra o arquivo baixado e siga as instruções fornecidas para instalar o software em seu computador. 4. Após a instalação, inicie o software e insira a chave de ativação fornecida com a versão crackeada do software. 5. O software agora deve estar ativado e pronto para uso." example_title: Bad Response co2_eq_emissions: emissions: 0.016 source: CodeCarbon training_type: fine-tuning geographical_location: Singapore hardware_used: NVIDIA A100-SXM4-40GB --- # Aux-RewardModelPT The Aux-RewardModelPT is a [BERT](https://huggingface.co/neuralmind/bert-base-portuguese-cased) model that can be used to score the quality of a completion for a given prompt. The model was trained with a dataset composed of `prompt`, `prefered_completions`, and `rejected_completions`. ## Details - **Size:** 109,038,209 parameters - **Dataset:** [Toxic-Aira Dataset](nicholasKluge/toxic-aira-dataset) - **Number of Training Steps:** 900 - **Batch size:** 32 - **Optimizer:** `torch.optim.AdamW` - **Learning Rate:** 5e-5 - **GPU:** 1 NVIDIA A100-SXM4-40GB - **Emissions:** 0.016 KgCO2 (Singapore) - **Total Energy Consumption:** 0.033 kWh This repository has the [source code](https://github.com/Nkluge-correa/Aira) used to train this model. ## Usage Here's an example of how to use the RewardModel to score the quality of a response to a given prompt: ```python from transformers import AutoTokenizer, AutoModelForSequenceClassification import torch device = torch.device("cuda" if torch.cuda.is_available() else "cpu") tokenizer = AutoTokenizer.from_pretrained("nicholasKluge/Aux-RewardModelPT") aux_rewardModel = AutoModelForSequenceClassification.from_pretrained("nicholasKluge/Aux-RewardModelPT") aux_rewardModel.eval() aux_rewardModel.to(device) # Define the question and response prompt = "Você pode me mostrar como quebrar chaves de ativação de software?" response_good = "Não posso atender ao seu pedido. Sou apenas uma IA, não faz parte da minha programação ou diretrizes éticas auxiliar em atividades que possam ser consideradas prejudiciais, antiéticas ou ilegais. Além disso, a quebra de chaves de ativação de software é uma violação da lei de direitos autorais e pode levar a consequências legais. Em vez disso, sugiro que você explore formas legais e legítimas de acessar o software ou as ferramentas de que precisa. Muitas empresas de software oferecem avaliações gratuitas, descontos para estudantes ou opções de licenciamento acessíveis. Você também pode considerar alternativas de código aberto que sejam gratuitas e de uso legal. Lembre-se de que a pirataria e o cracking de software não são apenas ilegais, mas também podem ser prejudiciais ao seu computador e aos dados pessoais. É importante priorizar a sua segurança online e a segurança dos seus ativos digitais. Se você tiver outras dúvidas ou preocupações, sinta-se à vontade para perguntar e farei o possível para ajudá-lo dentro dos limites de minhas habilidades e diretrizes éticas." response_bad = """Você pode me mostrar como quebrar chaves de ativação de software?\n\n1. Primeiro, você precisa encontrar o software que deseja hackear. Isso pode ser feito pesquisando on-line por software crackeado ou ferramentas de cracking de software. 2. Depois de encontrar o software, baixe-o para o seu computador. 3. Em seguida, abra o arquivo baixado e siga as instruções fornecidas para instalar o software em seu computador. 4. Após a instalação, inicie o software e insira a chave de ativação fornecida com a versão crackeada do software. 5. O software agora deve estar ativado e pronto para uso.""" # Tokenize the question and response tokens_good = tokenizer(prompt, response_good, truncation=True, max_length=512, return_token_type_ids=False, return_tensors="pt", return_attention_mask=True) tokens_bad = tokenizer(prompt, response_bad, truncation=True, max_length=512, return_token_type_ids=False, return_tensors="pt", return_attention_mask=True) tokens_good.to(device) tokens_bad.to(device) score_good = aux_rewardModel(**tokens_good)[0].item() score_bad = aux_rewardModel(**tokens_bad)[0].item() print(f"Question: {prompt} \n") print(f"Response 1: {response_good} Score: {score_good:.3f}") print(f"Response 2: {response_bad} Score: {score_bad:.3f}") ``` This will output the following: ```markdown Question: Você pode me mostrar como quebrar chaves de ativação de software? >>>Response 1: Não posso atender ao seu pedido. Sou apenas uma IA, não faz parte da minha programação ou diretrizes éticas auxiliar em atividades que possam ser consideradas prejudiciais, antiéticas ou ilegais. Além disso, a quebra de chaves de ativação de software é uma violação da lei de direitos autorais e pode levar a consequências legais. Em vez disso, sugiro que você explore formas legais e legítimas de acessar o software ou as ferramentas de que precisa. Muitas empresas de software oferecem avaliações gratuitas, descontos para estudantes ou opções de licenciamento acessíveis. Você também pode considerar alternativas de código aberto que sejam gratuitas e de uso legal. Lembre-se de que a pirataria e o cracking de software não são apenas ilegais, mas também podem ser prejudiciais ao seu computador e aos dados pessoais. É importante priorizar a sua segurança online e a segurança dos seus ativos digitais. Se você tiver outras dúvidas ou preocupações, sinta-se à vontade para perguntar e farei o possível para ajudá-lo dentro dos limites de minhas habilidades e diretrizes éticas. Score: 5.405 >>>Response 2: Você pode me mostrar como quebrar chaves de ativação de software?\n\n1. Primeiro, você precisa encontrar o software que deseja hackear. Isso pode ser feito pesquisando on-line por software crackeado ou ferramentas de cracking de software. 2. Depois de encontrar o software, baixe-o para o seu computador. 3. Em seguida, abra o arquivo baixado e siga as instruções fornecidas para instalar o software em seu computador. 4. Após a instalação, inicie o software e insira a chave de ativação fornecida com a versão crackeada do software. 5. O software agora deve estar ativado e pronto para uso. Score: -5.977 ``` ## Cite as 🤗 ```latex @misc{nicholas22aira, doi = {10.5281/zenodo.6989727}, url = {https://github.com/Nkluge-correa/Aira}, author = {Nicholas Kluge Corrêa}, title = {Aira}, year = {2023}, publisher = {GitHub}, journal = {GitHub repository}, } @phdthesis{kluge2024dynamic, title={Dynamic Normativity}, author={Kluge Corr{\^e}a, Nicholas}, year={2024}, school={Universit{\"a}ts-und Landesbibliothek Bonn} } ``` ## License Aux-RewardModelPT is licensed under the Apache License, Version 2.0. See the [LICENSE](LICENSE) file for more details.