|
--- |
|
license: apache-2.0 |
|
language: |
|
- pt |
|
- en |
|
tags: |
|
- code |
|
- kj |
|
--- |
|
|
|
# Model Card for Model ID |
|
|
|
<!-- Provide a quick summary of what the model is/does. --> |
|
|
|
This modelcard aims to be a base template for new models. It has been generated using [this raw template](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/modelcard_template.md?plain=1). |
|
|
|
## Model Details |
|
|
|
### Model Description |
|
|
|
-- Esse trabalho consiste em desenvolver um modelo de linguagem grande (LLM) com 2.3 milhões de parâmetros usando a arquitetura LLaMA 1, |
|
-- implementado em um notebook do Google Collaboratory. Os alunos irão construir um LLM desde o pré-processamento dos dados até a avaliação |
|
-- do desempenho do modelo. O projeto envolverá as etapas principais de preparação de dados, configuração do modelo, treinamento e avaliação. |
|
|
|
|
|
- **Developed by:** Amanda Freire |
|
- **Funded by [optional]:** Amanda Freire |
|
- **Shared by [optional]:** Amanda Freire |
|
- **Model type:** LLaMa-1 |
|
- **Language(s) (NLP):** [More Information Needed] |
|
- **License:** Apache |
|
|
|
## Uses |
|
|
|
-- modelo GPT-2 na coleção TinyShakespeare. |
|
-- Implementação dos componentes principais da arquitetura LLaMA 1 [4]: |
|
-- RMSNorm |
|
-- SwiGLU |
|
-- Rotary Embeddings |
|
|
|
|
