Model Card for Model ID

This modelcard aims to be a base template for new models. It has been generated using this raw template.

Model Details

Model Description

-- Esse trabalho consiste em desenvolver um modelo de linguagem grande (LLM) com 2.3 milhões de parâmetros usando a arquitetura LLaMA 1, -- implementado em um notebook do Google Collaboratory. Os alunos irão construir um LLM desde o pré-processamento dos dados até a avaliação -- do desempenho do modelo. O projeto envolverá as etapas principais de preparação de dados, configuração do modelo, treinamento e avaliação.

Developed by: Amanda Freire
Funded by [optional]: Amanda Freire
Shared by [optional]: Amanda Freire
Model type: LLaMa-1
Language(s) (NLP): [More Information Needed]
License: Apache

Uses

-- modelo GPT-2 na coleção TinyShakespeare. -- Implementação dos componentes principais da arquitetura LLaMA 1 [4]: -- RMSNorm -- SwiGLU -- Rotary Embeddings