Instructions to use Jardel26/Nexora-Qwen3-4B-Instruct with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Jardel26/Nexora-Qwen3-4B-Instruct with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="Jardel26/Nexora-Qwen3-4B-Instruct")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("Jardel26/Nexora-Qwen3-4B-Instruct", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use Jardel26/Nexora-Qwen3-4B-Instruct with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Jardel26/Nexora-Qwen3-4B-Instruct"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Jardel26/Nexora-Qwen3-4B-Instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/Jardel26/Nexora-Qwen3-4B-Instruct

SGLang

How to use Jardel26/Nexora-Qwen3-4B-Instruct with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "Jardel26/Nexora-Qwen3-4B-Instruct" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Jardel26/Nexora-Qwen3-4B-Instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "Jardel26/Nexora-Qwen3-4B-Instruct" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Jardel26/Nexora-Qwen3-4B-Instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Unsloth Desktop
Docker Model Runner
How to use Jardel26/Nexora-Qwen3-4B-Instruct with Docker Model Runner:
```
docker model run hf.co/Jardel26/Nexora-Qwen3-4B-Instruct
```

Nexora Qwen3-4B Instruct

Modelo ajustado por fine-tuning com LoRA/QLoRA a partir do Qwen3-4B, desenvolvido para atuar como assistente virtual especializado da Nexora Tech Solutions.

Sobre a Nexora Tech Solutions

A Nexora Tech Solutions é uma empresa brasileira B2B SaaS focada em digitalização e automação de processos para pequenas e médias empresas.

O assistente foi treinado para responder perguntas relacionadas à empresa, seus produtos e seus serviços, utilizando uma base de conhecimento específica da organização.

Produtos

A base de conhecimento contempla os seguintes produtos:

Nexora Flow — automação de processos e workflows.
Nexora Sales — gestão comercial, clientes, leads e oportunidades.
Nexora Desk — atendimento ao cliente e gestão de tickets.
Nexora Analytics — dashboards e indicadores de negócio.
Nexora Connect — integrações com sistemas externos por APIs e mecanismos compatíveis.

Dataset

O treinamento foi realizado com um dataset proprietário/fictício desenvolvido para este projeto.

Total de exemplos: 511 pares de pergunta e resposta
Treinamento: 459 exemplos
Validação: 52 exemplos
Formato: JSONL
Estrutura: mensagens no formato system, user e assistant
Idioma principal: Português (Brasil)

Dataset disponível em:

https://huggingface.co/datasets/Jardel26/Nexora-Knowledge-Base

Modelo base

O modelo utilizado como base foi:

unsloth/Qwen3-4B

O carregamento foi realizado em 4-bit, utilizando a infraestrutura do Unsloth.

Fine-tuning

Foi utilizado Supervised Fine-Tuning (SFT) com adaptadores LoRA/QLoRA.

Configuração do LoRA

LoRA rank (r): 16
LoRA alpha: 16
LoRA dropout: 0
RSLoRA: habilitado
Gradient checkpointing: Unsloth
Módulos alvo:
- q_proj
- k_proj
- v_proj
- o_proj
- gate_proj
- up_proj
- down_proj

Configuração do treinamento

Épocas: 1
Batch size por dispositivo: 2
Gradient accumulation steps: 4
Learning rate: 1e-4
Warmup ratio: 0.05
Weight decay: 0.01
Max gradient norm: 1.0
Scheduler: cosine
Otimizador: AdamW 8-bit
Maximum sequence length: 2048
GPU utilizada: NVIDIA Tesla T4

Resultado do treinamento

O treinamento foi concluído com sucesso.

Resultados registrados ao final do treinamento:

Métrica	Valor
Training Loss	0.6928
Validation Loss	0.7119
Epochs	1
Training examples	459
Validation examples	52

A curva de treinamento apresentou redução significativa da loss ao longo dos steps.

Exemplos de teste

Pergunta

Quais são os produtos da Nexora Tech Solutions?

Resposta

Os produtos da Nexora Tech Solutions são: Flow, Sales, Desk, Analytics e Connect.

Pergunta

Para que serve o Nexora Desk?

Resposta

O Nexora Desk é voltado à gestão de atendimento e suporte dos clientes.

Os testes foram realizados após o fine-tuning utilizando o modelo ajustado.

Limitações

O modelo foi desenvolvido para responder sobre a Nexora Tech Solutions com base nas informações presentes no dataset de treinamento.

Informações que não foram definidas na base de conhecimento não devem ser inventadas pelo assistente.

O modelo não deve ser considerado uma fonte geral de conhecimento empresarial ou técnico fora do domínio utilizado no treinamento.

Repositório do dataset

https://huggingface.co/datasets/Jardel26/Nexora-Knowledge-Base

Tecnologias utilizadas

Qwen3-4B
Unsloth
Transformers
PEFT / LoRA
QLoRA
Hugging Face Hub
Google Colab
NVIDIA Tesla T4

Projeto acadêmico

Projeto desenvolvido como atividade acadêmica de fine-tuning de Large Language Models, contemplando:

Construção de uma base de conhecimento;
Criação de dataset QnA;
Fine-tuning de um modelo de linguagem;
Avaliação por exemplos de inferência;
Publicação do modelo e dataset no Hugging Face Hub.

Downloads last month: -; Downloads are not tracked for this model. How to track

Model tree for Jardel26/Nexora-Qwen3-4B-Instruct

Base model

Qwen/Qwen3-4B-Base

Finetuned

Qwen/Qwen3-4B

Finetuned

unsloth/Qwen3-4B

Adapter

(63)

this model