c851458/warehouse-rush-qlearning

Warehouse Rush · Q-learning

Agente de Q-learning tabular que controla un robot de bodega en el entorno WarehouseRush-v1 (Gymnasium). Cada episodio es un pedido de 3 paquetes que el robot debe recoger de las estanterías y entregar, en orden, en la zona de su color. Hay paquetes normales, pesados (gastan el doble de batería) y frágiles (se rompen si el robot choca), y el robot debe recargar su batería en la estación de carga.

Evaluación

Sin exploración, sobre 500 pedidos que no se usaron en el entrenamiento:

Métrica	Valor
Pedidos completos	98.6 %
Paquetes entregados por pedido	2.980
Pasos por pedido	68.066
Recompensa media	62.592
Rescates por batería agotada	0.168
Paquetes frágiles rotos	0.000
Cargas de batería	0.174
Choques	0.014

Entrenamiento

Parámetro	Valor
Episodios	40000
Tasa de aprendizaje (α)	0.1
Factor de descuento (γ)	0.99
ε mínimo	0.05 (alcanzado al 70 % del entrenamiento)
Batería máxima	100
Pasos máximos por pedido	400

Run de MLflow: 5cb6f867b34b4a57bce0d49436c42f07 (pipeline) · commit de git: faa34d6.

Formato

q_table.npy: tabla Q (float32, forma [11, 15, 5, 2, 3, 40, 7]), indexada por la observación [fila, columna, nivel de batería, lleva paquete, tipo del paquete que lleva, objetivo] y la acción (0 arriba, 1 abajo, 2 izquierda, 3 derecha, 4 recoger, 5 entregar, 6 cargar).

import numpy as np
from huggingface_hub import hf_hub_download

q = np.load(hf_hub_download("c851458/warehouse-rush-qlearning", "q_table.npy"))
accion = int(np.argmax(q[tuple(observacion)]))

Para verlo en 3D desde el proyecto: ./train3d.py --demo-only --modelo hf:c851458/warehouse-rush-qlearning