De allí en adelante el equipo no pudo repetir buenos rendimientos en la categoría, deambulando alternativamente entre la mitad de la tabla y la pelea por la permanencia: fue 18° con 37 puntos en 40 PJ en la 2004-05, 15° con 43 puntos en 34 PJ en la 2005-06, 18° con 46 puntos (22 Apertura y 24 Clausura) en 42 PJ en la 2006-07 y 14° con 49 puntos en 40 PJ en la 2007-08.