Llegaría la peor etapa del equipo hasta la fecha en la pues en lo deportivo el equipo finaliza sexto sin poder acceder al play-off de ascenso y en lo social el presidente presenta una carta de dimisión el 3 de junio de 2004 por lo que tuvo que ser relevado durante un tiempo por una junta gestora provisional hasta que el 18 de junio de ese mismo año la nueva junta directiva presidida por José Bouso tomó el control del club.