Desde entonces, la entidad cayó en una profunda crisis económica y deportiva que llegó incluso a amenazar la existencia del equipo: en 2006 los blanquinegros descendieron a Tercera, y sin plantilla profesional cayeron en 2008 a Primera Regional.