Sin embargo tras finalizar la liga 1976-77 en séptima posición y debido a la reestructuración de las competiciones por la creación de la 2ª División B, el conjunto blanco retorna a la Tercera División de España en 1977, aunque realmente se mantenía en la cuarta categoría del fútbol español y permaneciendo en ella, casi siempre con clasificaciones en mitad de la tabla en una categoría bastante más competitiva que la actual (compuesta sólo por 6 grupos), hasta la temporada 1982-83, en la que se firma una pésima temporada finalizando colista del grupo IX y venciendo sólo un encuentro.