Tras el éxito regresó la decepción: en la temporada siguiente (1963/64), el conjunto blanquivioleta regresaba a Segunda, pozo donde permaneció ininterrumpidamente (llegando incluso a jugar en Tercera División durante la temporada 1970/71) hasta finales de los años 70.