En estos años vivió el descenso del club a la Segunda división B en 1983 y los graves problemas económicos y deportivos por los que pasaba en aquel entonces el equipo vitoriano.