Posteriormente inició un declive progresivo que obligó a dejar de procesionar en el año 1971 a la Hermandad de Nuestro Padre Jesús del Perdón y en 1973 a la del Cristo de la Agonía por falta de hermanos.