Se sabe que la Cofradía pierde el Hospital a mediados del siglo XVII, puesto que ya en 1657 se celebraban los cabildos en la Parroquia de Santo Domingo.