Este hecho formó antagonismo con la familia Ulloa, la que siempre deseó tener la Capilla de la Purísima Virgen en la Capilla de su jardín, como había sido al comienzo de la devoción.