En 1600 las monjas Terciarias del Convento de la Cruz de Cristo extramuros, fundado por María de la Cruz, compraron este edificio, que era una de las mejores casas de Zafra quizás la mejor tras el Alcázar, para nuevo monasterio de la orden con la oposición de la I Duquesa de Feria, Juana Dormer, por entonces gobernadora del Estado de Feria, que quiso destinar el palacio a un colegio de jesuitas.