Cuando el partido de derecha se hizo con el poder, el hospital pasó a manos de los mismos y fue fundado posteriormente el Palacio de Los Condes de Ayala, como se conoce actualmente en la población extremeña de Castuera.