En 1767 Carlos III de España expulsa a los jesuitas de España y la compra Don Juan de Aguirre y la convierte en una residencia de lujo en la que llegaría a alojarse Carlos IV de España.