Se enamora del paisaje y de la riqueza cinegética de la zona, y decidió levantar un palacio en el lugar en que se encontraba la ermita de San Ildefonso, para lo cual compró a la comunidad de monjes del Parral la granja-ermita, la hospedería y terrenos circundantes.