En 1556 se produjo la abdicación de Carlos I y su consecuente viaje a España, y el 12 de noviembre, camino del monasterio de Yuste, hizo su entrada en el Castillo de Oropesa, ubicado en Jarandilla de la Vera, donde fue hospedado por su propietario, el III conde de Oropesa, Fernando Álvarez de Toledo y Figueroa, quien era hermano de Francisco y que también recibió al anciano exmonarca.