Es muy probable que el emperador Carlos V pernoctara en el palacio en su camino al Monasterio de Yuste, en la provincia de Cáceres, en 1553.