Invitado por su privado, el emperador Carlos I pasó largas temporadas en el Palacio de los Vargas y es posible que en él viviera durante algún tiempo el rey Francisco I de Francia, mientras estuvo cautivo en Madrid entre 1525 y 1526.