Carlos I habitó el Palacio durante sus estancias en Valladolid y en 1537 Isabel de Portugal daría aquí a luz al infante Juan que sólo sobreviviría unos meses.