En una de sus dependencias se alojó la reina Juana I de Castilla, durante casi dos meses tras la muerte de Felipe "el Hermoso", hasta que decidió partir hacia la Cartuja de Miraflores, el 20 de diciembre de 1506, con el ánimo determinado de recuperar el cadáver de su marido.