En el palacio nacieron Juana, Isabel, Luis y Cristóbal Colón de Toledo, hijos de don Diego Colón y su esposa doña María Álvarez de Toledo.