Era hijo de García Álvarez de Toledo Osorio, IV marqués de Villafranca del Bierzo, y de Vittoria Colonna di Paliano -hija de Ascanio Colonna, II Duque de Paliano, y de Juana de Aragón-.