Era hijo de Fadrique Vicente Álvarez de Toledo Osorio, IX marqués de Villafranca, y de Juana Pérez de Guzmán -hija de Manuel Alonso Pérez de Guzmán y Pimentel, XII duque de Medina Sidonia-.