Era hijo de Pedro Álvarez de Toledo Osorio, V Marqués de Villafranca del Bierzo, y de Elvira de Mendoza.