Hijo de Antonio Álvarez de Toledo Osorio, XI marqués de Villafranca del Bierzo, y de María Antonia Gonzaga y Caracciolo, hija del I duque de Solferino y de su segunda mujer Julia Caracciolo, hija de los príncipes de Santo Buono.