Antonio Álvarez de Toledo fue hijo de Diego Álvarez de Toledo y Enríquez de Guzmán —hijo a su vez del III duque de Alba de Tormes, Fernando Álvarez de Toledo y Pimentel— y de Brianda de Beaumont.