Era hijo de Pedro Álvarez de Toledo y Zúñiga —virrey de Nápoles— y de María Osorio Pimentel —II marquesa de Villafranca— y nieto de Fadrique Álvarez de Toledo y Enríquez, II duque de Alba de Tormes.