Hijo de Miguel Álvarez de Toledo y Pimentel, IX marqués de Távara, grande de España y VIII conde de Villada, y de María Francisca de Silva Hurtado de Mendoza, XI duquesa del Infantado, grande de España.