El 10 de enero de 1563, Fadrique Álvarez de Toledo contrajo matrimonio por segunda vez con María Josefa Pimentel y Girón, segunda hija mujer de Antonio Alonso Pimentel y Herrera de Velasco, conde y duque de Benavente y de su esposa María Luisa Girón Enríquez.