Posteriormente la Casa de Olivares se incorporó a la Casa del Carpio y luego a la Casa de Alba, por el casamiento de Catalina de Haro y Guzmán, duquesa de Olivares, con Francisco de Toledo y Silva, duque de Alba de Tormes en 1688.