En Olivares se conserva el Palacio del Conde-Duque del mismo título, que hoy en día es la sede del ayuntamiento del municipio, y en Loeches, se conserva la portada de su palacio.