Precisamente este Pedro de Guzmán inaugura la Casa de Olivares, una de las ramas menores de la casa, que tendrá mucho protagonismo en la historia de España en la figura del Conde-Duque de Olivares.