Al morir los Cárdenas, el conde-duque de Olivares compró el señorío en 1633.