El Conde-Duque de Olivares, celoso, lo depuso de sus cargos y lo encerró en el castillo de Villaviciosa de Odón.