Después de perder el favor de Carlos II, su valido Fernando de Valenzuela, vivió desterrado en el castillo.