En 1835 el castillo fue cedido por su propietario en el momento —Manuel de Toledo, duque de Pastrana— a perpetuidad al municipio para ser utilizado como cementerio.