Durante la Guerra de la Independencia fue utilizado como cárcel para patriotas, entre ellos, estuvo prisionera Gertrudis Serrano, madre de Ramón Freire.