La fortaleza fue demolida parcialmente en la década de 1850 para construir en su lugar el edificio de la Aduana Nueva, proyecto del arquitecto inglés Edward Taylor.