El origen del museo se remonta al año 1840, cuando el ayuntamiento acordó realizar unos cajones para conservar las banderas que durante la batalla contra el almirante Nelson de 1797 fueron ganadas a la Armada Británica.