Byen ble formelt bispesete i 1804, men biskopen bosatte seg ikke der før 1834. I 1807 hadde byen ennå ikke 100 innbyggere. Byen gikk trange tider i møte, fordi Norge ble viklet inn i Napoleonskrigene. I 1812 ble byen angrepet av engelske styrker, men i slaget ved Pølsehamna (nord for brua) satte den lille dansk-norske garnisonen seg så kraftig til motverge at engelskmennene ikke våget å gå inn i selve byen. Angrepet skjedde den 2. august 1812, og datoen er fortsatt en merkedag i det danske sjøforsvar. Kornlageret på Skansen ble reddet. I disse årene ble pomorhandelen med Russland stadig viktigere.