Til tross for byens betydning som forsvarsverk holdt folketallet seg lavt, rundt 2000 innbyggere, frem til svenskenes invasjon og okkupasjon (i 1814–1815). Under denne okkupasjonen ble Mossekonvensjonen undertegnet av Sveriges daværende kronprins Karl Johan i Fredrikstad.