In 1779 telde de stad nog ongeveer 25.000 inwoners, maar daarna zette het verval in. De zeeblokkade en het verlies van een aantal VOC- en WIC-bezittingen tijdens de Vierde Engelse Oorlog begin jaren 1780 zorgden voor economische neergang. In 1795 was Middelburg teruggezakt tot 20.146 inwoners en was daarmee de achtste stad van het land. De economische neergang werd nog versterkt tijdens de Franse Tijd. De economische neergang van de Bataafse Republiek kwam in Zeeland het hardst aan van het hele land. Er was geen geld voor havenverbetering en de bevolking trok bij gebrek aan werk weg uit de stad. In 1807 was de bevolking met ruim een derde gedaald tot 16.000 inwoners. Direct na de Franse Tijd werd onder leiding van koning Willem I tussen 1815 en 1817 nog wel een nieuw havenkanaal gegraven naar het Veerse Gat ter vervanging van het verzande Kanaal van Welzinge naar de reeds ingepolderde delen bij Arnemuiden, maar dit leidde niet tot enige verbetering. Tussen 1817 en 1824 daalde de bevolking zelfs tot onder de 13.000, waarmee deze in ongeveer 50 jaar bijna gehalveerd werd. Dit had tot gevolg dat een kwart van alle huizen en ook veel beeldbepalende panden in de stad werden afgebroken. Zo verdwenen in 1823 de Waag (1526), in 1827 de gevangenis het Gravensteen (1449) en later in 1878 het Accijnshuis en in 1882 de Wisselbank. Een groot deel van de 19e eeuw bleef het economisch tij slecht. Een in 1838 opgerichte weverij in een van de voormalige WIC-pakhuizen ging in 1869 weer failliet. Ter werkverschaffing werden de stadswallen tussen 1841 en 1849 van een wandelroute voorzien en werd het Molenwater eerst deels gedempt in 1817 en vervolgens geheel tussen 1859 en 1864.