Eind 18e eeuw kocht Abraham van Doorn, die zijn fortuin verdiende in de West, het pand. Lang kon hij in eerste instantie niet genieten van zijn woning, want in 1803 moest Van Doorn het huis kortstondig beschikbaar stellen aan Napoleon, die Vlissingen kwam inspecteren. In 1809 werd het Vlissingse stadhuis bij een bombardement tijdens de Engelse aanval op Walcheren verwoest en na de aftocht van de Fransen werd in 1814 het Van Dishoeckhuis het nieuwe stadhuis, wat het zou blijven tot 1965.