Vlissingen kwam in 1795 onder Frans bestuur te staan en de Gevangentoren kreeg een militaire bestemming. Tijdens de beschietingen van de stad door de Engelse vloot in 1809 is de toren beschadigd. Na de Engelse aanval worden er op last van Napoleon in en rond Vlissingen grootschalige vestingwerken aangelegd. De Westpoort is in 1811 grotendeels afgebroken waarbij alleen de Gevangentoren bleef staan. De toren werd verlaagd en voorzien van een met aarde bedekt koepelgewelf. Aan deze bomvrije dakconstructie dankt de toren zijn bijnaam de 'Bomvrije'. Aan de landzijde van de toren bouwden de Fransen de Grote Kazerne of Caserne Cavalier. Deze kazerne is zwaar beschadigd tijdens de gevechten om de stad in 1944 en na de Tweede Wereldoorlog gesloopt. Na het vertrek van de Fransen uit Vlissingen in 1815 kwam de Gevangentoren in handen van het Nederlandse leger die hem in gebruik nam als militaire gevangenis. De toren zou deze functie tot omstreeks 1890 houden.