Vincennesin linna toimi myös vankilana 1500-luvulta aina 1800-luvulle asti. Siellä olivat vankeina muun muassa valtiomiehet Nicolas Fouquet ja Mirabeau sekä kirjailijat Denis Diderot ja markiisi de Sade. 1700-luvun puolivälissä linnan alueella toimi muun muassa Vincennesin posliinitehdas ja muutaman vuoden ajan kadettikoulu École militaire. Napoleonin aikana linna muutettiin varuskunnaksi ja asevarastoksi. Vuoden 1814 Pariisin valtauksen aikana Vincennesin varuskuntaa komensi kenraali Pierre Daumesnil, joka kieltäytyi antautumasta ylivoimaiselle viholliselle edes sen jälkeen kun koko Pariisi oli jo kukistunut. Vuonna 1840 Vincennesin linna muutettiin osaksi Pariisia ympäröivää puolustuslinnakkeiden ketjua. Keisari Napoleon III lahjoitti linnaa ympäröivän Vincennesin metsän yleiseksi puistoksi Pariisin kaupungille vuonna 1860.