Abandonado en el siglo XVIII, el castillo siguió siendo utilizado, primero por la industria de porcelanas de Vincennes, luego como prisión estatal que albergaría al Marqués de Sade, a Denis Diderot y al conde de Mirabeau, y después como comunidad de monjas de la Comunidad Inglesa Benedictina de Cambrai.