Ayant perdu son utilité militaire en 1826, le fort fut vendu à des particuliers aux enchères, puis transformé en résidence de villégiature par les habitants civils qui superposèrent deux corps de maison à la garnison formant la bâtisse actuelle. En 1942, pendant l'établissement du Mur de l'Atlantique, les lieux furent occupés par l'armée allemande qui réaménagea les anciennes meurtrières et y installa un canon antiaérien. Après le débarquement de 1944, le fort retourna dans des mains civiles, d'abord en possession du maire de Saint-Servan qui ensuite le vendit en 1959 au chanteur Léo Ferré qui y résida jusqu'en 1968, y composant de nombreuses chansons, notamment "La Mémoire et la mer".