En 1755, le commandant du fort dirigea la déportation des Acadiens de la région. Le fort perdit de son importance après la chute de Québec. Il servit ensuite à défendre la région contre les corsaires américains, en particulier durant la Révolution américaine et la Guerre de 1812. Le fort fut ensuite rebaptisé fort Anne dans la première moitié du . Il fut habité en permanence par les militaires anglais jusqu'en 1854. Le fort devint un lieu historique national en 1917, ce qui en fait le plus ancien au pays.