Le château, abandonné au , sert de carrière de pierre. Les étages supérieurs du donjon sont détruits. De 1809 à 1944, le collège de Falaise s'établit entre les murs du château. Entre-temps il est classé au titre des monuments historiques en 1840. L'architecte, Victor Ruprich-Robert (disciple de Viollet-le-Duc) entame, à partir de 1864, une campagne de restauration qui sauve les donjons de la ruine. Les donjons furent peu touchés par les bombardements alliés lors des combats de la Poche de Falaise qui ont rasé les bâtiments modernes, mais également la chapelle romane qui se trouvait au centre de l'esplanade.