В ходе истории сооружение здания неоднократно повреждалось. Например, в 1381 году, во время крестьянского восстания, часть здания была разрушена. 4 сентября 1666 года, во вторник, когда в Лондоне бушевал Великий пожар, здание сгорело дотла; заключенных эвакуировали в самый последний момент. После , тогдашний начальник тюрьмы, снял здание в Ламбете для временного размещения заключенных, само здание Флитской тюрьмы было восстановлено на прежнем месте.