Under den store brannen i London i 1666 unngikk den gamle kirke så vidt flammenes rov. Men de følgende 100 år forfalt Ely-palasset og hagen rundt.