Etter at stormogulens styre hadde opphørt, godkjente britene en systematisk plyndring av verdiene i fortets palass. Alle møbler ble fjernet eller ødelagt, haremets leiligheter, tjenerskapets kvarterer og hagene ble ødelagt og en rekke med militære brakker i stein ble bygget. Bare marmorbygningene på østsiden av det lukkede keiserlige palasset overlevde fullstendig ødeleggelse, men ble plyndret og ødelagt. Mens festningsmurene og turellene ble relativt uskadd, ble mer enn 2/3 av de indre strukturene ødelagt av britene. Senere gjorde lord Curzon, som var visekonge av India i årene 1899 til 1905, visse forsøk på å reparere skadene, som han også tok initiativ til restaurering av Taj Mahal.