Nadir Şah'ın Babür İmparatorluğu'nu 1747'de işgalinde kaledeki sanat eserleri ve mücevherler yağmalandı. Kalenin mermer yapılarının çoğu daha sonra İngilizler tarafından 1857 Hint Ayaklanması'nı müteakiben takiben yok edildi. Kalelerin savunma duvarları büyük ölçüde kurtarılmış ve kale daha sonra bir garnizon olarak kullanılmıştı. Kızıl Kale, İngilizlerin son Babür İmparatoru'nu 1858 yılında Yangon'a sürgüne göndermeden önce tutuklu olarak tuttukları son yerdi.