El fort Vermell va ser concebut com una unitat, motiu pel qual no ha patit gaires reformes quant a l'estructura original. No obstant això, al segle XVIII, es van danyar algunes seccions de l'edifici. El 1857, després de la rebel·lió índia, l'exèrcit britànic el va ocupar i va destruir gran part dels pavellons i jardins. El 1903, es va iniciar un programa de restauració de la fortificació. Els murs estan suaument decorats, amb alguns detalls més pesats a la zona superior.