En 1857 tras la revuelta de los cipayos, el ejército británico lo ocupó y destruyó gran parte de sus pabellones y jardines.