Fortet ble flere ganger utvidet og ombygd. En viktig ombygning skjedde etter at Siraj ud-Daulah hadde klart å erobre det i 1756 og holdt det i en kortere stund. I den tiden han holdt fortet, fikk det navnet Alinagar.