Das "Clive’s House" genannte Gebäude im westlichen Teil des Forts trägt seinen Namen nach Robert Clive. In diesem Haus lebte Clive, der später als General einen wesentlichen Anteil an der Begründung der britischen Macht hatte, 1744, während er als Sekretär in Madras arbeitete. Später beherbergte es die britische Admiralität, heute ist in dem Gebäude der Archaeological Survey of India untergebracht. Das 1796 erbaute "Wellesley House", in dem Arthur Wellesley, der später die Schlacht bei Waterloo gewinnen sollte, sich während des Vierten Mysore-Krieges aufhielt, ist dagegen weitgehend verfallen.