जैसे-जैसे अंग्रेज़ों की सत्ता मज़बूत होती गई, यूरोपीय निवासी क़िले से बाहर जाने लगे| गार्डन हाउसेज़ सबसे पहले माउंट रोड और पूनामाली|