હાલના ગાંધીસ્મૃતિ ભવનની સામેનાં ભાગમાં ફ્રેન્ચોએ સુરતનું પહેલુ ચર્ચ બાંધ્યુ. ડચ પ્રજાએ હાલનાં ડચ ગાર્ડનની સામે કોઠી બાંધી, જે સુરતની પહેલી વહીવટી કચેરી બની. પોર્ટુગીઝોએ આઇ.પી. મીશન સ્કુલની સામે કોઠી બાંધી, જે હાલ પારસીની વાડી તરીકે ઓળખાય છે અને બ્રિટીશરો એ પહેલું છાપખાનું, કન્યાશાળા તેમજ કુમાર શાળા બંધાવી, જે આઇ.પી. મીશન સંકુલ તરીકે ઓળખાય છે. આ ગાળા દરમ્યાન શીવાજીનાં આક્રમણો સુરત પર વધ્યાં હતાં અને તેણે અનેક વખત સુરત તેમજ "નાણાંવટ"ને લૂંટ્યું હતું. સમય જતાં લૂંટફાટ, કુદરતી આપત્તિઓને કારણે હવે સુરતની જગ્યા ધીરે-ધીરે મુંબઇ લેવા માંડ્યુ હતુ. છતાં આ સમય દરમ્યાન અહીંના સ્થાનિક વેપારીઓ તેમજ પ્રજાએ સુરતની જાહોજલાલી ટકાવવા પૂરતાં પ્રયત્નો કર્યા. જેમાં શેઠ ગોપીચંદ (કે જેમણે ગોપીપુરા અને ગોપીતળાવ વિક્સાવ્યા) અને માણેકજી વાડિયા (કે જેમણે સુરતનાં અને મુંબઇનાં જહાજવાડામાં અનેક ઐતિહાસિક જહાજો બનાવ્યાં હતાં) તથા તેમના કુટુંબે બ્રિટીશરો વતી ઇજિપ્ત પાસે નેપોલીયનની સામે અને અમેરીકાનાં સ્વાતંત્ર વિગ્રહમાં લડત આપી હતી.