Byen blomstret, og dette var en viktig grunn til at Nederland gjorde gjentatte forsøk på å erobre byen på 1600-tallet. I 1670 leaset Portugal territoriet fra Qing-dynastiets Kina, skjønt det ikke var noe formelt suverenitetsskifte.