De første europeerne på stedet var portugiserne, som bygde et festning der i 1624, på den klippen som i dag kalles . På toppen av klippen var det et berømt tempel, De tusen søylers pagode, men det ble revet av portugiserne. I 1639 angrep og inntok den hollandske admiral Westerwold stedet med en styrke på 12 skip. De gjenoppbygde festningen som var blitt ødelagt under angrepet, men oppgav ikke lenge etter. I 1665 bygde de opp en ny større og sterkere festning da det ble klart at både franskmennene og britene var interessert i havnen.