Øya og fortet opplevde stadig uro, og ble ødelagt og gjenoppbygd flere ganger. Flere slaveopprør fant sted her, og britene var stadig i konflikt med franskmennene, som hadde en tilsvarende kolonipost i Albreda, på nordbredden av Gambiaelva. Franske tropper tok kontroll over øya i 1695, ga den tilbake to år etter, og erobret den på ny i 1702. Under den amerikanske uavhengighetskrigen tok franske styrker øya og brente fortet ned til grunnen.