Da Storbritannia i 1807 vedtok å forby menneskehandel ble James Island på ny tatt i bruk, og fortet ble nå et senter for soldater som hadde i oppdrag å stoppa andre lands handel med slaver. Øya ble fraflyttet for siste gang i 1829, da vokterne ble flyttet til den mer strategiske St. Mary's Island, som er blitt til dagens Banjul.