クンタ・キンテ島
1695年にはジェームズ要塞は戦闘の末にフランスの手に渡った。イギリスは1697年に奪還したものの、1702年に再び奪われた。この時期には英仏間の戦闘や海賊の襲撃などによって、ジェームズ要塞は破壊と再建を繰り返した。
1750年には、ガンビアの行政権は王立アフリカ会社の後継に当たるアフリカ商人会社 (the Company of Merchants Trading to Africa) が受け持つこととなった。1765年5月25日から1779年2月11日までは、ジェームズ島のイギリス領のセネガンビア州の一部だった。1779年にフランス軍によって、ジェームズ要塞は徹底的に破壊され、それ以降は再建されることはなかった。
1783年のヴェルサイユ条約によって、ジェームズ島(および他のガンビア川沿岸地域)がイギリスに帰属することになったが、要塞を破壊しつくされた島は1815年に完全に放棄され、その後は定住者もいなくなっていた。ガンビアの独立(1965年)から間もない頃には、要塞は野草に覆われ、大砲も錆びて廃れていたというが、その後、史跡に指定され、現在ではかつての奴隷貿易の拠点として、世界遺産「クンタ・キンテ島と関連遺跡群」に含まれている。
アレックス・ヘイリーの小説『ルーツ(英語版)』と、それを原作とするテレビドラマによって、ガンビアの奴隷貿易は広く知られるようになったが、それらにおいてヘイリーの先祖として描かれたクンタ・キンテ(英語版)も、かつてはジェームズ島から奴隷として出航させられたという。そのクンタ・キンテにちなみ、2011年にジェームズ島はクンタ・キンテ島と改名された。