Im Zuge der Kampfhandlungen, die schließlich in den Zweiten Englisch-Niederländischen Krieg führten, wurde Goeree am 23. Januar 1663 von den Engländern unter Robert Holmes erobert. Am 11. Oktober 1664 eroberten die Niederländer unter Michiel de Ruyter die Insel wieder zurück. Im Dritten Englisch-Niederländischen Krieg ging sie den Niederländern endgültig verloren, als sie am 1. November 1677 von den mit den Engländern verbündeten Franzosen unter d’Estrées erobert und in die Kolonie Senegal eingegliedert wurde. Die Engländer bestritten die Rechtmäßigkeit des französischen Besitzes. Am 4. Februar 1693 eroberten sie Gorée für vier Monate. Weitere Besetzungen durch die Engländer waren 1758–1763, 1779–1783, 1800–1804 und (nach zweimonatiger französischer Rückeroberung) 1804–1817. Insgesamt wechselte die Insel 17-mal den Besitzer. Vom 1. November 1854 bis zum 26. Februar 1859 wurde Gorée aus dem Senegal ausgegliedert und war Teil der Kolonie "Gorée et dépendances."