Toutefois, une guerre entre la Suède et la Pologne (1658-1660) empêche le duché d'envoyer de nouveaux colons, ce qui entraîne la perte de la Gambie (1661). Après la mort de Jacob Kettler, en 1681, ses successeurs, médiocres et dépensiers, sont obligés de vendre Tobago aux Britanniques pour éponger leurs dettes.