Die Anwesenheit deutsch-baltischer Siedler und Händler ab 1651 war nur von kurzer Dauer, da der Herzog während des Schwedisch-Polnischen Krieges (1655–1660) in schwedische Gefangenschaft geriet und damit der kurländische Kolonialismus endete. In der Folgezeit wechselte James Island mehrmals den Besitzer, mehrere europäische Nationen, private Kaufleute und Piraten hatten Interesse an dieser Insel. Da die Wasser- und Holzversorgung der Insel vom Festland abhängig war, griffen die Könige von Nuimi immer wieder mit wechselnder Parteinahme in die Auseinandersetzungen ein.