Nel frattempo, il Ducato di Curlandia cominciava a subire le mire espansionistiche sia della Svezia che della Polonia: nel 1651, l'esercito svedese invase la Curlandia, dando l'inizio alla Seconda guerra del nord, che si concluse con la Pace di Oliwa del 1660, che segnò il declino della potenza del Ducato. Il duca Jakob venne fatto prigioniero: nel frattempo, sia la colonia africana che quella americana vennero prese dagli olandesi, che distrussero quanto costruito dai curlandesi. Lo Jekabforts fu accerchiato dalle forze olandesi, che costrinsero alla resa il governatore Hubert de Beveren. La Nuova Curlandia fu poi restituita al Ducato l'11 dicembre 1659 (come poi sancito dal Trattato di Oliva del 1660). Tuttavia, i curlandesi abbandonarono di nuovo Tobago nel 1666, forse in seguito a un attacco dei pirati. Nel 1668 un'altra nave tentò di rioccupare l'isola, ma ancora una volta venne respinta dagli olandesi. Tobago fu di nuovo presa nell'ultimo periodo di governo del duca Jakob: tuttavia, nel luglio del 1680 il tentativo di crearvi un nuovo insediamento fallì. Nel frattempo, il duca tentò di ricostruire la flotta e le manifatture, senza però riuscire a ristabilire la fortuna degli anni passati.