Zowel Zweden als het Pools-Litouwse Gemenebest bleven ook interesse hebben voor het hertogdom. In 1655 viel Zweden Koerland binnen en begon de Noordse oorlog. Hertog Jacob werd gevangengenomen door de Zweden van 1658 tot 1660 en tijdens deze periode namen de Nederlanders beide kolonies over, waarbij de handelsvloot verwoest werd. De oorlog werd beëindigd door het Verdrag van Oliva in 1660. Tobago viel weer onder Koerse controle en dit tot 1689. Hertog Jacob probeerde de vloot en de fabrieken te herstellen, maar het land kon de welvaart van voorheen niet meer evenaren.