库尔兰公国是瑞典帝國和波兰立陶宛聯邦利益争夺的焦点。1655年，第一次北方战争（，1655－1660）开始，瑞典军队进入公国领地，雅各布公爵亦于1658－1660年被瑞典军队软禁。在此期间两块殖民地均遭人数占优的荷兰殖民者占领，商船队和贸易站也尽数被毁。其后岛上的荷兰人包围了詹姆斯要塞，总督修伯特·德·比弗伦（Hubert de Beveren）被迫投降。库尔兰于1659年12月11日正式宣称放弃新库尔兰。1660年战争结束，各方在格但斯克附近签订的欧里亚条约（）中同意将多巴哥归还库尔兰。但在1666年，可能是在一次海盗袭击后库尔兰人离开了多巴哥，1668年一艘库尔兰船只收复雅各布要塞的尝试也被荷兰人击退。在雅各布统治末期，库尔兰短暂地重新得到多巴哥，并于1680年7月建立了一块新殖民地，最终也以失败告终。公爵试图重建船队和贸易站，但公国再也无法重现它往日的繁荣了。1683年3月到1686年6月间，全岛始终处于废弃的状态。1689年，库尔兰方面将岛出售。次年5月，库尔兰人永远离开了多巴哥，不过名义上的总督直到1795年才停止委任。