大公国仍然是瑞典和波兰立陶宛联邦为利益争夺的对象。在1655年，瑞典军队进入大公国的领土，而且波瑞战争（1655年-1660年）开战。瑞典军队俘获雅各布公爵（1658年-1660年）。在此期间，荷兰接管库尔兰的殖民地，而且商船队和工厂被毁。这个战争在奥利瓦条约休战（1660年）结束。库尔兰在条约的基础上夺回多巴哥，并直到1689年继续占领这个地区。雅各布公爵着手恢复商船队通航，工厂复产，但库尔兰大公国再也不会达到战前的繁荣水平。
衰落.在雅各布于1682年去世时，他的儿子弗雷德里克