Въпреки това, през това време Курландия остава обект на интерес както за Швеция, така и за Жечпосполита. През 1655 г. шведската армия навлиза в територията на херцогството и започва война с Жечпосполита. Шведската армия залавя Якоб. През този период фабриките и търговския флот търпят упадък. Войната приключва с Оливския мир през 1660 г. Курландия си връща Тобаго, според примирието, и упражнява контрол над острова до 1689 г. Якоб се захваща да възстанови фабриките и флота, но Куралндия така и не достига нивото на просперитет отпреди войната.