Великого удару по флоту Курляндії і Семигалії завдала війна зі шведами 1658—1660 років. Зраджений своїми сподіваннями на нейтралітет, Яків зазнав шведського вторгнення і потрапив до ворожого полону разом із родиною. Нападники спалили курляндські верфі та мануфактури, повбивали багатьох майстрів, вивезли частину кораблів і спеціалістів до Швеції. Після Олівського миру Яків повернув собі герцогство і намагався відродити господарство країни, але темпів довоєнного виробництва не досяг.