1658 року, в розпалі Північної війни в Курляндію вдерлися шведи, які захопили Мітаву, полонили герцога і вивезли його до Риги. Заморські володіння захопили голландці. Польсько-литовські війська Сапеги переломили хід війни і за умовами Оливському миру (1660) шведи відмовилися від будь-яких зазіхань на Курляндію; тоді ж повернувся з полону і Якоб.