1658 року, під час польсько-шведської війни, шведи захопили Мітаву і полонили герцога Якова разом із родиною. В листопаді полонених перевели до Риги, а влітку 1659 року відвезли до Івангорода. Фрідріх-Казимир провів там під арештом цілий рік.