Hertugen ble tatt til fange av Sverige fra 1658 til 1660. I denne tiden ble koloniene hans erobret og flåten hans ødelagt. Etter at han kom fri, gjenoppbygget han flåten og gjenerobret koloniene. Han forpaktet i en periode Eidsvoll jernverk. Hertugen døde i Mitau (nå Jelgava) den 1. januar 1682.