Slottet ble tatt fra ham da Skåne gikk over til Sverige, men han fikk det tilbake igjen etter freden i København, for i 1663 å overlate det til sin eneste datter, Sophie og hennes mann Knud Ottesen Thott.