Efter Peder Oxe overtog hans enke Mette Rosenkrantz til Vallø ejendommen, og ved hendes død i 1588 fik Peder Oxes søsterdatter, Karen Banner, stedet. Hun giftede sig med Henrik Lykke til Overgård og Lykke-familien havde herefter Gisselfeld, indtil Kai Lykke i 1661 blev fradømt liv, ære og gods. Fra 1661-70 var Gisselfeld under Kronen. Herefter blev Gisselfeld givet til greve Hans Schack som belønning for hans bedrifter under svenskekrigene.