Gisselfeld blev i sin nuvarande form grundlagt av Peder Oxe, som byggde gården 1547-75. Efter Peder Oxe övertog hans änka Mette Rosenkrantz till Vallø egendomen, och vid hennes död 1588 fick Peder Oxes systerdotter, Karen Banner, stället. Hon gifte sig med Henrik Lykke till Overgård och Lykke-familjen innehade därefter Gisselfeld, tills Kai Lykke 1661 blev fråndömd liv, ära och gods. 1661-70 låg Gisselfeld under kronan. Sedan gavs Gisselfeld till greve Hans Schack som belöning för hans bedrifter under krigen mot svenskarna.