Etter 1511 lot Mette Dyre Daniel Grott slå seg ned på herregården. Hans ekteskap med Anne Nielsdatter (Halvbjørn) fra Fyn var trolig barnløst siden det ser ut til at eiendommen gikk til en av hennes slektninger som var gift med Oluf Kalips. Gjennom ekteskap kom så Kjølberg i 1717 til general Henrik Jørgen Huitfeldt som også eide Elingård og Sande i Tune. Slekten Werenskiold overtok i 1780, og Werenskioldene eide gården helt frem til slutten av 1800-tallet. De drev gården opp, anla sagbruk og teglverk og gjorde dertil Kjølberg til meget av et kultursentrum. Den nåværende eierfamilie, Forsberg, overtok i 1898.