På denne måte ble Grefsheim en del av storgodset ved Hamar, i 1640-årene eid av Hannibal Sehested (1609–66) som falt i unåde i 1651. Etter en tid i kongens eie gikk Grefsheim i 1675 til noen private, senere slekten Grønbech og fra 1777 slekten Robarth.