I 1532 beslagla staten klostergodset, og gården Hov ble krongods. Den danske adelsmannen Anders Huitfeldt fikk gården i forlening, og bodde her fra 1584 til han døde, trolig rundt 1620. Siden bodde ulike leilendinger og eiere på gården, inntil den i 1885 ble ny prestegård i Hurum, til erstatning for den gamle prestegården Berg.