Siden fungerte gården i en periode som fengsel, for i 1665 å overgå til stiftelsen Vartov,<ref>Bogan, Evan: Gottschalk ThorvaldsenPoul Egede'' – sønn av Grønlands misjonær Hans Egede – flyttet inn på Vartov i 1770. N. F. S. Grundtvig var prest i Vartov Kirke fra 1839 til sin død i 1872.