Rett over veien i vest ligger også den gamle ærverdige prestegården, der de eldste delene av hovedhuset kan dateres tilbake mot slutten av 1500-tallet. I prestegården, som i dag er distriksmuseum for Hole og Ringerike kommuner, kan man fortsatt besøke den sagnomsuste «Svenskestua», der Anna Colbjørnsdatter ifølge tradisjonen lurte svenskene kvelden før slaget på Norderhov natten til 29. mars i 1716, og beskue kulehullene i veggen etter trefningen.