Tvers over veien for kirken ligger Norderhov gamle prestegård, som nå er synonym med Ringerikes Museum. Både kirken og prestegården er kjent for sin nære tilknytning til prestefruen Anna Colbjørnsdatter (ca. 1667–1736), som sagnet sier skal ha lurt svenskene i forbindelse med det såkalte slaget på Norderhov i 1716. Hun var gift med historiker og sogneprest Jonas Ramus (1649–1718). Både hun og ektemannen hviler i krypten under kirken.