I Vestfossen ligger Fossesholm Herregård. Dette var hovedgård for det ca. 200 000 mål store Foss-godset, som ble samlet i 1541–1548 av lensherren på Akershus, Peder Hanssøn Litle, for å få kontroll over den lønnsomme sagbruksvirksomheten i området. I 1763 ble Fossesholm kjøpt av Jørgen von Cappelen, og gården ble bygd om i rokokko inspirert av store europeiske slottsanlegg, slik den fremstår i dag.