På en høyde nord for Ulefoss sluser ligger Ulefos Hovedgaard, Norges fremste arkitektoniske verk fra napoleonstiden. Eiendommen har fra 1700-tallet vært eid av en gren av familien Aall. Ulefoss er ett av få steder i Norge med to familier som eier hver sin herregård ganske nær hverandre.