Verks- og godseiernes tilstedeværelse har hatt sosial og kulturell betydning for utformingen av ulefossamfunnet på mange plan. De tette båndene mellom bønder/arbeidere og godseierne fra 1600-tallet fikk sin konkrete og formelle utforming ved bruken av tvangsarbeid (hoveri) i forbindelse med brenselproduksjon til jernverket fra 1600-tallet. I tillegg kommer det relativt store – i norsk sammenheng – antall leilendinger på gårdene til familiene Cappelen og Aall. Utover dette har uformelle herredømmerelasjoner preget samfunnet, illustrert ved de prangende godsene på den ene siden og de enkle arbeiderbrakkene og husmannsplassene på den andre. Det kan imidlertid ikke ha vært tale om føydalisme på Ulefoss, selv om enkelte føydale trekk var tilstede. Etter industrialiseringen på 1600-tallet er det mer presist å beskrive de utstrakte avhengighetsbåndene mellom leilending, arbeider og godseier som paternalisme. Samfunnets øverste far (pater) og velgjører, gods- og brukseieren, holdt sin hånd over arbeidsselgerne i bytte mot arbeidernes lojalitet gjennom plikter og lydighet. Både politisk og kulturelt. Mønstret ble tydelig under storflommen på Ulefoss i 1860 og senere gjennom arbeidernes moderat linje ved stortings- og lokalvalg helt opp til 1940-tallet. Vannmassene fra elven truet i 1860 jernverket, men takket være innsatsen fra bydefolket, som i samlet flokk bygget en voll mot elva, ble verket reddet. Lokalbefolkningens oppofrelse ble deretter belønnet av Severin Diderik Cappelen som fikk oppført en ny kirke i 1867 (Holla Kirke). Et annet trekk ved paternalismen har vært at kapitalen aldri har blitt upersonlig i bygda, den har alltid vært nært knyttet til ett eller flere navn. En forutsetning for kollektiv handling i arbeiderbevegelsen var nettopp at slike personlige bånd forsvant og at kapitalen gikk fra å være et konkret individ til en forestilling om ideologi, det vil si kapitalismen. Dette kan være med på å forklare hvorfor arbeiderne på Ulefoss ikke ble radikalisert i perioden før og etter første verdenskrig, slik tilfellet var ved de nyere industribyene i Norge.