Ulefossamfunnet er til tross for tre arkitektonisk ekstravagante slott, mer enn noe preget av arbeiderkultur. Sentrumsområdet er dominert av røde arbeiderbrakker satt opp av familien Cappelen på 1800-tallet og fremover. På nordsiden av sentrumskjernen ligger Øvre Verket, en klynge fredede arbeiderboliger fra 1700- og begynnelsen av 1800-tallet. Området omfattet opprinnelig flere boliger enn de som er bevart, samtidig som en lignende bebyggelse ved det som ble kalt Nedre Verket er revet. En konsekvens av at familien Cappelens arbeiderboliger var rødmalte har vært at svært få ”selveiende” arbeidere har oppført eller malt sine hus i rødt på stedet. Dette gjelder fortsatt i 2010. På Lanna, langs Eidselva, ligger den gamle sentrumskjernen. Her er de fleste boligene oppført med små verksteds- eller butikklokaler i førsteetasje. Det var her de "små, men frie holdt til" som den lokale visesangeren Bernt Solvoll synger i sin ode til Lanna. Her lå også Folkets Hus (Arbeidern), med kino og forsamlingslokaler. "Folkets hus”-institusjonen ble avviklet i forbindelse med byggingen av Ulefoss Samfunnshus på 1970-tallet. Ulefoss og omegn arbeiderforening (UOA), som eide Arbeidern, er en av landets eldste arbeiderorganisasjoner. UOA hadde opprinnelig en tilknytning til partiet Venstre, noe som er symptomatisk for den modererende paternalismetradisjonen. Sentrum ligger i dag på området kalt Ringsevja-Øra og forflyttet seg gradvis fra Lanna i retning Ringsevja fra 1950- og 60-tallet. Sentrumsmoderniseringen ble rammet da riksveien ble lagt om. Med byggingen av Ulefoss Sentret ved inngangen til 1990-tallet startet en ny forskyving av sentrum fra Ringsevja mot det drenerte og utfylte myrområdet på Øra rett ved den nye riksveien. Klemt mellom det fremvoksende handelssentrumet i Bø og grenlandsområdet, kombinert med presset fra en den nye servicekapitalismen, måtte imidlertid de fleste selvstendige håndverkere og handelsfolk på Lanna og Ringsevja gi opp sin virksomhet fra 1970-tallet.