Nesten hele Sems-siden av Vestfossen brant ned natt til Bededag den 24. april 1880. Brannen brøt ut klokka 00:15, og årsaken skal ha vært tobakksrøyking i en stall. Brannen gjorde ca. 700 mennesker husløse, og det ble sendt nødhjelp fra både Drammen og Kristiania. Brannen ødela 104 av Vestfossens 182 hus. På Foss-siden gikk bare 15 hus tapt men natt til Bededag ett år etter brant også nesten hele denne delen av tettstedet ned. Etter denne siste brannen startet oppbyggingsarbeidet, og stedet ble regulert i rettvinklede kvartaler. De eneste bygningene som overlevde brannene var «Madseberget» og jernbanestasjonen.