Foss-siden har en gammel verneverdig bebyggelse som heter Fosshaugen, eller av den eldre lokalbefolkningen bare kalt «Hauen». Kommunen er behjelpelig med arkitekt for å bevare den gamle stilen når eierne ønsker å rehabilitere de gamle husene. Områdene utenfor sentrum har navn på folkemunne som «Vesle-Sverige», et område med tidligere arbeiderboliger for fabrikkarbeidere fra Sverige. I Vestfossen fins også steder som blir kalt «Mexico», «Geitebyen» og «Island». Navnet Island kommer av at i området langs elva i gamle dager ble store isblokker fraktet fra elva til Iskjelleren i Vestfossen for lagring i sagflis. Dette var før det moderne kjøleskapets tid, og isen ble brukt i datidens kjøleskap. I likhet med Moskva har Vestfossen også «Den Røde Plass». Denne plassen fikk navnet på folkemunne etter de mange kommunistene som fantes i Vestfossen rundt dette området. Vestfossen har også et parkområde med en musikkpaviljong fra 1926.