Gjennom Vestfossen renner Vestfosselva, som strømmer ut fra de to sammenhengende innsjøene Fiskumvannet og Eikern. Vestfosselva, som er Drammenselvas største bielv, deler stedet i to deler; Foss-siden i sør, og Sems-siden i nord. I sentrum danner Vestfosselva et lite basseng kalt «Hølen». Derfra går den over i en foss, som har samme navn som stedet. Denne fossen er oppdemmet for Vestfossen kraftverk. På nedsiden av fossen går elva videre til Hokksund, der den deler seg i to elveløp, Nøstelva og Loeselva, som begge renner ut i Drammenselva.