Elva har spilt en viktig rolle i å knytte Drammensdalen med Vestfold gjennom Fiskumvannet og Eikeren. Gården Sem ved Vestfosselva blir omtalt allerede på 1240-tallet og Fossesholm 300 år senere. Elva deler området og Vestfossen i to-deler, Sem-siden med herregården Sem på nordsiden og Foss-siden med herregården Fossesholm på sørsiden. Elva var viktig for transport av varer og personer til disse setegårdene og også til to setegårder på Fiskum, men den var også viktig for alle andre som bodde i området. Veiene den gang var meget dårlige, nesten ufremkommelige, så elver og innsjøer var best egnet for transport. Det var røyerter som rodde varer opp og ned på elva. Det var også persontransport, som biskop Jens Nilssøns beskriver fra sin visitasreise i 1595 hvor han nevner at han reiste på Vestfosselva.