Området rundt Fiskumvannet var bebodd i hele steinalderen, boplassene lå ved strandkanten av fjorden som lå rundt 15 - 20 meter høyere enn Fiskumvannet ligger nå. Fjorden strakte seg fra syd for Holmestrand og inn til Hellefossen. I eldre bronsealder, 1500 f.Kr., hadde havet sunket og Drammenselva hadde funnet seg et nytt løp gjennom morenen ved Rygg øst for Mjøndalen.