Dette tyder på at Sem har vært et svært viktig sted fra bronsealderen, gjennom hele jernalderen og inn i vikingtid og middelalder. Etter som havnivået lå fire – fem meter høyere i vikingtiden enn i dag gikk det en fjordarm helt inn til Hokksund og Vestfossen. Det var derfor mulig å seile store skip til Sem (navnet Sem kan stamme fra «Sjøheim») noe arkeologiske funn også vitner om. 3 km fra Sem ble også Nord-Europas største gullskatt fra vikingtiden, Hoenskatten, funnet. Sem har mest sannsynlig vært en «sentralgård» på denne tiden, hvor en lokal storbonde har rådet, og hvor det har blitt byttet varer og holdt markeder. Stedet var et maktsenteret og det kan også ha vært et kultsted her eller i nærheten.