Terrenget rundt Sem ligger rundt 15-20 moh, så område har stått under vann fram til slutten av steinalderen. Det er imidlertid funnet steinalderreskap litt høyere opp, på Semsmoen, 1-2 kilometer nordvest for gårdstunet.