Flesteparten av kulturminnene i Fet består av gravhauger og gravrøyser, blant andre Ridderhaugen som er en av de største gravhaugene i fylket. Noen av gravrøysene kan med høy sannsynlighet føres tilbake til bronsealderen og på Ramstad gård ligger et gravfelt med ni gravminner fra jernalderen. Klebersteinbruddet i Piggåsen er et kjent fornminne som kan spores helt tilbake til vikingtiden og viser at det tidligere har vært omfattende kleberindustri i området. Det er også gjort en del løsfunn i Fet, blant annet økser fra steinalderen og spydspisser i jern fra jernalderen.