Området rundt Fitjar har vært bosatt siden steinalderen. På denne tida stod havet 10–15 meter høyere enn i dag, det vil si at det gikk inn i Storavatnet og langt opp Fitjarelva. Det milde klimaet etter siste istid gjorde at store deler av området var dekket av skog, trolig mest eik, ask og lind, og området var rikt på vilt, hjort og villsvin. Arkeologer mener det har vært folk på Fitjar i 10 000 år, og det er gjort mange funn av steinredskaper rundt om på Fitjar, men disse stammene var hovedsakelig omflakkende og var her bare i perioder om gangen. Ved Rimbareid ble det likevel funnet en hustuft fra steinalderen under ei gravrøys som ble undersøkt av arkeolog Eyvind de Lange (1870–1922) i 1906. Dette bostedet er trolig fra sen steinalder, men kan også være fra tidlig bronsealder, siden restene viste et firkantet hus, mens runde hus var mer vanlig i steinalderen. Først i bronsealderen, omkring 1800–1600 f.Kr., var det fast bosetting på Fitjar med primitivt jordbruk, og de første gårdene lå i skråningene fra Fitjar sentrum til Rimbareid rett sør for sentrum. Bronse var det eneste kjente metallet, og stort sett fraktet med handelsrutene nordover i Europa fra middelhavsområdet. Bronse kostet derfor en formue og var sjeldent i Norge, men på Fitjar er det gjort flere flotte bronsefunn. I en myr på Kloster ble det funnet ei bronseøks, regnet som et av de flotteste bronsefunnene i Skandinavia, feilfritt støpt og dekorert med flotte mønstre av spiraler, sirkler og tungeformede figurer. I tillegg er det funnet et sverd av kobber og en kniv i ei gravrøys på Rimsvarden oppfor Fitjar sentrum. Gravrøysa er omkring 30 meter i diameter og blant de største gravrøysene i Hordaland. Ifølge et sagn er kong Rim begravet her, og derfor har røysa fått navnet Rimsvarden. Rundt år 1790 ble graven åpnet, og det ble funnet en steinhelle oppå et firkantet og fint muret gravkammer. I graven lå det en kniv og et sverd av bronse. Kniven er kommet bort, men sverdet ligger i dag på Historisk museum i Bergen. Steinhella ble tatt med til kirkegården og benyttet som gravstein for en bonde fra Rimbareid, 3 000 år etter at den var gravstein på Rimsvarden. I tillegg er det funnet flere andre gravrøyser på Fitjar. Alle de storslagne funnene og gravrøysene vitner om at Fitjar trolig hadde velstående storgårder med høvdingeætter alt i bronsealderen.