Trolig har det vært bosetninger i Fjågesund i minst 5000 år. Det eldste oldtidsfunnet fra Fjågesund, som også er det eldste i Kviteseid, er en tynnakket flintøks, datert til 3500 f.Kr. til 2800 f.Kr. I tillegg er det funnet en skafthulløks, noe som tyder på jordbruk i alle fall fra bronsealderen av.