Fylket består nesten utelukkende av grunnfjell, den kaledonske fjellkjedefoldingens skyvedekker nådde ikke så langt sørøst. Vanlige bergarter er gneis, granitt og marmor. Hele fylket er den del av det svekonorvegiske grunnfjellsskjold, som er 1 milliard år gammelt eller noe mer. Grunnfjellet har sprekke- og svakhets-soner som strekker seg som rutenett nordøst-sørvest, og mange av de store innsjøene i Setesdalsheiene ligger orientert etter disse sonene. Det er også noen nord-sørgående sprekksoner som gjennom nyere tid har blitt gravd ut av istider og smeltevann, og disse sprekksonene har gitt opphav til Sirdalen og de andre større elvedalene i fylket. I Knaben gruver nord i Kvinesdal har det vært brutt molybden.