Berggrunnen i Vågsøy består i hovedsak av gneisbergarter av grunnfjellsalder, men med en struktur som er sterkt påvirket av den kaledonske fjellkjedefoldingen. Det finnes mindre felt med olivin flere steder. Landskapet er bergfylt.