Den karakteristiske hatteformen skyldes at Hårteigen er en rest av et overskjøvet lag av gammel havbunn fra den kaledonske fjellkjedefoldning. Denne skjedde som resultat av en kollisjon mellom Grønland og Norge for omkring 400 mill. år siden i overgangen mellom silur og devon. På grunn av sterk hevning av vestvidda er store deler av dette dekket senere erdodert bort. Hårteigen, Hallingskarvet og grunnen under Hardangerjøkulen er eksempler på gjenværende deler. Grunnen rundt Hårteigen er eldre sedimenter som ligger over grunnfjell (gneis). Harde bergarter over sedimenter gir ofte opphav til topper med bratte skrenter.