Skogshorn består i likhet med Hallingskarvet og Reineskarvet av grunnfjell som ble skjøvet fra vest mot øst i forbindelse med den kaledonske fjellkjedefoldningen for cirka 400 millioner år siden. Fjellet består derfor av gneiser og dypbergarter av prekambrisk alder.