Fjellene er restene av den kaledonske fjellkjede som oppstod ved folding da det nordamerikanske kontinentet Laurentia støtte sammen med det nordeuropeiske Baltika i silur-devon, det vil si for ca. 400 millioner år siden. Fjellene består av ulike skyvedekker av ulik geologisk alder. Mye av de opprinnelige kaledonske skyvelagene er slitt ned. Ettersom Nord-Amerika og Afrika har vært forbundet, utgjør Appalachene deler av den samme fjellkjeden som Anti-Atlas (eller Lille-Atlas) i Marokko. Denne fjellkjeden, kjent som sentrale pangeanske fjellkjede, strekker seg inn Skottland etter kollisjonen mellom Nord-Amerika og Europa.