De fleste bergarter i skiferfjellene var opprinnelig sedimenter, for det meste avsatt under devon og karbon i et bakbuebasseng kalt den rhenohercyniske sonen. Noen steder i Ardennene dukker også eldre bergarter fra kambrium til silur opp som massiver dekket av devonisk skifer. Disse eldre bergartene danner egne mindre massiver (Stavelot, Rocroi, Givonne og Serpont). I de østlige skiferfjellene viser noen svært begrensede utspring i Sauerland bergarter fra ordovicium og yngre silurisk alder. Berg fra ordovicium finnes også i det sørlige Taunus.