Erling kom fra en god ætt, og var bosatt på «Studla» (i dag kalt Støle) i Etne. Han stammet, ifølge sagaene og , fra ladejarlene og Arnmødlingene. Hans far, Orm, var fosterfar til kongssønnen Magnus Haraldsson, sønn av kong Harald Gille. Erlings bror, Ogmund Dengje, var rådgiver for Haraldssønnene (Harald Gilles sønner).