Ragnvald var sønn av Øystein Ivarsson som ble kalt for Øystein Glumra. I henhold til går Ragnvalds ætt tilbake til «Heite Gors sønn var far til Sveide sjøkonge, far til Halvdan den gamle, far til Ivar Opplendingejarl, far til Øystein Glumra, far til Ragnvald jarl den mektige og den rådsnare». Den samme sagaen strekker hans ætt tilbake til en mytologisk opprinnelse til skikkelse ved navn Fornjot fra Finland eller Kvenland.