Olaf era hijo de Gudbrand Skavhoggsson y de María Øysteinsdotter, una hija del rey Øystein I.