Olav var sønn til Gudbrand Skavhoggsson (Guðbrandr Skafhǫggsson) og Maria Øysteinsdotter (María Eysteinsdóttir), datter av kong Øystein Magnusson. Han blei oppfostra av Sigurd Agnhatt (Sigurðr agnhǫttr). Ifølge Snorre bodde Sigurd på Opplandene (det indre Østlandet), mens forfatteren av Fagerskinna hevder han var fra «øst i Viken», altså på østsiden av Oslofjorden.