Olav var sønn av kong Harald Hardråde (norsk konge 1046-1066) og Tora Torbergsdatter. Faren Harald ble i 1045 gift med Ellisiv av Kyiv, som han fikk døtrene Maria og Ingegjerd med. I 1048 traff han Tora, som ble mor til sønnene Olav og Magnus. Tora tilhørte Giskeætten, som var en av de mektigste slektene i Norge på den tiden. Etter Haralds død i 1066 skal Tora ha blitt gift på nytt, enten med den svenske kongen Håkan Røde, eller med den danske kongen Svein Estridsson.