Harald var bare en guttunge da han ble med halvbroren Olav den hellige på flukten til Gardarike i 1028. Da Olav vendte tilbake til Norge to år senere, var Harald med som en av de meget få blant Olavs menn som unnslapp etter slaget på Stiklestad. Han kom seg over til Sverige og videre over Gardarike til Bysants.