Sagaen starter med Haralds flukt fra Norge etter slaget på Stiklestad. Bare 15 år gammel var Harald med i slaget på broren Olavs side. Olav ble som kjent drept, og Harald ble skadet, men greide å rømme. Etter at en av Olavs menn hjalp i skjul på en gård langt fra folk, dro han til Sverige, og deretter til Gardarike (lå i det som senere ble Belarus, Russland og Ukraina) Her ble han noen år og arbeidet for kong Jarisleiv av Kyiv. Deretter reiste Harald til Miklagard (nå Istanbul), hvor han tok tjeneste for keiser Mikael Katalaktes. Snorre forteller at Harald ble en respektert kriger, og var både i Serkland (Midtøsten og Nord-Afrika), på Sikiløy (Sicilia) og i Jorsalaland (Jerusalem).