Harald omtales i Snorres Heimskringla, først i Håkon jarls saga, som forteller om at faren Gudrød døde, hvorpå Harald rømte til Opplandene, sammen med blant annet sin fosterbror Rane. Eirikssønnene, sønnene til Eirik Blodøks, var stadig ute etter å kvitte seg med alle som kunne utgjøre en trussel mot dem, og Harald forlot derfor Norge og reiste til Svitjod (Sverige). Der møtte han den svenske hærmannen Skoguls-Toste, far til Sigrid Storråde. De dro på noen viking-tokter sammen, blant annet til Baltikum. Harald Grenske nevnes også i både Fagerskinna og Ågrip, men disse sagaene har ingen opplysninger om ham utover at han var Olav den helliges far.