I Haralds tidligste år da makten ble utøvet på hans vegne av rådgivere sammen med Ragnvald, kunne Orknøyene nyte relativ stabilitet, skjønt sagaen fortsetter å fortelle om drap og innebrenning, inkludert drapet på Valthjov jarl som ellers er ukjent. I 1150 eller året etter besøkte Harald Norge sammen med Ragnvald jarl, og møtte sannsynligvis kong Inge Krokrygg. Harald var på denne tiden en ung mann på rundt 16 år og så vidt begynt å bli voksen. I løpet av dette besøket besluttet Ragnvald å dra på korstog, noe som blir omfattende opptegnet i .