Etter at Ragnvald Orknøyjarl hadde dratt på korstog sammen med biskop Vilhelm den gamle, Erling Skakke og andre i årene 1151–1155 var Harald kommet tilbake til Orknøyene og blitt jarl alene. I Ragnvalds fravær kom kong Øystein Haraldsson, den eldre broren til kong Inge, til Orknøyene. Han kom over Harald og hans følge i nærheten av Torså, dagens Thurso på nordkysten av Caithness, tok Harald til fange og slapp ham først løs mot løslatelsessum på tre merker gull og hans påtvungne troskapsed. Øystein herjet deretter kysten av Skottland, inkludert Aberdeen, og deretter England hvor han kjempet flere slag mot kong Stefan av Englands styrker.