I løpet av sin tid i Væringgarden fikk han tittelen («kommandant av garden»), men hans tjeneste endte med fengsling på grunn av økonomisk underslag av gods fra den plyndringen som skjedde under hans kommando. Han klarte etter hvert å rømme fra fengselet og komme seg hjem i 1043. I henhold til Snorre Sturlasons ble han fengslet for å ha fornærmet dronning Zoe (Zoë Porfyrogenita). Grunnen skal ha vært delvis at Harald ville ha ei møy ved navn Maria, som var en slektning av dronningen, og delvis at dronningen ville ha ham selv. Snorres forklaring er neppe historisk korrekt.