Keiseren i det bysantinske rike holdt en livvakt av skandinaviske leiesoldater, den såkalte væringgarden. De var viden kjent som fryktløse, sterke og dristige, og Harald sluttet seg til dem. I årene 1034-43 tjenestegjorde han først ved fyrst Jaroslavs hird i Kijev og siden i den bysantinske hæren. Han kjempet på Sicilia, i Bulgaria og Lilleasia. Siden ble han forfremmet til offiser med sin egen tropp og fine titler, der den fremste var som han ble kalt når han gikk i keiserens følge med ordensmaktens symbol. Harald ble kalt «Bulgarernes brenner» etter at han deltok i keiserens herjing av Bulgaria i 1041, noe Snorre ikke hadde fått med seg, men Tjodolv den kvinværske kjente til det.