Olavs far Harald dro til England i 1066, og både Olav, stemoren Ellisiv og søstrene Maria og Ingegjerd var med. Harald kjempet i flere slag, og Olav var med i minst ett av dem. Snorre forteller at Olav var med faren da nordmennene seilte opp ved «», altså elven Humber i Yorkshire, og gikk i land ved «», altså elven Ouse. 20. september 1066 stod slaget ved Fulford, hvor nordmennene og deres angelsaksiske allierte seiret over den angelsaksiske jarlen Morcar av Northumbria. Snorre gjengir også et kvad av skalden Stein Herdisson om Olavs deltakelse i slaget. Snorre påstår at Morcar ble drept i slaget. Dette stemmer ikke, Morcar flyktet og allierte seg med Harald Godwinsson, Harald Hardrådes motstander. Fem dager senere stod slaget ved Stamford Bridge mellom Harald Godwinsson og Harald Hardråde. I dette slaget deltok ikke Olav. Faren Harald ble drept i slaget.