哈罗德去英格兰摄政，其母艾玛则代表他控制威塞克斯。1036年，爱德华与其弟阿尔弗雷德分别回到英格兰。艾玛宣称，哈罗德伪造了一封她的信诱骗爱德华兄弟回国看望她，现代史学家则认为，艾玛有可能主动邀请两兄弟回国，借两人的身份削弱哈罗德日趋增长的影响力。威塞克斯伯爵戈德温设计将阿尔弗雷德捉住并转交给哈罗德，他用酷刑挖去了阿尔弗雷德的双眼，阿尔弗雷德很快便因伤重不治而死。爱德华则在一场小规模冲突中取胜，随后他再度逃往诺曼底。阿尔弗雷德的死使爱德华对戈德温产生了极大的恨意，这件事可能是1051年秋爱德华驱逐后者的原因之