I 1058 gjorde Ealdred en pilegrimsreise til Jerusalem som den første engelske biskop. Han reiste gjennom Ungarn og hevder at «han dro til Jerusalem i en slik forfatning som ingen før ham hadde gjort». Mens han var i Jerusalem ga han en gave i form av en skål av gull til Den hellige gravs kirke. Det er mulig at grunnen for at han reiste gjennom Ungarn var igjen for å sørge for at Edvard den landflyktige og hans familie kom tilbake til England. En annen mulighet er at han ønsket å lete etter andre mulige slektninger til kong Edvard Bekjenneren i Ungarn. Det er ikke kjent når nøyaktig som Edvard den landflyktige og hans familie kom tilbake til England, om det var i 1057 eller en tid senere, men det er en mulighet for at de kom sammen med Ealdred i 1058.