I 1061 reiste Ealdred til Roma for å motta pallium, symbolet på erkebiskopens autoritet. Med på reisen var Toste, en annen av jarl Godwins sønner, nå jarl av Northumbria. William av Malmesbury forteller at Ealdred «hadde skaffet seg, mer med bestikkelser enn av fornuft, erkebispesetet York mens han fortsatt holdt sitt tidligere sete.» Da han kom til Roma ble anklagene om simoni, eller det å ha kjøpt et kirkeembete, og mangle på kunnskap ført imot ham, og hans opphevelse som erkebiskop av York ble nektet av pave Nicolaus II som også avsatte ham fra Worcester. Historien om at Ealdred ble avsatt kommer fra , en helgenbiografi over Edvard Bekjenneren, men , en redegjørelse av livet til Ealdreds etterfølger ved Worcester, Wulfstan, sier at paven nektet ham pallium inntil Ealdred hadde gitt løfte om å finne en erstatning for Worcester. En annen krønikeforfatter, John av Worcester, nevner ingenting om de vanskeligheter han hadde i Roma, og når han diskuterer utnevnelsen av Wulfstan, sier han at Wulfstan ble valgt fritt og enstemmig av presteskapet og folket. John av Worcester hevder også at ved Wulfstans vigsel krevde Stigand, erkebiskop av Canterbury, et løfte fra Ealdred at hverken han eller hans etterfølgere skulle legge krav på noen form for herredømme over bispesetet Worcester. Gitt at John av Worcester skrev sin krønike etter utbruddet av striden mellom York og Canterbury om overherredømme, må historien om at Ealdred oppga alle krav på Worcester betraktes med mistenkelighet.