Senere var de Gray mer negativ til Henrik III, og i en periode holdt han seg unna offentlige affærer. I 1255 besøkte han London for å delta under et parlamentsmøte, og han døde i Fulham den 1. mai det året.