De Gray diente jedoch hauptsächlich weiter dem König in dessen Kanzlei. Vermutlich im Dezember 1203 unternahm er zusammen mit Erzbischof Hubert Walter eine erfolglose diplomatische Mission zu König Philipp II. von Frankreich, um den Krieg um Johanns Besitzungen in Frankreich zu beenden. Am 2. Oktober 1205 erwarb er die Kanzlerwürde für seinen Neffen Walter de Gray und bürgte mit für die dazu bezahlende Summe von £ 5000.