Han var sønn av John de Gray den eldre fra Eaton i Norfolk, og nevø av John de Gray den yngre som var biskop av Norwich.