Его второй сын, Джон де Грей (умер в 1266), унаследовал от отца поместье Ширланд, занимал должности шерифа Бедфордшира, Бакингемшира и Херефордшира. Благодаря своему второму браку он приобрел поместья . Джон де Грей стал родоначальником баронов Грей из Уилтона и баронов Грей из Ратина. Его младший брат, Уильям де Грей из Кавендиша, Ландфорда и Сандиакра, стал предком баронов Уолсингем. Четвертый брат Генри де Грей умер молодым. Старший сын, Ричард де Грей (ум. 1271), унаследовал отцовский титул и поместья, стал предком последующим баронов Греев из Коднора. Он был видным сторонником короля Генриха III Плантагенета, был назначен хранителем Нормандских островов, руководил охраной английского побережья от возможного французского вторжения. Занимал посты шерифа Хартфордшира и Эссекса, участвовал в военных действиях в Гаскони в 1248—1253 годах. Позднее рассорился с королем и его советниками, перешел на сторону Симона де Монфора и участвовал в битве при Льюисе. В сражении при Ившеме (1265) Ричард де Грей был взят в плен, лишен титула и владений, но позднее был восстановлен в своих правах. Его сын, Джон де Грей, был женат на Люси, дочери сэра Рейнольда де Богуна из в графстве Сомерсет, и Хависе, дочери Уильяма ле Флеминга.