Nach der 1718 veröffentlichten, aus den Familienarchiven erstellten Chronik "The genealogy of the most noble and ancient family of Grey" stammten die verschiedenen Familien Grey von einem "Anchitel", einem normannischen Adligen des 11. Jahrhunderts ab. Der erste nachweisbare Vorfahre ist jedoch Henry de Grey, der ein Sohn von Richard de Grey gewesen sein soll. Henry de Grey erhielt von König Richard Löwenherz als Belohnung für seine Dienste das Gut Grays Thurrock in Essex, das zuvor dem Juden "Isaac" gehört hatte. In Thurrock heiratete Grey 1199 "Isolda Bardolf", eine Tochter von "Hugh Bardolf" und "Isobel Aquillion". Isolda wurde zur Erbin ihres Vaters, und vor 1201 kam Grey damit in den Besitz von Codnor Castle in Derbyshire. Grey baute Codnor Castle weiter aus. Während des Ersten Kriegs der Barone stand er auf Seiten des Königs, worauf ihm 1216 das Gut von Grimston in Nottinghamshire zugesprochen wurde.