Flere referanser forteller at Henry var den andre sønn av Sir Edward Norreys av Yattendon Castle, Berkshire, men sin hustru Frideswide, datter av John Lovel, 8. Lord Lovel. Noen av disse har også sagt at Edward Norreys døde i 1487. Fødselsdatoen 1482 for Henry er således forenlig med dette. Historikeren Eric Ives (2004) har derimot argumentert at Hanry var yngre, født en gang på 1490-tallet, og forteller at han var til sannsynligvis den andre sønnen til Richard Norreys. Richard was Edwards yngre bror, men i henhold til (1664/1666) var han far til kun en datter, Anne. Det er forenlig med avstamning til hans herskapsbolig Great Shefford som hun arvet rundt 1522.