Henry Howard var født inn i en adelig og svært mektig familie. Hans bestefar, Thomas Howard ble gjort til hertug av Norfolk av Rikard III av England i 1514. Han giftet seg to ganger og fikk 11 barn som alle ble gift med adelige og innflytelsesrike familier, og Henry Howard ble således i nær slekt med mange ved det engelske hoffet. Blant disse var hans onkel admiral Edward Howard som døde i kamp mot franskmennene; hans onkel Edmund Howard som ble far til Katarina Howard, den femte ektefellen til Henrik VIII; og hans tante Elizabeth Howard som ble gift med Thomas Boleyn, 1. jarl av Wiltshire, og som fødte Anne Boleyn som ble den andre hustruen til Henrik VIII.