Генри родился 4 сентября 1455 года в Абергавенни (Монмутшир, Уэльс). В это время началась война Алой и Белой розы. Стаффорды в конфликте приняли сторону Ланкастеров. Мать Генри, Маргарет Бофорт, происходила из побочной ветви Ланкастеров, её отец и братья принимали активное участие в войне. Отец Генри, граф Хамфри Стаффорд, участвовал 22 мая 1455 года в составе ланкастерской армии в Первой битве при Сент-Олбансе, при этом был ранен. В этой же битве погиб дед Генри по матери — Эдмунд Бофорт, 2-й герцог Сомерсет. Около 1459 года умер отец Хамфри. После смерти мужа Маргарет вышла замуж вторично — за сира Ричарда Даррелла.