Henry Stafford ble født i 1455 som den eldste sønnen til Humphrey Stafford, jarl av Stafford. Hans mor var Margaret Beaufort, grevinne Stafford, datter av Edmund Beaufort, 2. hertug av Somerset, som igjen var barnebarn av John av Gaunt. Moren har samme navn som sin kusine, den bedre kjente Margaret Beaufort, som ble mor til Henrik Tudor, den senere kong Henrik VII av England.